JP4071412B2

JP4071412B2 - Parking position display device

Info

Publication number: JP4071412B2
Application number: JP37427699A
Authority: JP
Inventors: 雄二穂積; 俊浩菅澤
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1999-12-28
Filing date: 1999-12-28
Publication date: 2008-04-02
Anticipated expiration: 2019-12-28
Also published as: JP2001187599A

Description

【０００１】
【発明の属する技術分野】
この発明は空港において航空機の駐機位置近傍におけるビル壁面などに設置され、エプロンを走行する航空機を駐機位置まで誘導する駐機位置表示装置に関するものである。
【０００２】
【従来の技術】
図３に従来の駐機位置表示装置の構成図を示す。図において１は定められた駐機位置に自機を停止させるためにエプロンを走行してスポットに進入する航空機、２は航空機のノーズギアのタイヤ、３は航空機下面のノーズギア格納庫の扉、４は航空機走行方向に沿って路面にマーキングしてある走行中心表示線、５は航空機進入方向に直交して路面にマーキングしてある停止位置表示線、６は航空機１のノーズギア近傍を撮像するように進入する航空機に対向してターミナルビルの壁面に設置したカメラ、７はノーズギアのタイヤの存在が予想されるタイヤ候補の位置を検出する画像処理部、８は最終的に航空機１を誘導すべき駐機位置の座標データを保持する駐機座標記憶部、９は現在のタイヤ座標と駐機位置の座標との差異を求める誘導誤差検出部、10はこの結果の残距離と左右ずれ情報をパイロットに提示する表示部である。
【０００３】
ここで駐機位置表示装置の概要について説明する。航空機１は着陸した後、エプロンを走行し、あらかじめ指定してあったスポットに向かう。そのスポットには風雨や寒暖から乗客を保護するボーディングブリッヂがあり、このボーディングブリッヂは専属の操作員によって操縦される。しかしボーディングブリッヂの片側は空港ビルに固定されているために前後左右の方向に自由自在に移動できるわけではない。このため、駐機位置に対して航空機１の位置が大きくずれて停止してしまった機体の場合、操作員はボーディングブリッヂの他方の側について進行と後退を何度も繰り返し、その度に左右操舵を実施して少しずつ航空機のドアに接近して行く。このため上記誤差が大きい場合では航空機ドアとのドッキングに時間がかかったり、最悪の場合は機体との間に若干の隙間を生じてしまう場合があった。一般的に速やかでしかも安全にボーディングブリッヂを航空機とドッキングさせるためには、航空機は定められた駐機位置に対して、500ｍｍ以内の誤差に停止させることが必要だといわれている。このため、空港ではマーシャラや駐機位置表示装置によって駐機位置と航空機のタイヤ位置との誤差情報をパイロットに提供し、上記誤差をできる限り少なくするようにしている。パイロットはこれらの提供された情報に従って、自分の機体の左右偏差と残距離とを認識しながら定められた駐機位置に航空機を操縦して行くこととなる。
【０００４】
次に図3を用いて従来の駐機位置表示装置の動作例について説明する。スポットに進入してくる航空機１に対向して、やや上方に設置されたカメラ６は航空機１におけるノーズギアのタイヤ２の近傍を撮像し、その映像信号は画像処理部７へ伝送される。画像処理部７では、カメラ６で取得された航空機のいない状態での背景画像と新たに取得された画像との差分画像を抽出する処理（背景差分処理）や、背景差分処理後の二値化処理などを行い、タイヤ２を背景のコンクリートの画像と区別して認識し、この認識されたタイヤに関して、左右方向は2本のタイヤの中心を、また残距離方向はタイヤが路面と接している点をタイヤ位置の座標として算出する。一方、航空機１のタイヤ２を誘導すべき駐機位置の座標は予め算出してあり、駐機座標記憶部８に記録されている。ここで誘導誤差検出部９は、タイヤ位置座標と駐機位置座標との両者の差を、常に誤差情報として計算している。この結果、たとえば左右方向は左に0.2m、残距離方向は15mなどと計算された誤差情報を、表示部10を通じて航空機１のパイロットにリアルタイムに提供する。パイロットはこの表示部10の表示を見て、航空機１を予め定められている駐機位置に一致するように操縦して航空機１を停止させる。カメラ６によって撮像されるカメラ出力画像例を図４に示す。また、この画像を画像処理した例を図５に示す。図５において、11はカメラ６の出力画像を処理した結果検出したタイヤ候補を示す枠であり、そして1２は左右方向が認識された2本のタイヤの中心、また残距離方向が認識されたタイヤと路面とが接地している点（タイヤ位置）を示す十字カーソルである。なお、この図では説明のためにタイヤ候補を示す枠11はタイヤと重ならないようにやや広く、また十字カーソル12と重なる部分の枠11は切り欠いて図示してある。また、参考として航空機１の全体像も示してある。図５に示すように、この例ではタイヤ候補を示す枠11は正しく2本のタイヤを囲い込んでいる。また十字カーソル12に関しても、左右方向は2本のタイヤの中心で、残距離方向はタイヤが路面と接している位置を正しく示している。
【０００５】
【発明が解決しようとする課題】
ここで通常撮像される映像では、路面は灰色のコンクリートであり、一方タイヤ２は黒いゴムである。よって映像では灰色の背景の中に黒いタイヤ２が存在することになる。このため、例えば図４の映像に背景差分処理を行って走行中心表示線４や停止位置表示線５などの像を除去した後、全画面に白黒の2値化処理を施すと、タイヤ２に相当する部分では横方向に白から黒への変化のエッジが上下に直線的な塊りを有する矩形状の像が生成される。この特徴を利用して、全画面の内、左右方向の画素の明るさの変化を生じるエッジ部分が上下方向に直線的な塊を有する部分を検出することによって、タイヤ２を認識することができる。
【０００６】
ところが、例えば夜間に雨の降る状況下では、路面は暗く撮像され、またタイヤ２は黒く撮像される。すなわち背景となる路面とタイヤ２との差異が著しく少なくなり、全画面について二値化処理等を施す場合に、タイヤ２を明確に検出できる二値化の閾値が自動的に設定されないことがあった。
この状況下では、図４のようにノーズギアの格納庫の扉３が下方にほぼ垂直に開いていると、上述のタイヤ２と非常に良く似通った白黒のエッジを生じる。ここで問題となるのは、実際のタイヤ２と路面との左右方向における画素の明るさの変化よりも、開いたノーズギア格納庫の扉３と路面の方が明確な変化を有してしまうことである。この場合、図６に示すように、雨でぬれた暗い路面では扉３をタイヤと誤認識する恐れがあった。すなわち、図6のように誤ったタイヤ候補を示す枠13は上方向にずれ、ノーズギアの格納庫の扉３を捕らえてしまう。ここで画像処理部７における残距離の計算は、タイヤ２の座標が図の上方向に存在する場合は残距離がまだ遠いと計算してしまい、一方、図の下方向に存在する場合には残距離が近い計算となる。このため、図６では、例えばすでに停止線をオーバランしてしまっているにも関わらず、残距離がまだ遠いと誤認識してしまい、さらに勢い良く前進しても良い旨の誤った表示をしてしまう。この表示に従うと停止位置を大きくオーバランしてしまい、翼端をボーディングブリッヂにぶつけたり、地上作業員の避難場所にまで達して地上作業員に接触したり、地上の車両や地上からの電源や空気供給設備用ステップなどにノーズギアをぶつけて破損したりすると言った問題を引き起こすような誤追尾と誤表示を行なう恐れがあった。
【０００７】
この発明はかかる問題を解決するためになされたものであり、夜間に雨の降るような悪状況下であっても航空機のタイヤ位置を誤りなく検出し、航空機を誘導すべき駐機位置とタイヤ位置との正確な誤差情報をパイロットに提供する駐機位置表示装置を得るものである。
【０００８】
【課題を解決するための手段】
この発明による駐機位置表示装置は、パイロットに対して駐機位置に対する方位ずれ情報および残距離情報を提供することによってエプロンを走行する航空機を停止すべき駐機位置へ誘導する駐機位置表示装置において、前記航空機を撮像して映像信号を出力するカメラと、この映像信号を画像処理してタイヤの存在位置の候補を検出する画像処理部と、前記航空機における特定の位置を検出する位置検出手段と、この位置検出手段で検出された特定の位置に基づいて航空機のタイヤが存在する領域を算出するタイヤ存在領域演算部と、前記画像処理部で検出されたタイヤ存在位置の候補と前記タイヤ存在領域演算部で検出されたタイヤの存在領域との比較に基づいてタイヤ位置を検出し、この検出されたタイヤ位置と前記航空機の駐機位置との差異を検出する誘導誤差検出部と、前記誘導誤差検出部で検出された差異をパイロットに表示する表示部とを備え、
前記誘導誤差検出部は、前記タイヤ存在領域演算部で検出されたタイヤの存在領域に前記画像処理部で検出されたタイヤの存在位置の候補を有していないときに、前記タイヤの存在領域内の画像からタイヤの存在位置を検出する手段を備えたものである。
【００１１】
【発明の実施の形態】
実施の形態１．
図１はこの発明の実施の形態１を示した構成図であり、図において14はレーザ光を出射し物体からの反射光を受光するレーザレーダ、15は航空機先端のレドーム、16はタイヤ存在領域演算部、そして17は誤追尾弁別部であり、１から10までは上述の従来装置と同じである。
【００１２】
次に動作について説明する。レーザレーダ１４はエプロン上の物体までの距離と、反射波の受光レベルの情報を得ることができるものである。図１でレーザレーダ14は航空機先端のレドーム15に対向して、例えばターミナルビルの壁面に設置してある。航空機１がスポットに進入して来ていない場合は、エプロン上に障害物はなく、このためレーザレーダ１４のレーザ光を反射する物体は無い。レーザ光の反射物としては、わずかに地上整備員の反射テープを縫い付けた安全ベストや、地上電源や地上設備からのフレッシュエア供給用のダクトや、停止した航空機にアクセスするためのタラップ程度はあるにせよ、航空機１のレドーム１５の面積と比べると微々たるものであり、その大きさやレーザ光の反射強度、または物体の塊の大きさによって、容易に航空機との識別が可能である。航空機１がスポットに進入した場合、レーザレーダ14は反射波の受光レベルが所定値以上となることから航空機のレドーム15に相当する物体の存在を検知し、この検知された物体の周辺における、レーザレーダ１４の検出距離がもっとも小さい部分、即ちもっとも近い位置がレドームの先端であると認識する。
【００１３】
ここで、航空機の種類によって、レドーム先端とノーズギアとの高さと距離は定まっており、レーザレーダ１４によってレドーム先端の位置が分かれば、ノーズギアの位置も判明する。したがって、レーザレーダ１４によって航空機１のノーズギアの概略位置とそのタイヤ位置が推定できることとなる。ただし、レーザレーダ１４はノーズギアのタイヤ２がどのあたりの領域に存在するということを安定して検出することができる半面、距離データの精度は数十センチと低い。一方、カメラ６を用いた画像処理によるノーズギアのタイヤ２の検出誤差は、数センチメートルと高精度であるものの、上述した雨の夜のように特定の悪い環境条件が重なると、例えば残距離方向での大きな誤差を生じることがある。
【００１４】
このため、この実施の形態ではこの2種類のセンシング手法を組み合わせて用いることによってそれぞれの短所を補う。すなわち、レーザレーダ１4はスポットに進入する航空機１のレドーム15の先端を検出し、レーザレーダ１４の基準位置（例えばターミナルビルの壁面）からレドーム１５の先端までの距離を出力する。ここで、タイヤ存在領域演算部１６は、あらかじめ内部の記憶回路において航空機の機種に対応付けられたレドーム１５の先端とノーズギア間の距離及び高さの情報を記憶している。タイヤ存在領域演算部１6は、あらかじめ判明している航空機の機種に基づいて内部の記憶回路に有する情報を参照し、この機種に対応するレドーム１５とノーズギア間の距離と高さを認識した後、この認識された距離及び高さとレーザレーダ１４で得られたレドーム１５までの距離とから、予め設定された換算表や換算式に基づいてレーザレーダ１４の基準位置からノーズギアまでの距離を求める。次にタイヤ存在領域演算部１6は、既知であるレーザレーダ１４の基準位置からカメラ６までの距離（この例では、カメラ６とレーザレーダ１４を同一の壁面に設けてあるので０となる）と、既知であるカメラ６の設置高さ及びその視野方向と、求められたレーザレーダ１４の基準位置からノーズギアまでの距離などに基づき、予め設定された換算表や換算式を用いてカメラ６で撮像された画像内の座標に換算した場合に、どの座標を中心にしてどの範囲まで画像処理を実施すればノーズギアのタイヤ２を捕らえることができるかを予測し、この予測されたタイヤを捕らえるべき領域（以下タイヤ存在領域とする）の中心位置の座標、及びこの領域の境界位置を計算する。一方、並行して、航空機１におけるノーズギアのタイヤ２の位置は従来通りカメラ６で撮像し、これにより従来通りのエッジ検出によるタイヤ認識を実施し、この結果が誤追尾弁別部17に入力される。これと同時に画像処理と異なる手法、即ち上述のタイヤ存在領域演算部１６の出力も、誤追尾弁別部17に入力される。
ここで、正常に追尾が実行されている通常の状態であれば画像処理部7が出力するタイヤ位置の座標と、タイヤ存在領域演算部16で予測されたタイヤ存在領域の中心位置の座標とは概ね一致する。この両者が概ね一致した場合は、異なるセンシング手法によるタイヤ位置の計算結果が一致したことに相当し、この状態でのタイヤ追尾の信頼性は高く、画像処理部７の出力するタイヤ位置の座標と予め駐機座標記憶部８に記憶された駐機位置座標との差を誘導誤差検出部９で計算し、誤差情報を表示部10に出力することによって航空機を正しく誘導する。航空機１のパイロットは表示部10の表示情報に従って航空機１を操縦し、左右方向を走行中心表示線４に合致させ、また残距離方向を定められた停止位置表示線５に合致させて航空機１を停止させる。
【００１５】
一方、画像処理部７からのタイヤ位置座標とタイヤ存在領域演算部16からのタイヤ存在領域の中心位置座標が異なった場合（座標間の位置ずれが所定以上となった場合）、誤追尾弁別部17は追尾が異常になったことを認識する。誤追尾弁別部17はこの認識に応じて、タイヤ存在領域演算部16で得られたタイヤ存在領域内のみについて再度画像処理を実施するように、画像処理部７に指令する。例えば図２のように画像全体を処理してタイヤ候補を検出した場合に、ノーズギア格納庫の扉３のほうが左右方向のエッジが強く、画像処理部３で画像処理した結果のタイヤ候補の座標も上方に外れる。しかし、タイヤ存在領域演算部１６が図２に点線で示すようなタイヤ存在領域１８を予測し、誤追尾弁別部１７の指令に応じて画像処理部７がこの存在領域１８内のみで再度画像処理することにより、路面の濡れた暗い夜間であっても路面とその中の黒いタイヤとの間に、微少ながらもエッジの差異が顕在化するので、真のタイヤを認識することが可能となる。
【００１６】
なお、一般にレーザレーダ14は進入してくる航空機１のパイロットに対向して設置されるため、パイロットが目に受けても影響がないような低いレベルの強度を有するレーザ光しか出射できず、遠距離における航空機の認識性能は画像にくらべて低くなる（すなわち、遠方では反射光の受光レベルが常に所定値以下となる）。このため、航空機が遠方に位置してレーザレーダ１４における反射光の受光レベルがどの方向でも所定値以下となる場合は、航空機１のタイヤの追尾を画像処理部７のみで行い、その後に航空機が接近して反射光の受光レベルが所定値以上となる領域の存在が検知された場合は、環境の悪条件によって生じるノーズギア格納庫の扉３の誤認識を避けるために、上述のようにタイヤ存在領域演算部１６からのタイヤ存在領域１８について画像処理部７でタイヤの検出を行うことによって、この近距離での精密なタイヤ追尾を行う。
【００１７】
また、上述では説明が煩雑となることをさけるため、レーザレーダ１４による情報を距離情報のみとしたが、レーザレーダ１４によって得られる航空機１のレドーム１５の位置情報として、残距離方向の情報の他に方位方向の情報も得られる。したがって、図１に示すレーザレーダ１４によってレドーム先端における方位方向の情報を取得し、その結果に基づいてタイヤ存在領域演算部１６ではタイヤ存在領域１８における方位方向の位置を予測する。誤追尾弁別部１７では、タイヤ存在領域演算部１６からのタイヤ存在領域１８の方位方向と画像処理部７からのタイヤ候補の方位方向とを比較して、カメラ６の画像処理結果に方位方向の偏差が生じたことを検知する。この検知に応じて、タイヤ存在領域演算部１６から得られるタイヤ存在領域１８内で画像処理部７によるタイヤの検出を行ってタイヤ位置を検出する。これを用いることによって、何らかの悪条件によってカメラ６の画像処理結果に方位方向の偏差を生じた場合でも、画像処理部７からの検出結果の異常を検知し、精度良くタイヤ位置を検出することが可能となる。
【００１８】
さらに、ここで用いるレーザレーダ１４としては、ペンシルビームを用いてアジマスとエレベーション方向に走査するもの、あるいは空間的にエレベーション方向が扇型となるレーザビームをアジマス方向のみに走査するものなどを用いる。後者の場合は光学系が簡素化し、またポリゴンミラーの駆動を行う必要がないことから、低いコストで長期動作時の高信頼性を確保でき、また１走査あたりの時間を短くできることから高いデータレートを実現できる。
【００１９】
また、ここでは説明し易さのために駐機座標記憶部８は1種類の航空機の機種に対応する座標の情報を記憶することとしたが、もちろん複数の駐機位置を記憶しても良い。この場合、切替えスイッチによって複数の機種を切り替えることとし、この切替え操作はそのスポットに次に進入する機種をあらかじめ知らされている地上作業員が実施すれば良い。さらに、例えばこの駐機座標記憶部８と例えば地上走行を管制するランプコントロールとをネットワークで接続しても良い。これによってランプコントロールからの遠隔操作によって機種の切替えが集中管理することが実現できる。また、タイヤ存在領域演算部１6についても、駐機座標記憶部８と同様、ランプコントロールからの遠隔操作などによって航空機の機種を切替えるものであってもよい。この場合タイヤ存在領域演算部１6は、内部の記憶回路からその機種に対応する機種情報（例えばレドーム１５の先端とノーズギアとの距離と高さ）を得ることができる。
【００２０】
この実施の形態では、誤追尾弁別部１７によりタイヤ存在領域演算部１６で得られた正しいと思われるタイヤ存在位置の座標近傍について、画像処理部７で再度タイヤ検出のための画像処理を実施する例について説明したが、他の例として、例えば受信性能を改善して遠距離まで航空機のレドーム１５を認識できるレーザレーダ１４を用いることにより、航空機の進入の初期段階からレーザレーダ１４が示すタイヤ存在領域１８のみを画像処理するような処理を行っても良い。また、レーザレーダ１４による航空機のレドーム１５の位置検出に関しては、レーザレーダ以外の他の位置検出手段として、例えばマイクロ波やミリ波レーダによって航空機における特定の位置を検出するものを用いても良い。この場合、タイヤ存在領域演算部１６ではこの検出位置に基づいてタイヤ存在領域１８を予測する。
【００２１】
【発明の効果】
この発明によれば、夜間の降雨時などのように画像による路面とタイヤの識別が困難な環境下であっても、信頼性の高い誘導が可能な駐機位置表示装置を提供できる。
【図面の簡単な説明】
【図１】この発明の実施の形態１を示す構成図。
【図２】この発明による追尾中の画像例を示す図。
【図３】従来のこの種の装置を示す構成図。
【図４】カメラ出力の画像例を示す図。
【図５】正常にタイヤを追尾している画像処理結果の例を示す図。
【図６】誤ってタイヤを追尾している画像処結果の例を示す図。
【符号の説明】
１航空機
２タイヤ
３扉
４走行中心表示線
５停止位置表示線
６カメラ
７画像処理部
８駐機座標記憶部
９誘導誤差検出部
１０表示部
１１タイヤ候補を示す枠
１２十字カーソル
１３誤ったタイヤ候補を示す枠
１４レーザレーダ
１５レドーム
１６タイヤ存在領域演算部
１７誤追尾弁別部
１８タイヤ存在領域[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a parking position display device that is installed on the wall surface of a building near an aircraft parking position at an airport and guides an aircraft traveling on an apron to the parking position.
[0002]
[Prior art]
FIG. 3 shows a configuration diagram of a conventional parking position display device. In the figure, 1 is an aircraft that travels in an apron to stop the aircraft at a predetermined parking position and enters a spot, 2 is a tire of an aircraft nose gear, 3 is a door of a nose gear hangar on the lower surface of the aircraft, 4 is an aircraft A travel center display line marked on the road surface along the travel direction, 5 is a stop position display line marked on the road surface perpendicular to the aircraft approach direction, and 6 enters so as to image the vicinity of the nose gear of the aircraft 1. A camera installed on the wall of the terminal building facing the aircraft, 7 is an image processing unit for detecting the position of a tire candidate where a nose gear tire is expected to exist, and 8 is a parking position where the aircraft 1 should be finally guided A parking coordinate storage unit that holds the coordinate data of the vehicle, 9 is a guidance error detection unit that obtains the difference between the current tire coordinates and the coordinates of the parking location, and 10 is the remaining distance and left-right displacement information of the result. Which is a display unit to be presented to the pilot.
[0003]
Here, an outline of the parking position display device will be described. After landing, the aircraft 1 travels on the apron and heads to the spot designated beforehand. At that spot, there is a boarding bridge that protects passengers from wind, rain, and cold, and this boarding bridge is operated by a dedicated operator. However, since one side of the boarding bridge is fixed to the airport building, it cannot be freely moved in the front-rear and left-right directions. For this reason, in the case of a fuselage where the position of the aircraft 1 has deviated significantly with respect to the parking position, the operator repeatedly advances and retreats on the other side of the boarding bridge many times and steers left and right each time. And go closer to the aircraft door. For this reason, when the error is large, it may take time to dock with the aircraft door, or in the worst case, a slight gap may be generated between the aircraft and the aircraft. In general, in order to dock a boarding bridge with an aircraft quickly and safely, it is said that the aircraft needs to be stopped to an error within 500 mm with respect to a predetermined parking position. For this reason, at the airport, error information between the parking position and the tire position of the aircraft is provided to the pilot by a marshaller or a parking position display device so as to reduce the error as much as possible. The pilot will fly the aircraft to a predetermined parking position while recognizing the left-right deviation of the aircraft and the remaining distance according to the provided information.
[0004]
Next, an example of operation of a conventional parking position display device will be described with reference to FIG. The camera 6 installed slightly above the aircraft 1 entering the spot images the vicinity of the nose gear tire 2 in the aircraft 1, and the video signal is transmitted to the image processing unit 7. The image processing unit 7 extracts a difference image between a background image acquired by the camera 6 without an aircraft and a newly acquired image (background difference processing), or binarization after background difference processing. After processing, the tire 2 is recognized separately from the background concrete image. Regarding this recognized tire, the left and right direction is the center of the two tires, and the remaining distance direction is that the tire is in contact with the road surface. Is calculated as the coordinates of the tire position. On the other hand, the coordinates of the parking position where the tire 2 of the aircraft 1 should be guided are calculated in advance and recorded in the parking coordinate storage unit 8. Here, the guidance error detector 9 always calculates the difference between the tire position coordinates and the parking position coordinates as error information. As a result, for example, error information calculated as 0.2 m to the left in the left-right direction and 15 m in the remaining distance direction is provided to the pilot of the aircraft 1 in real time through the display unit 10. The pilot looks at the display on the display unit 10 and steers the aircraft 1 to coincide with a predetermined parking position to stop the aircraft 1. An example of a camera output image captured by the camera 6 is shown in FIG. An example of image processing of this image is shown in FIG. In FIG. 5, 11 is a frame indicating a tire candidate detected as a result of processing the output image of the camera 6, and 12 is a center of two tires whose left and right directions are recognized, and a tire whose remaining distance direction is recognized. This is a cross cursor indicating the point (tire position) where the road surface is in contact with the road surface. In this figure, for the sake of explanation, the frame 11 indicating the tire candidate is slightly wide so as not to overlap the tire, and the frame 11 overlapping the cross cursor 12 is notched. An overall image of the aircraft 1 is also shown for reference. As shown in FIG. 5, in this example, the frame 11 indicating the tire candidate correctly surrounds the two tires. As for the cross cursor 12, the left and right direction is the center of the two tires, and the remaining distance direction correctly indicates the position where the tire is in contact with the road surface.
[0005]
[Problems to be solved by the invention]
Here, in the video imaged normally, the road surface is gray concrete, while the tire 2 is black rubber. Therefore, in the image, the black tire 2 exists in a gray background. For this reason, for example, if background difference processing is performed on the image of FIG. 4 to remove images such as the travel center display line 4 and the stop position display line 5, and then black and white binarization processing is performed on the entire screen, the tire 2 is processed. In the corresponding part, a rectangular image is generated in which the edges of the change from white to black in the horizontal direction have a lump of lines up and down. By utilizing this feature, the tire 2 can be recognized by detecting a portion of the entire screen in which the edge portion that causes a change in the brightness of the pixel in the horizontal direction has a straight lump in the vertical direction. .
[0006]
However, for example, in a situation where it rains at night, the road surface is imaged dark, and the tire 2 is imaged black. In other words, the difference between the background road surface and the tire 2 is remarkably reduced, and when performing binarization processing or the like on the entire screen, the binarization threshold that can clearly detect the tire 2 may not be automatically set. It was.
Under this condition, when the door 3 of the nose gear hangar opens almost vertically downward as shown in FIG. 4, a black and white edge very similar to the tire 2 described above is produced. The problem here is that the door 3 of the open nose gear hangar and the road surface have a clearer change than the change in brightness of the pixel in the left-right direction between the actual tire 2 and the road surface. is there. In this case, as shown in FIG. 6, the door 3 may be erroneously recognized as a tire on a dark road surface wet with rain. That is, as shown in FIG. 6, the frame 13 indicating the wrong tire candidate is shifted upward, and the door 3 of the nose gear hangar is caught. Here, the calculation of the remaining distance in the image processing unit 7 calculates that the remaining distance is still far if the coordinates of the tire 2 are in the upward direction in the figure, while if the remaining distance is in the downward direction in the figure. The remaining distance is calculated. For this reason, in FIG. 6, for example, although the stop line has already been overrun, it is erroneously recognized that the remaining distance is still far, and an erroneous display indicating that it is possible to move forward further is displayed. End up. If this indication is followed, the stop position will be greatly overrun, the wing tip will hit the boarding bridge, the ground worker will reach the evacuation site and contact the ground worker, the ground vehicle and the power and air from the ground There was a risk of mistracking and mislabeling causing problems such as damage to the nose gear hitting the supply equipment step.
[0007]
The present invention has been made to solve such a problem, and even in a bad situation such as raining at night, the tire position of the aircraft is detected without error, and the parking position and the tire to which the aircraft should be guided A parking position display device that provides pilots with accurate error information with respect to the position is obtained.
[0008]
[Means for Solving the Problems]
A parking position display device according to the present invention provides a pilot parking position display device that guides an aircraft traveling in an apron to a parking position to be stopped by providing pilots with direction deviation information and remaining distance information with respect to the parking position. A camera that images the aircraft and outputs a video signal; an image processing unit that performs image processing on the video signal to detect a candidate for an existing position of the tire; and a position detection unit that detects a specific position in the aircraft A tire presence region calculation unit that calculates a region where aircraft tires are present based on a specific position detected by the position detection unit, a tire presence position candidate detected by the image processing unit, and the tire presence The tire position is detected based on comparison with the tire existing area detected by the area calculation unit, and the detected tire position and the parking position of the aircraft Comprising of an inductive error detector for detecting differences, and a display unit for displaying a detected difference in the induction error detector to the pilot,
The guidance error detection unit includes a tire presence region detected by the image processing unit in the tire presence region detected by the tire presence region calculation unit, and is included in the tire existence region. Means for detecting the position of the tire from the image.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
FIG. 1 is a configuration diagram showing Embodiment 1 of the present invention, in which 14 is a laser radar that emits laser light and receives reflected light from an object, 15 is a radome at the tip of an aircraft, and 16 is a tire existing area. The calculation unit, and 17 is an error tracking discrimination unit, and 1 to 10 are the same as the above-described conventional apparatus.
[0012]
Next, the operation will be described. The laser radar 14 can obtain information on the distance to the object on the apron and the light reception level of the reflected wave. In FIG. 1, the laser radar 14 is installed on the wall of a terminal building, for example, facing the radome 15 at the tip of the aircraft. When the aircraft 1 has not entered the spot, there is no obstacle on the apron, and therefore there is no object that reflects the laser light of the laser radar 14. As for the reflection of the laser beam, the safety vest with slightly sewed reflective tape of ground maintenance personnel, the duct for supplying fresh air from the ground power supply and ground equipment, and the trapping degree to access the stopped aircraft are about In any case, it is slightly smaller than the area of the radome 15 of the aircraft 1, and can be easily distinguished from the aircraft by its size, the reflection intensity of the laser light, or the size of the object lump. When the aircraft 1 enters the spot, the laser radar 14 detects the presence of an object corresponding to the radome 15 of the aircraft because the light reception level of the reflected wave is equal to or higher than a predetermined value, and the laser around the detected object is detected. The part where the detection distance of the radar 14 is the smallest, that is, the closest position is recognized as the tip of the radome.
[0013]
Here, the height and the distance between the radome tip and the nose gear are determined depending on the type of aircraft, and if the position of the radome tip is known by the laser radar 14, the position of the nose gear is also found. Therefore, the approximate position of the nose gear of the aircraft 1 and its tire position can be estimated by the laser radar 14. However, the laser radar 14 can stably detect in which area the tire 2 of the nose gear exists, but the accuracy of the distance data is as low as several tens of centimeters. On the other hand, the detection error of the nose gear tire 2 due to the image processing using the camera 6 is as high as several centimeters, but if a certain bad environmental condition overlaps like the above-mentioned rainy night, for example, the remaining distance direction May cause a large error.
[0014]
For this reason, in this embodiment, these two types of sensing methods are used in combination to compensate for their respective disadvantages. That is, the laser radar 14 detects the tip of the radome 15 of the aircraft 1 entering the spot, and outputs the distance from the reference position of the laser radar 14 (for example, the wall surface of the terminal building) to the tip of the radome 15. Here, the tire presence area calculation unit 16 stores in advance information on the distance and height between the tip of the radome 15 and the nose gear associated with the aircraft model in the internal storage circuit. The tire presence area calculation unit 16 refers to the information stored in the internal storage circuit based on the aircraft model that is known in advance, and recognizes the distance and height between the radome 15 and the nose gear corresponding to this model, Based on the recognized distance and height and the distance to the radome 15 obtained by the laser radar 14, the distance from the reference position of the laser radar 14 to the nose gear is obtained based on a preset conversion table and conversion formula. Next, the tire presence area calculation unit 16 determines the distance from the known reference position of the laser radar 14 to the camera 6 (in this example, the camera 6 and the laser radar 14 are provided on the same wall surface, and thus becomes 0). Based on the known installation height of the camera 6 and its viewing direction, the distance from the reference position of the laser radar 14 to the nose gear, and the like, the image is captured by the camera 6 using a preset conversion table or conversion formula. When converted to the coordinates in the image, it is predicted that the nose gear tire 2 can be captured by performing image processing up to which range around which coordinate, and the region where the predicted tire should be captured The coordinates of the center position (hereinafter referred to as a tire existing area) and the boundary position of this area are calculated. On the other hand, the position of the tire 2 of the nose gear in the aircraft 1 is imaged by the camera 6 as usual, and thereby the tire recognition by the conventional edge detection is performed, and this result is input to the error tracking discriminator 17. . At the same time, a method different from the image processing, that is, the output of the above-described tire presence region calculation unit 16 is also input to the error tracking discrimination unit 17.
Here, the coordinates of the tire position output by the image processing unit 7 and the coordinates of the center position of the tire existing area predicted by the tire existing area calculation unit 16 in the normal state where tracking is normally performed are It almost agrees. When both of these are generally the same, it corresponds to the calculation result of the tire position by different sensing methods, the reliability of the tire tracking in this state is high, and the coordinates of the tire position output by the image processing unit 7 A difference from the parking position coordinate stored in advance in the parking coordinate storage unit 8 is calculated by the guidance error detection unit 9 and the error information is output to the display unit 10 to correctly guide the aircraft. The pilot of the aircraft 1 controls the aircraft 1 according to the display information on the display unit 10, aligns the left-right direction with the traveling center display line 4, and matches the remaining distance direction with the determined stop position display line 5. Stop.
[0015]
On the other hand, when the tire position coordinates from the image processing unit 7 and the center position coordinates of the tire existing area from the tire existing area calculating unit 16 are different (when the positional deviation between the coordinates is greater than or equal to a predetermined value), an erroneous tracking discrimination unit 17 recognizes that tracking has become abnormal. In response to this recognition, the error tracking discriminating unit 17 instructs the image processing unit 7 to perform image processing again only within the tire existing region obtained by the tire existing region calculating unit 16. For example, when the tire candidate is detected by processing the entire image as shown in FIG. 2, the left and right edges of the door 3 of the nose gear hangar are stronger, and the coordinates of the tire candidate as a result of image processing by the image processing unit 3 are also upward. Fall off. However, the tire presence region calculation unit 16 predicts a tire presence region 18 as indicated by a dotted line in FIG. 2, and the image processing unit 7 performs image processing again only within the presence region 18 in response to a command from the erroneous tracking discrimination unit 17. By doing so, even on a dark night when the road surface is wet, a slight difference in edge appears between the road surface and the black tire in the road surface, so that a true tire can be recognized.
[0016]
In general, since the laser radar 14 is installed opposite to the pilot of the aircraft 1 that enters, the laser radar 14 can emit only laser light having a low level intensity that is not affected even if the pilot receives it. The recognition performance of the aircraft at a distance is lower than that of an image (that is, the received light level of reflected light is always below a predetermined value at a distance). For this reason, when the aircraft is located far away and the received light level of the reflected light from the laser radar 14 is below a predetermined value in any direction, the tire tracking of the aircraft 1 is performed only by the image processing unit 7, and then the aircraft is When the presence of an area where the light reception level of the reflected light approaches and exceeds a predetermined value is detected, the tire existing area as described above in order to avoid erroneous recognition of the door 3 of the nose gear hangar caused by adverse environmental conditions The tire detection is performed by the image processing unit 7 on the tire existing area 18 from the calculation unit 16, thereby performing precise tire tracking at this short distance.
[0017]
Further, in the above description, in order to avoid complicated explanation, the information by the laser radar 14 is only distance information. However, as the positional information of the radome 15 of the aircraft 1 obtained by the laser radar 14, information on the remaining distance direction is also included. Information on the azimuth direction can also be obtained. Therefore, information on the azimuth direction at the tip of the radome is acquired by the laser radar 14 shown in FIG. 1, and the tire presence area calculation unit 16 predicts the position in the azimuth direction in the tire existence area 18 based on the result. The error tracking discriminating unit 17 compares the azimuth direction of the tire existing region 18 from the tire existing region calculation unit 16 with the azimuth direction of the tire candidate from the image processing unit 7, and determines the azimuth direction in the image processing result of the camera 6. Detect that a deviation has occurred. In response to this detection, the tire position is detected by detecting the tire by the image processing unit 7 in the tire presence region 18 obtained from the tire presence region calculation unit 16. By using this, even if a deviation in the azimuth direction occurs in the image processing result of the camera 6 due to some adverse condition, an abnormality in the detection result from the image processing unit 7 can be detected and the tire position can be detected with high accuracy. It becomes possible.
[0018]
Further, as the laser radar 14 used here, a laser beam that scans in the azimuth and elevation directions using a pencil beam, or a laser beam that scans only in the azimuth direction with a spatially elevated fan direction. Use. In the latter case, the optical system is simplified, and it is not necessary to drive the polygon mirror, so that high reliability during long-term operation can be ensured at low cost, and the time per scan can be shortened, resulting in a high data rate. Can be realized.
[0019]
In addition, for ease of explanation, the parking coordinate storage unit 8 stores coordinate information corresponding to one type of aircraft, but of course a plurality of parking positions may be stored. . In this case, a plurality of models are switched by the changeover switch, and this switching operation may be performed by a ground worker who is informed in advance of the next model to enter the spot. Further, for example, the parking coordinate storage unit 8 may be connected to a lamp control that controls ground driving, for example, via a network. This makes it possible to centrally manage the switching of models by remote control from the lamp control. Further, the tire presence area calculation unit 16 may also switch the aircraft model by a remote operation from the lamp control or the like, similar to the parking coordinate storage unit 8. In this case, the tire presence area calculation unit 16 can obtain model information (for example, the distance and height between the tip of the radome 15 and the nose gear) corresponding to the model from the internal storage circuit.
[0020]
In this embodiment, the image processing unit 7 again performs image processing for tire detection on the vicinity of the coordinates of the correct tire presence position obtained by the tire presence region calculation unit 16 by the error tracking discrimination unit 17. Although the example has been described, as another example, the presence of a tire indicated by the laser radar 14 from the initial stage of the approach of the aircraft by using the laser radar 14 that can improve the reception performance and recognize the radome 15 of the aircraft to a long distance, for example. Processing such as image processing of only the region 18 may be performed. Further, regarding the position detection of the radome 15 of the aircraft by the laser radar 14, as a position detection unit other than the laser radar, for example, a device that detects a specific position in the aircraft using a microwave or a millimeter wave radar may be used. In this case, the tire presence region calculation unit 16 predicts the tire presence region 18 based on this detection position.
[0021]
【The invention's effect】
According to the present invention, it is possible to provide a parking position display device capable of highly reliable guidance even in an environment where it is difficult to discriminate between a road surface and a tire by an image, such as during night rain.
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing a first embodiment of the present invention.
FIG. 2 is a diagram showing an example of an image during tracking according to the present invention.
FIG. 3 is a block diagram showing a conventional device of this type.
FIG. 4 is a diagram illustrating an example of an image output from a camera.
FIG. 5 is a diagram illustrating an example of an image processing result in which a tire is normally tracked.
FIG. 6 is a diagram illustrating an example of an image processing result in which a tire is tracked by mistake.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Aircraft 2 Tire 3 Door 4 Travel center display line 5 Stop position display line 6 Camera 7 Image processing part 8 Parking coordinate memory | storage part 9 Guidance error detection part 10 Display part 11 Frame 12 which shows a tire candidate Crosshair cursor 13 Incorrect tire candidate A frame 14 indicating a laser radar 15 A radome 16 A tire existing area calculation unit 17 A false tracking discrimination unit 18 A tire existing area

Claims

パイロットに対して駐機位置に対する方位ずれ情報および残距離情報を提供することによってエプロンを走行する航空機を停止すべき駐機位置へ誘導する駐機位置表示装置において、前記航空機を撮像して映像信号を出力するカメラと、この映像信号を画像処理してタイヤの存在位置の候補を検出する画像処理部と、前記航空機における特定の位置を検出する位置検出手段と、この位置検出手段で検出された特定の位置に基づいて航空機のタイヤが存在する領域を算出するタイヤ存在領域演算部と、前記画像処理部で検出されたタイヤ存在位置の候補と前記タイヤ存在領域演算部で検出されたタイヤの存在領域との比較に基づいてタイヤ位置を検出し、この検出されたタイヤ位置と前記航空機の駐機位置との差異を検出する誘導誤差検出部と、前記誘導誤差検出部で検出された差異をパイロットに表示する表示部とを備え、
前記誘導誤差検出部は、前記タイヤ存在領域演算部で検出されたタイヤの存在領域に前記画像処理部で検出されたタイヤの存在位置の候補を有していないときに、前記タイヤの存在領域内の画像からタイヤの存在位置を検出する手段を備えたことを特徴とする駐機位置表示装置。In a parking position display device that guides an aircraft traveling in an apron to a parking position to be stopped by providing a pilot with misorientation information and remaining distance information with respect to the parking position, an image signal is obtained by imaging the aircraft , An image processing unit that detects the candidate position of the tire by image processing the video signal, a position detection unit that detects a specific position in the aircraft, and the position detection unit A tire presence region calculation unit that calculates a region where aircraft tires are present based on a specific position, a candidate for a tire presence position detected by the image processing unit, and the presence of a tire detected by the tire presence region calculation unit A guidance error detector that detects a tire position based on a comparison with a region and detects a difference between the detected tire position and the parking position of the aircraft; And a display unit for displaying to the pilot the detected difference in the induction error detector,
The guidance error detection unit includes a tire presence region detected by the image processing unit in the tire presence region detected by the tire presence region calculation unit, and is included in the tire existence region. A parking position display device comprising means for detecting the position of the tire from the image of the vehicle.