JP2013083510A

JP2013083510A - レーザレーダ装置およびレーザレーダ装置による撮像目標選択方法

Info

Publication number: JP2013083510A
Application number: JP2011222831A
Authority: JP
Inventors: Shinpei Fukada; 晋平深田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2011-10-07
Filing date: 2011-10-07
Publication date: 2013-05-09

Abstract

【課題】背景に輝度の非常に高いクラッタが存在する場合、画像信号からクラッタ成分を除去できない。
【解決手段】一実施形態によれば、レーザ光の送信部１１と、受信部１２と、複数の撮像素子を有する撮像部１３と、目標までの相対距離を演算し受信タイミング信号を出力する測距器１４と、この受信タイミング信号の受信期間に重なる第１の露光タイミング信号およびこの受信期間と重ならないタイミングを持つ第２の露光タイミング信号を撮像部１３へ与えるタイミング生成部１５と、各露光タイミング信号によって撮像された画像信号から複数の画素および画素毎の輝度を対応させた画像データを生成する画像処理部１６とを備え、画像処理部１６は第１の露光タイミング信号により目標および背景を含む画像を生成し、第２の露光タイミング信号により背景を含む画像を生成し、これらの画像間で輝度の差分を求めるレーザレーダ装置が提供される。
【選択図】図１

Description

一実施形態はレーザレーダ装置およびレーザレーダ装置による撮像目標選択方法に関する。

従来、赤外線などのレーザビームを出射し、物体からの反射光によって画像検出及び測距を行うレーザレーダ装置を用いた目標捕捉追跡装置が知られている（例えば特許文献１、２参照）。

レーザレーダ装置は、目標にレーザ光を照射し、その反射光の到来方向をこのレーザレーダ装置が求める追跡点とする処理を行う（例えば特許文献３参照）。追跡点とは現時点のフレームの入力画像における目標物体の位置を指す。レーザレーダ装置は自らが撮像した画面の中心に追跡点を捕らえるように赤外線カメラを上下左右に駆動する機構を有する。反射光を赤外線カメラが補えると、この機構は赤外線カメラを反射光の到来方向に指向させる。赤外線カメラは目標を視野内の中心に捕らえて目標を撮影する。この赤外線カメラにより写された視野には背景画像が含まれる。背景に輝度の高い物体が存在する場合、画像処理部では反射光と、クラッタとを区別する処理が困難になることがある。クラッタとは背景の輝度の高い物体による不要な成分の受光強度を指す。

従来、クラッタを低減させるため、背景までの距離情報を取得し、この背景距離情報に基づいて撮像装置の露光タイミングを制御する方式が提案されている（例えば特許文献４参照）。露光とは撮像装置による撮像あるいは感光を指す。露光タイミングの決定では、別途計測する目標との距離データから反射光を受光するタイミングを求め、このタイミングに露光タイミングを合わせるようにする。

特開２０１１−１７６４５号公報特開２００４−２８６０２号公報特開２００５−２６５２８８号公報特開平１１−１８３６２０号公報

しかし、従来の技術では、背景に輝度の非常に高いクラッタが存在する場合、画像領域内の画像信号から、クラッタ成分を除去することができない。

このような課題を解決するため、一実施形態によれば、レーザ光を出射する送信部と、この送信部からの前記レーザ光が物体により反射した反射光を受信する受信部と、それぞれこの受信部からの前記反射光を受光する複数の撮像素子を有する撮像部と、この撮像部が撮像した時点における前記撮像部および目標間の相対距離を演算し、前記反射光の予定の到来時点から立上って受信期間持続してから立下がる波形を持つ受信タイミング信号を出力する測距器と、この測距器からの前記受信タイミング信号の前記受信期間に重なる期間を有し前記反射光の受信タイミングに合うタイミングの第１の露光タイミング信号、および前記受信期間と重ならないタイミングの第２の露光タイミング信号を前記撮像部へ与えるタイミング生成部と、このタイミング生成部が生成する各露光タイミング信号によって前記撮像部が撮像出力した画像信号から複数の画素および前記画素毎の輝度を対応させた画像データを生成する画像処理部と、を備え、この画像処理部は、前記第１の露光タイミング信号により前記目標および背景を含む画像を生成し、前記第２の露光タイミング信号により前記背景を含む画像を生成し、これらの画像間で前記輝度の差分を求めることを特徴とするレーザレーダ装置が提供される。

また、別の一実施形態によれば、レーザ光を出射した後、撮像すべき目標により反射した反射光が戻ってくる予定の受信タイミングに合うタイミングを持つ第１の露光タイミング信号によって前記目標および背景を含む画像を生成し、前記受信タイミングに合わないタイミングを持つ第２の露光タイミング信号によって前記背景を含む画像信号を生成し、これらの画像間で複数の画素毎に輝度の差分を求めて前記目標を選択することを特徴とするレーザレーダ装置による撮像目標選択方法が提供される。

実施の形態に係るレーザレーダ装置の構成図である。実施の形態に係るレーザレーダ装置に用いられる測距器による測距方法を説明するための図である。実施の形態に係るレーザレーダ装置によるレーザ光の送受信タイミングと露光タイミングとの関係を示すタイムチャートである。実施の形態に係るレーザレーダ装置による撮像目標選択方法を説明するためのフローチャートである。実施の形態に係るレーザレーダ装置による画像間の輝度の差分演算の一例を示す図である。

以下、実施の形態に係るレーザレーダ装置およびレーザレーダ装置による撮像目標選択方法について、図１乃至図５を参照しながら説明する。尚、各図において同一箇所については同一の符号を付すとともに、重複した説明は省略する。

図１は実施の形態に係るレーザレーダ装置の構成図である。本実施形態に係るレーザレーダ装置は赤外線の送受信により目標の画像検出及び測距を行って目標画像を生成するものである。このレーザレーダ装置は、レーザ光を出射する送信部１１と、レーザ光が物体により反射した反射光を受信する受信部１２と、それぞれこの受信部１２からの反射光を受光する複数の撮像素子を有する赤外線カメラ１３（撮像部）と、赤外線カメラ１３が撮像した時点における赤外線カメラ１３及び目標間の相対距離を演算し受信タイミング信号を出力する測距器１４と、受信タイミングと同期するタイミングの第１の露光タイミング信号及びこの受信タイミングと同期しないタイミングの第２の露光タイミング信号を赤外線カメラ１３に対して与えるタイミング生成部１５と、各露光タイミング信号によって赤外線カメラ１３が撮像出力した画像信号より複数の画素および画素毎の輝度を対応させた画像データを生成する画像処理部１６と、２軸のジンバル機構１７と、このジンバル機構１７の駆動部１８とを備えている。タイミング生成部１５、画像処理部１６及び駆動部１８は制御器２９を構成する。露光タイミングとはシャッタ開を指令するためのタイミングパルス信号の立上り位置及び立下がり位置を指す。

送信部１１はパルス状のレーザ光を周期的に出射する。送信部１１が発するレーザ光のビーム形状は目標方向に指向したビーム軸を有し、このビーム軸周りの空間内に赤外線強度を分布させるようにしている。受信部１２は、反射光を集めるレンズ、及び光電変換用のフォトダイオードやアバランシェフォトダイオード等を有する。

赤外線カメラ１３は、基板上に２次元配置された複数の赤外線ＣＣＤ（赤外線電荷結合デバイス）と、これらの撮像素子としての赤外線ＣＣＤの後段に設けられたアナログ・ディジタル変換器と、各赤外線ＣＣＤへ反射光を取込む又は取込まない動作を行うシャッタと、シャッタへの制御信号の入力を検知する検知器とを備えている。赤外線カメラ１３は実質的に反射光がこの赤外線カメラ１３に到達する瞬間のみシャッタを開いて露光する。赤外線カメラ１３に対するシャッタの開閉、即ち露光の指令はタイミング生成部１５により行われる。

測距器１４は目標までの距離情報を取得する。測距器１４は、送信部１１又はタイミング生成部１５よりレーザ光の照射時点を示す信号を受け取り、反射光の受信時点を示す信号を受信部１２より受け取る。

図２は測距器１４による測距方法を説明するための図である。既述の符号はそれらと同じ要素を表す。送信部１１が大気中に放射した光波は目標１９により散乱し、散乱で生じた反射波の一部は赤外線カメラ１３及び測距器１３の位置に戻ってくる。目標１９までの距離をＲ、光速をｃとし、光波信号が目標１９により反射して戻ってくるまでの遅延時間をτとすると、測距器１４は距離ＲをＲ＝τ・ｃ／２により計算する。

測距器１４が出力する受信タイミング信号は、反射光の予定の到来時点から立上って受信期間持続してから立下がる波形を有する。図３にレーザ光の送受信タイミングと、露光タイミングとの関係を示す。

図３（ａ）は送信部１１によるレーザ光の照射タイミングを示すタイムチャートである。遅延時間τは、レーザ光の照射後、送信位置から目標１９まで飛んでこの目標１９から返ってくるまでの往復伝搬距離に比例する値を持つ。図３（ｂ）は受信部１２による反射光の受信タイミングを示すタイムチャートである。反射光の予定の到来時点はレーザ光が出射された後、遅延時間τが経過した時点に実質等しい。同図の受信タイミング信号２０を測距器１４が供給する。受信タイミング信号２０の波形はこの反射光の予定到来時点より立上って受信期間持続してから立下がる。比較例としての図３（ｃ）は従来例による赤外線カメラの露光タイミングを示すタイムチャートである。図３（ｄ）は実施形態に係るレーザレーダ装置による赤外線カメラ１３の露光タイミングを示すタイムチャートである。これらの図中、横軸は時間軸を表す。縦軸は電圧レベルを表す。

また、タイミング生成部１５（図１）は赤外線カメラ１３に対して反射光の受信タイミングの受信期間に重なる期間を有し反射光の到来時点に合うタイミングを持つ第１の露光タイミング信号と、この受信期間と重ならないタイミングを持つ第２の露光タイミング信号とを供給する。図３（ｄ）に示すように、第１の露光タイミング信号２１は受信タイミング信号２０の受信期間に重なる波形を有する。第２の露光タイミング信号２２は受信期間と重ならない波形を有する。

画像処理部１６は画像差分演算部２３及びフレームメモリ２８を有する。画像差分演算部２３は、第１の露光タイミング信号２１により第１のフレームの画像データを生成し、第２の露光タイミング信号２２により第２のフレームの画像データを生成する。画像処理部１６はこれらの画像データ間で輝度の差分を求めるようにしている。

フレームとは画像領域内の１枚分の画像信号を得るために要する期間を指す。このフレームは赤外線ＣＣＤの素子能力により決まる値である。１フレーム期間は、撮像部１３の複数の赤外線ＣＣＤが蓄積容量をリセットされてから、これらの赤外線ＣＣＤが受信部１２のフォトダイオードから掃き出された電荷を蓄積し、プロセッサにより電荷が電圧信号としてフレームメモリ２８に書込まれるまでの期間である。例えば３０Ｈｚ、６０Ｈｚ、１２０Ｈｚのフレームレートで動作する赤外線ＣＣＤはそれぞれ３３．３ｍｓｅｃ、１６．７ｍｓｅｃ、８．３ｍｓｅｃのフレーム期間を有する。

画像処理部１６の機能は例えばＤＳＰ（ディジタル信号プロセッサ）、ＡＳＩＣ（特定用途向け集積回路）あるいはＦＰＧＡ（フィールドプログラマブルゲートアレイ）、揮発性メモリ、及び不揮発性メモリ等により実行される。

図１の送信部１１、受信部１２、赤外線カメラ１３、測距器１４はジンバル機構１７とともにケーシング２４に一体的に収容されている。ジンバル機構１７は、ベース２５上でケーシング２４をアジマス（ＡＺ）軸及びエレベーション（ＥＬ）軸の各軸回りに回動させる。駆動部１８はジンバル機構１７の指向方向が目標検出方向になるよう調整する。この駆動部１８が各軸回りに設けられた図示しないモータを回すことによりレーザレーダ装置は目標を追跡可能になっている。

また、本実施形態に係るレーザレーダ装置による撮像目標選択方法は、反射光の戻ってくる予定の受信タイミングに合うタイミングにおいて目標、背景を含む画像信号を生成して画像データを記憶し、受信タイミングに合わない別のタイミングで背景を含む画像信号を生成して画像データを記憶し、これらの画像データ間で画素毎に輝度の差分を求め、差分結果により画像領域内から目標を選択抽出する方法である。この方法では、差分と、予め保持する輝度の閾値とにより目標を抽出し、目標の撮像方向と、測距方向とをそれぞれ目標抽出方向に指向させる。

このような構成の本実施形態に係るレーザレーダ装置は監視対象の空間領域を走査する。ジンバル機構１７により赤外線カメラ１３は方位角方向及び仰角方向に動く。この赤外線カメラ１３から見て目標の後ろ側にはいろいろな種類の物体や自然物が位置することとなる。レーザレーダ装置はなるべく背景から目標を見やすくなるように目標だけを抽出する処理を行う。明るさ背景として輝度が非常に高い物体が明るい物体として撮像されることがある。画像処理部１６は常時あるいは日照条件に応じて図４のような処理を行う。

図４は撮像目標選択方法を説明するためのフローチャートである。ステップＡ１において、画像処理部１６は図３（ｄ）の第１の露光タイミング信号２１のように、反射光が返ってくるタイミングで画像を生成する。画像処理部１６は縦横予め決められたサイズを有する画像領域を、例えば１００画素×１００画素の１００００画素により作像する。１００００画素のそれぞれについて、例えば１１ビットに相当する２０４８段階の値で表した輝度レベルをフレームメモリ２８から読出して画像処理部１６は作像する。第１の露光タイミング信号２１による撮像の後、赤外線カメラ１３は１００００画素の全てについて１１ビット表現のディジタル輝度レベル情報をフレームメモリ２８に掃き出す。第１のフレームについて目標と背景との双方を含む画像データが作成される。

図５（ａ）は露光タイミングをレーザ反射光の受信タイミングに合わせた場合の画像の一例を示す図である。同図はフレーム番号ｎのフレームから作像された画像を示している。画像領域２６内に、目標エコー２７が捕らえられている。画像領域２６内において目標エコー２７以外の像は背景画像を表す。画像領域２６内で異なる位置に互いに輝度が異なる像が現れている。

第１のフレームに続き、ステップＡ２において、画像処理部１６は図３（ｄ）の第２の露光タイミング信号２２のように、反射光が返ってこないタイミングで画像を生成する。第２の露光タイミング信号２２による露光後、赤外線カメラ１３は１００００画素の輝度レベル情報をフレームメモリ２８へ送る。第２のフレームについて背景だけが含まれる画像データが作成される。

図５（ｂ）は露光タイミングをレーザ反射光の受信タイミングからずらして撮像された場合の画像の一例を示す図である。フレーム番号ｎの次のフレーム番号（ｎ＋１）のフレームから作像された画像を同図は示している。画像領域２６内に、目標エコー２７が存在していない。

ステップＡ３において、画像処理部１６はこれらの１００００画素に亘る全画素について、輝度レベルの差分を計算する。反射光が返ってくるフレームｎと、反射光が返ってこないフレーム（ｎ＋１）との画像データ間で輝度の差分をとることにより、画像処理部１６は目標だけの画像のレベルを抽出する。

図５（ｃ）は画像処理部１６が差分を演算した後の画像の一例を示す図である。１００００画素の全てについて１１ビット表現の輝度レベルの差分情報を画像処理部１６が計算し、差分演算後の画像を作像する。画像領域２６内には、目標エコー２７だけが抽出されている。画像領域２６内において目標エコー２７以外の不要な背景画像が除去される。

このようにして確実にクラッタを低減させることができる。上記例は図３（ｄ）の最初に現れる２つのフレームを使った演算についての説明であり、最初の２つのフレーム以降のフレームについて画像処理部１６は上記処理と同じ処理を複数回に亘って繰返す。

一般に、レーザレーダ装置に用いられる撮影装置では、露光期間と、露光タイミング信号の立上り位置と、この露光タイミングの立下がり位置とは変更調整可能である。本実施形態に係るレーザレーダ装置はこれらの位置をずらす。レーザレーダ装置は赤外線カメラ１３を用いて、このレーザレーダ装置自らが目標に照射するレーザ光の物体からの反射光が写るタイミングと、レーザ反射光が写らず背景のみが撮影されるタイミングとで撮像を行う。本実施形態に係るレーザレーダ装置は反射光が写るタイミングでの画像と、反射光が写らないタイミングでの画像とを交互に取得する。物体からのエコーが写るタイミングと、エコーが現れることのないタイミングとにおいて交互に撮像した画像の差分をレーザレーダ装置が求めることで、レーザ反射光のみを抽出できる。これにより、クラッタ成分を抑圧する効果が得られる。

以上のように、本実施形態に係るレーザレーダ装置は露光タイミングをレーザ反射光の受信タイミングに合わせることに加えて、意図的にレーザ反射光を受信しないタイミングに露光タイミングを合わせるようにしている。このレーザレーダ装置は、レーザ反射光の受信タイミングと赤外線カメラの露光タイミングとを合わせることと、合わせないこととを交互に行って、それぞれ得られた隣り合うフレームのカメラ画像の差分を求めることで、背景クラッタを除去でき、目標を表すレーザ反射光のみを抽出することができるようになる。

従来例に係るレーザレーダ装置は露光タイミングをレーザ反射光の受光タイミングに合わせ、及び露光を持続させる露光期間を短くさせている。このレーザレーダ装置はレーザ反射光以外の背景成分や不要なエコー成分を取込む受光期間を縮めることにより背景成分を抑圧しクラッタ成分を低減させている。それでも尚、輝度の非常に高いクラッタが存在すると背景クラッタの影響が残り、完全にクラッタ成分を低減させることができないケースが存在する。これに対して本実施形態に係るレーザレーダ装置では、背景クラッタの影響を小さくすることができる。

従来例では、赤外線ＣＣＤのフレームレートが遅かったため、撮像された画像データ間で差分を演算すると、演算に時間を要し、レーザレーダ装置を使ったシステムが成り立たない。近年、フレームレートが１２０Ｈｚや２４０Ｈｚあるいはそれ以上の赤外線ＣＣＤを得られるようになってきており、高速に画像データを掃き出すことが可能な赤外線ＣＣＤにより画像を作像可能になってきている。フレームレートが例えば２倍になると、レーザレーダ装置は隣接する２コマのフレームの画像データを得る間に、２枚分の画像を作像可能である。本実施形態に係るレーザレーダ装置は、赤外線カメラ１３を高速フレームレートで動作させることによって、表示画像の生成と差分演算との双方を行うことができる。

尚、上記の実施形態は実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。上記の実施形態では、測距器１４は送信部１１内に設けられたが、測距器１４を制御器２９内に設けてもよい。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１１…送信部、１２…受信部、１３…赤外線カメラ（撮像部）、１４…測距器、１５…タイミング生成部、１６…画像処理部、１７…ジンバル機構、１８…駆動部、１９…目標、２０…受信タイミング信号、２１…露光タイミング信号（第１の露光タイミング信号）、２２…露光タイミング信号（第２の露光タイミング信号）、２３…画像差分演算部、２４…ケーシング、２５…ベース、２６…画像領域、２７…目標エコー、２８…フレームメモリ、２９…制御器。

Claims

レーザ光を出射する送信部と、
この送信部からの前記レーザ光が物体により反射した反射光を受信する受信部と、
それぞれこの受信部からの前記反射光を受光する複数の撮像素子を有する撮像部と、
この撮像部が撮像した時点における前記撮像部および目標間の相対距離を演算し、前記反射光の予定の到来時点から立上って受信期間持続してから立下がる波形を持つ受信タイミング信号を出力する測距器と、
この測距器からの前記受信タイミング信号の前記受信期間に重なる期間を有し前記反射光の受信タイミングに合うタイミングの第１の露光タイミング信号、および前記受信期間と重ならないタイミングの第２の露光タイミング信号を前記撮像部へ与えるタイミング生成部と、
このタイミング生成部が生成する各露光タイミング信号によって前記撮像部が撮像出力した画像信号から複数の画素および前記画素毎の輝度を対応させた画像データを生成する画像処理部と、を備え、
この画像処理部は、前記第１の露光タイミング信号により前記目標および背景を含む画像を生成し、前記第２の露光タイミング信号により前記背景を含む画像を生成し、これらの画像間で前記輝度の差分を求めることを特徴とするレーザレーダ装置。
前記レーザ光送出部および前記撮像部のジンバル機構と、このジンバル機構の指向方向を前記目標の検出方向に調整する駆動部とを更に備え、この駆動部により前記目標を追跡することを特徴とする請求項１記載のレーザレーダ装置。
レーザ光を出射した後、撮像すべき目標により反射した反射光が戻ってくる予定の受信タイミングに合うタイミングを持つ第１の露光タイミング信号によって前記目標および背景を含む画像を生成し、
前記受信タイミングに合わないタイミングを持つ第２の露光タイミング信号によって前記背景を含む画像信号を生成し、
これらの画像間で複数の画素毎に輝度の差分を求めて前記目標を選択することを特徴とするレーザレーダ装置による撮像目標選択方法。
前記差分と、予め保持する輝度の閾値とにより前記目標を抽出し、前記目標の撮像方向と、測距方向とをそれぞれ目標抽出方向に指向させることを特徴とする請求項３記載のレーザレーダ装置による撮像目標選択方法。