JP4301051B2 - Harbor monitoring system - Google Patents
Harbor monitoring system Download PDFInfo
- Publication number
- JP4301051B2 JP4301051B2 JP2004087132A JP2004087132A JP4301051B2 JP 4301051 B2 JP4301051 B2 JP 4301051B2 JP 2004087132 A JP2004087132 A JP 2004087132A JP 2004087132 A JP2004087132 A JP 2004087132A JP 4301051 B2 JP4301051 B2 JP 4301051B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- ship
- target
- sub
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
この発明は、港湾内および港湾周辺の水域を航行中の船舶を監視する港湾監視システムに関する。 The present invention relates to a harbor monitoring system that monitors a ship that is navigating in a water area in and around a harbor.
近年、港湾を舞台とする不正輸出や、コンテナを利用した密航事件が多発、増加する傾向にあり、港湾セキュリティの充実が求められている。
従来、所定領域の海上保安管理および船舶に関する安全管理を行うことを目的として、所定領域内を航行および停泊する船舶の船名を読取り、この読取った船名から船舶の情報を入手する港湾監視システムが知られている。
In recent years, illegal exports set in harbors and smuggling incidents using containers tend to occur and increase, and enhancement of port security is required.
Conventionally, for the purpose of performing maritime security management in a predetermined area and safety management for ships, a port monitoring system that reads ship names of ships navigating and anchoring in a predetermined area and obtains ship information from the read ship names. It has been known.
従来の港湾監視システムは、広角カメラおよびレーダにより認識した船舶の位置情報に基づいて、赤外照明装置、赤外線カメラ、を作動させ、赤外線カメラで船舶の船名を含む情景画像を撮像し、制御・表示装置において、この情景画像から船名を読取るようになっていた(例えば、特許文献1参照)。 The conventional port monitoring system operates the infrared illumination device and infrared camera based on the position information of the ship recognized by the wide-angle camera and the radar, and captures and controls the scene image including the ship name of the ship with the infrared camera. In the display device, the ship name is read from the scene image (see, for example, Patent Document 1).
しかしながら、従来の港湾監視システムは、屋外の港湾、海峡を含む所定海域の海上を一望できる所定の場所の1箇所に配置されたレーダとカメラを用いて、船舶の位置情報を認識していた。
このため、複数の船舶が接近して航行している場合、カメラ視野の手前側に位置する船舶に対してカメラ視野の奥行き方向に在る他の船舶が、当該カメラの死角領域に位置することがある。この際、他の船舶は手前側の船舶に遮蔽されており、カメラの画像からはその存在認識ができず、その位置情報を得られないという問題があった。
従って、不審船が大型船の陰に隠れて港湾内へ入港した場合に、従来の港湾監視システムでは、不審船の存在を検出することができなかった。
However, the conventional port monitoring system recognizes the position information of the ship using a radar and a camera arranged at one place in a predetermined place overlooking the sea in a predetermined sea area including an outdoor port and a strait.
For this reason, when a plurality of ships are navigating close to each other, other ships located in the depth direction of the camera field of view are located in the blind spot region of the camera with respect to the ship located on the near side of the camera field of view. There is. At this time, there is a problem that other ships are shielded by the ship on the near side, their presence cannot be recognized from the image of the camera, and their position information cannot be obtained.
Therefore, when a suspicious ship enters the harbor behind the large ship, the conventional harbor monitoring system cannot detect the presence of the suspicious ship.
この発明は係る課題を解決するために為されたものであり、隣接して航行中の複数の船舶から個々の船舶を特定して、隣接する船舶の陰に隠れた船舶の存在を検出することを目的とする。 The present invention has been made to solve such a problem, and identifies each ship from a plurality of ships that are navigating adjacent to each other, and detects the presence of a ship hidden behind an adjacent ship. With the goal.
この発明による港湾監視システムは、港湾内及び周辺海域を航行中の目標を検出する水上レーダと、前記水上レーダに隣接して配置され、前記水上レーダで検出された目標を、視野内に含むように撮影するズーム付きの主カメラと、前記主カメラと異なる視向方向を有して離隔配置され、前記水上レーダで検出された目標より以遠の水域を航行中の船舶を、視野内に含むように撮影する複数のズーム付きの副カメラと、前記各カメラの撮影画像と視野角に基づいて、前記各カメラの撮影画像を画面表示するとともに、当該撮影画像に夫々対応した前記各カメラの視野角範囲を、地図画像に重ね合わせて表示する表示部とを備えたものである。 A port monitoring system according to the present invention includes a water radar that detects a target navigating in a port and a surrounding sea area, and a target that is disposed adjacent to the water radar and detected by the water radar in a field of view. A main camera with a zoom to be photographed at a time, and a ship that is spaced apart from the main camera and has a different viewing direction and is navigating the water area beyond the target detected by the water radar And a plurality of sub-cameras with zoom, and the captured images of the cameras based on the captured images and the viewing angles of the cameras, and the viewing angles of the cameras corresponding to the captured images, respectively. And a display unit that displays the range superimposed on the map image.
この発明によれば、複数の船舶が隣接して航行している場合であっても、水上レーダと指向方向の異なる少なくとも2つ以上の監視カメラを用いて港湾内を監視することによって、隣接する船舶の陰に隠れて航行する船舶の存在を、確実に検出することができる。 According to the present invention, even when a plurality of ships are navigating adjacent to each other, they are adjacent to each other by monitoring the inside of a port using at least two monitoring cameras having different directivity directions from the water radar. It is possible to reliably detect the presence of a ship that is hidden behind the ship and navigates.
実施の形態1.
図1はこの発明の実施の形態1による港湾監視システムを構成する各センサ配置を示す斜視図である。
図において、港湾1は、周辺及び湾内の水域に船舶が出入りする。港湾1の湾内には突堤2a、2bが設けられている。図1は突堤2a、2bの間を通過して、図の下方から港湾1の湾内に、船舶10、11が入港している状態を示している。船舶10は大型〜中型の船であり、船舶11は船舶10よりも小型の船である。船舶10、11は互いに接近して航行している。突堤2a、2bには、港湾監視システムのセンサ系として、レーダ装置300、主カメラ4、副カメラ6、及び副カメラ8を含む監視用の各センサが設けられている。各センサは、港湾1の周辺及び湾内の水域を出入りする船舶を監視目標として捉えて、目標画像や目標検出情報を取得する。
なお、他に複数の監視用のセンサを設けても良いが、ここでは説明の都合上割愛する。
1 is a perspective view showing the arrangement of sensors constituting a harbor monitoring system according to
In the figure, in the
In addition, a plurality of monitoring sensors may be provided, but are omitted here for convenience of explanation.
レーダ装置300は、突堤2aの先端部に配置された支持塔22の上に設置され、アンテナ装置3を備えており、目標の距離・方位を検出する水上レーダ(センサ)として用いられる。大型船舶が複数入港しても、各船舶の存在を識別できるように、支持塔22の高さは30m〜50m程度であることが望ましい。
レーダ装置3の周辺には監視カメラとして主カメラ4が配置されている。主カメラ4は支持塔500上に配置されている。主カメラ4とレーダ装置3の水平方向の距離差は概ね30m以内程度にするのが好ましく、差が小さい程良い。
突堤2aの根元部には監視カメラとして副カメラ6が配置されている。副カメラ6は支持塔700上に配置されている。
突堤2bの根元部には監視カメラとして他の副カメラ8が配置されている。副カメラ8は支持塔900上に配置されている。
支持塔500、700、900の高さは、夫々30m程度であることが望ましい。
突堤2bには無線装置44が配置されており、無線装置44は離隔配置された信号処理器と配線ケーブルやネットワーク回線で接続されている。各センサの夫々の周辺には図示しないミリ波無線伝送装置が設けられている(図2で後述する)。
The
A
A
Another
The heights of the
A
船舶10は主カメラ4の視野内で手前側に位置する。船舶11は、船舶10よりも主カメラ4の視野の奥行き方向に存在する。すなわち、船舶11は、船舶10に遮蔽されて主カメラ4視野内の死角領域に位置しており、主カメラ4からは存在確認ができない。
The
図2はこの発明の実施の形態1による港湾監視システムの構成を示す図である。
アンテナ装置3はレーダ信号処理器20に接続され、レーダ信号処理器20はレーダ制御器21に接続されている。アンテナ装置3は所定の利得特性を有したビームを形成し、ビームのメインローブの方位角は一定となっている。レーダ信号処理器20は、アンテナ装置3から送信され目標で反射されたアンテナ装置3の受信信号に基いて、目標の距離・方位を検出する。レーダ制御器21は、回転台3bを回転駆動する。レーダ制御器21は回転台3bによって駆動されるアンテナ装置3の回転角を検出する。レーダ制御器21は、検出した回転角に基づいてレーダ信号処理器20で検出された目標の距離・方位・移動速度を、レーダ装置300に固定されたレーダ基準座標系に座標変換して、目標の距離・方位・移動速度を目標情報として出力する。
FIG. 2 is a diagram showing the configuration of the port monitoring system according to
The
レーダ制御器21にはミリ波無線伝送装置30が接続されている。アンテナ装置3は回転台3b上に回転自在に支持されており、垂直軸周りにアンテナ装置3を旋回駆動する。回転台3bは図1の支持塔22上に配置されている(図1では図示せず)。ミリ波無線伝送装置30はレーダ制御器21に接続され、レーダ制御器21からの目標情報を無線装置44に送信する。
A millimeter wave
主カメラ4はカメラ制御器25に接続され、カメラ制御器25はミリ波無線伝送装置31に接続されている。主カメラ4で撮影された撮影画像は、カメラ制御器25を介してミリ波無線伝送装置31に送出される。主カメラ4はカメラ台5上の直交二軸に回転自在に支持されて、水平軸周りの回転角度である俯角(チルト)/垂直軸周りの回転角度である旋回角(パン)の2つの回転角を成して回転する。カメラ台5は図1の支持塔500上に配置されている(図1では図示せず)。
カメラ台5はカメラ制御器25によって駆動制御される。カメラ制御器25はカメラ台5の駆動に伴なう主カメラ4の姿勢角(俯角/旋回角)を検出して、主カメラ4の指向方向の角度(カメラ台5の設置位置を基準としたカメラ基準座標系に対するカメラ視軸の角度。基準座標系を主カメラ4の姿勢角に一致させている場合は俯角/旋回角)を計測する。ミリ波無線伝送装置31は、カメラ制御器25の撮影画像と、主カメラ4のズーム比とカメラ制御器25で検出される主カメラ4の指向方向の角度とを含むカメラ制御情報を、無線装置44に伝送する。
The
The
副カメラ6はカメラ制御器26に接続され、カメラ制御器26はミリ波無線伝送装置32に接続されている。副カメラ6で撮影された撮影画像は、カメラ制御器26を介してミリ波無線伝送装置32に送出される。副カメラ6はカメラ台7上の直交二軸に回転自在に支持されて、水平軸周りの回転角度である俯角(チルト)/垂直軸周りの回転角度である旋回角(パン)の2つの回転角を成して回転する。カメラ台7は図1の支持塔700上に配置されている(図1では図示せず)。
副カメラ6はカメラ制御器26によって駆動制御され、カメラ制御器26はカメラ台7の駆動に伴なう副カメラ6の姿勢角(俯角/旋回角)を検出して副カメラ6の指向方向の角度(カメラ台7の設置位置を基準としたカメラ基準座標系に対するカメラ視軸の角度。基準座標系を副カメラ6の姿勢角に一致させている場合は俯角/旋回角)を計測する。ミリ波無線伝送装置32は、カメラ制御器26の撮影画像と、副カメラ6のズーム比とカメラ制御器26で検出される副カメラ6の指向方向の角度とを含むカメラ制御情報を、無線装置44に伝送する。
The
The
副カメラ8はカメラ制御器27に接続され、カメラ制御器27はミリ波無線伝送装置33に接続されている。副カメラ8で撮影された撮影画像は、カメラ制御器27を介してミリ波無線伝送装置33に送出する。副カメラ8はカメラ台9上の直交二軸に回転自在に支持されて、水平軸周りの回転角度である俯角(チルト)/垂直軸周りの回転角度である旋回角(パン)の2つの回転角を成して回転する。カメラ台9は図1の支持塔900上に配置されている(図1では図示せず)。
副カメラ8はカメラ制御器27によって駆動制御され、カメラ制御器27はカメラ台9の駆動に伴なう副カメラ8の姿勢角(俯角/旋回角)を検出して副カメラ8の指向方向の角度(カメラ台9の設置位置を基準としたカメラ基準座標系に対するカメラ視軸の角度。基準座標系を副カメラ8の姿勢角に一致させている場合は俯角/旋回角)を計測する。ミリ波無線伝送装置33は、カメラ制御器27の撮影画像と、副カメラ8のズーム比とカメラ制御器27で検出される副カメラ8の指向方向の角度とを含むカメラ制御情報を、無線装置44に伝送する。
The
The
無線装置44は、センサ系の各ミリ波無線伝送装置と無線通信で接続される。無線装置44は、ミリ波伝送装置40、41、42、43を備えており、夫々ミリ波伝送装置30、31、32、33に無線通信で接続されて伝送情報の送受信が行われる。無線装置44は信号処理器550に接続され、信号処理器550は表示装置62に接続される。ミリ波無線伝送装置は、例えば50GHz帯のミリ波を用いて無線通信を行うものであって、単位時間当たりの信号伝送量が多く、数km以内の短距離間での画像信号の伝送に適している。
ミリ波無線伝送装置は、音声信号と画像信号の2チャンネルで無線通信することができ、音声信号を利用して目標情報や各カメラの指向方向の角度などの制御情報を伝送することができる。
The
The millimeter wave wireless transmission apparatus can wirelessly communicate with two channels of an audio signal and an image signal, and can transmit control information such as target information and an angle in the direction of each camera using the audio signal.
入力部61はマウスやボタンやキーボードなどの入力部品で構成され、信号処理器550に入力情報を入力する。また、入力部61は表示装置62に、カーソル位置やボタンの選択有無などの表示用の情報を入力する。また、各カメラの指向方向を所望の方向に移動させて、ズーム比を所望の大きさとするように、各カメラとカメラ台をマニュアル操作するための指定情報を入力することができる。
地図データベース60は港湾1の地図データが格納されており、突堤の位置、領域、各センサ位置などの情報が事前に格納されている。
表示装置62は、複数の画面表示ディスプレイを有しており、地図情報や入力部61の入力情報、船舶の位置、各センサのセンシング領域(レーダの方位角やカメラの視野角範囲など)の表示や、各カメラの撮影画像の表示を行う。
The
The
The
図3は信号処理器、および表示装置の構成を示す図である。
図において、信号処理器550は、画像処理器52a、52b、52cを備えている。各画像処理器52a、52b、52cは、夫々ミリ波無線伝送装置41、42、43で受信した撮影画像に基づいて、画像処理を行う。この撮影画像は、所定のフレームレート(1/30秒)を有したビデオ信号を構成している。画像処理器52a、52b、52cで画像処理されて得られた目標画像情報は、追尾処理器53a、53b、53cに伝送される。また、ミリ波無線伝送装置41、42、43で受信した撮影画像は、表示処理器54a、54b、54cに直接送出される。
FIG. 3 is a diagram showing the configuration of the signal processor and the display device.
In the figure, the signal processor 550 includes image processors 52a, 52b, and 52c. Each of the image processors 52a, 52b, and 52c performs image processing based on the captured images received by the millimeter wave wireless transmission devices 41, 42, and 43, respectively. This captured image constitutes a video signal having a predetermined frame rate (1/30 second). The target image information obtained by image processing by the image processors 52a, 52b, and 52c is transmitted to the tracking processors 53a, 53b, and 53c. The captured images received by the millimeter wave wireless transmission devices 41, 42, 43 are directly sent to the display processors 54a, 54b, 54c.
制御器50は、画像処理器52a、52b、52cからの目標画像情報を演算器51に送出する。また、制御器50は、ミリ波無線伝送装置41、42、43で受信した各カメラの指向方向の角度、ズーム比を含むカメラ制御情報を、演算器51に送出する。
制御器50は、ミリ波無線伝送装置40で受信した目標情報を受信し、演算器51に送出する。
演算器51には、予めレーダ装置300の設置位置とその基準座標系、主カメラ4の設置位置とその基準座標系、副カメラ6の設置位置とその基準座標系、副カメラ8の設置位置とその基準座標系等の座標情報が設定されている。
The
The
The computing unit 51 includes an installation position of the
この座標情報に基づいて、演算器51では所定の演算処理が行われて、各種情報をシステム座標系の座標値で表現する。例えば、目標方向・目標までの距離・目標移動方向等の目標情報と、各カメラで計測されたカメラの指向方向の角度・ズーム比などのカメラ制御情報を、システム座標系に座標変換する。また、演算器51は、カメラのズーム比に基づいてカメラの視野角範囲を演算する。例えば、ズーム比が1倍のときにカメラの視野角範囲φ0=30°(指向方向基準の視野角は±15°)であるので、ミリ波無線伝送装置41、42、43で受信したカメラ制御情報中のズーム比wで除算することによって、視野角範囲をφ=φ0/wとして求めることができる。 Based on this coordinate information, the calculator 51 performs a predetermined calculation process, and expresses various types of information as coordinate values in the system coordinate system. For example, the target information such as the target direction, the distance to the target, the target moving direction, and the camera control information such as the angle of the direction of the camera and the zoom ratio measured by each camera are coordinate-converted into the system coordinate system. The calculator 51 calculates the viewing angle range of the camera based on the zoom ratio of the camera. For example, since the viewing angle range of the camera is φ 0 = 30 ° when the zoom ratio is 1 (the viewing angle based on the pointing direction is ± 15 °), the cameras received by the millimeter wave wireless transmission devices 41, 42, and 43 By dividing by the zoom ratio w in the control information, the viewing angle range can be obtained as φ = φ 0 / w.
演算器51は、目標情報をシステム座標系から各カメラのカメラ基準座標に座標変換して、座標変換したカメラ基準座標での目標情報を、制御器50に送出する。
演算器51は、演算処理したシステム座標系基準の目標情報及びカメラ情報を、制御器50経由で追尾処理器53a、53b、53cと、地図表示部71に伝送する。
制御器50は、各カメラのカメラ基準座標での目標情報を、無線装置44を経由して各ミリ波無線伝送装置31、32、33に送出する。
また、制御器50は、各カメラの指向方向とズーム比を設定するためのカメラ制御目標情報を生成する。生成したカメラ制御目標情報の指向方向を各カメラのカメラ基準座標で座標変換して、座標変換した指向方向を含むカメラ制御目標情報を、無線装置44を経由して、各ミリ波無線伝送装置31、32、33に送出する。
The computing unit 51 converts the target information from the system coordinate system to the camera reference coordinates of each camera, and sends the target information at the camera reference coordinates after the coordinate conversion to the
The computing unit 51 transmits the computed system coordinate system reference target information and camera information to the tracking processing units 53 a, 53 b, 53 c and the
The
The
追尾処理器53a、53b、53cは、画像処理器52a、52b、52cで取得された目標画像情報に基づいて、目標の追尾処理を行う。追尾対象は、入力部61の入力情報に基づいて、選択回路55によって適宜設定される。
追尾処理では、現在の目標画像のマッチングパターンを形成し記憶する。同時に、目標画像の重心位置を計算する。そして、次のフレーム時間での画像信号中の目標画像と、記憶されたマッチングパターンとの間で、相関性を加味したパターンマッチング処理を行う。これによって、目標画像を追尾する。同時に、次のフレーム時間での目標画像の重心位置を計算して、漸次重心位置を演算する。演算された重心位置情報は制御器50に出力される。なお、追尾処理に際して各種追尾フィルターを用いても良いことは言うまでもない。
制御器50は、重心位置情報に基づいて各カメラ基準座標での指向方向を設定し、設定された指向方向を、各カメラ制御器に対してカメラ制御目標情報として伝送する。各カメラ制御器は当該カメラ制御目標情報中の指向方向を向くように、指向方向を制御する。
追尾処理器53a、53b、53cは、過去のフレーム時間と現在のフレーム時間との重心位置の移動量が、所定範囲内であった場合は、追尾が外れていないと判断して、そのまま追尾を続行する。また、過去のフレーム時間と現在のフレーム時間との重心位置の移動量が、所定範囲(所定の許容追尾誤差範囲)外であった場合は、追尾外れが生じていると判断する。
また、追尾処理器53a、53b、53cで演算された重心位置は、追尾目標位置情報として、地図表示部71に送出される。
The tracking processors 53a, 53b, and 53c perform target tracking processing based on the target image information acquired by the image processors 52a, 52b, and 52c. The tracking target is appropriately set by the
In the tracking process, a matching pattern of the current target image is formed and stored. At the same time, the center of gravity position of the target image is calculated. Then, a pattern matching process taking into account the correlation is performed between the target image in the image signal at the next frame time and the stored matching pattern. Thus, the target image is tracked. At the same time, the centroid position of the target image at the next frame time is calculated, and the gradual centroid position is calculated. The calculated barycentric position information is output to the
The
The tracking processors 53a, 53b, and 53c determine that tracking is not off when the movement amount of the center of gravity position between the past frame time and the current frame time is within a predetermined range, and perform tracking as it is. continue. Further, if the amount of movement of the center of gravity position between the past frame time and the current frame time is outside the predetermined range (predetermined allowable tracking error range), it is determined that the tracking error has occurred.
Further, the barycentric position calculated by the tracking processors 53a, 53b, 53c is sent to the
地図表示部71は、制御器50を介して地図データベース60に格納された地図情報が表示される。地図データベース60には、各センサ位置と、突堤の位置と形状図、及び突堤の面する港湾内の水域とが、色分けされて表示される。また、地図データベース60には、実際の港湾内の水域の位置と、地図上の対応位置との縮尺比率が格納されている。地図表示部71は、システム座標系での目標の座標値を入力することによって、地図上の対応する縮尺された位置が表示されるように成されている。地図表示部71は、制御器50から送られた目標情報及びカメラ情報に基づいて、画面表示用の表示情報を生成して、生成画面を画面表示する。
表示装置72は表示部72a、72b、72cで構成される。表示処理器54a、54b、54cは、夫々ミリ波無線伝送装置41、42、43から送出された撮影画像を表示処理し、表示部72a、72b、72cに画面表示する。
The
The
なお、画像処理器を1台の構成として、ミリ波無線伝送装置40、41、42、43から受信する画像情報を時分割で処理し、制御器50や画像処理器52a、52b、52c、及び表示処理器54a、54b、54cに伝送しても良い。
The image processor is configured as a single unit, and the image information received from the millimeter wave wireless transmission devices 40, 41, 42, 43 is processed in a time-sharing manner, and the
次に、図2、図3について各構成の動作について説明する。
アンテナ装置3は、回転台3bのアクチュエータに回転駆動されて一定の回転速度で正転/反転し、目標を捜索する。アンテナ装置3から送信電波が出力され、港湾内及び周辺の水域を航行中の船舶で送信電波が反射して、反射波がアンテナ装置3に再入射し受信される。レーダ信号処理器20は、アンテナ装置3の受信信号についてモノパルス測角処理を行って目標方向(方位)を計測し、送信パルスの送信から受信までの時間に基づいて目標までの距離を計測する。また、受信信号中のドップラー周波数を検波することによって、目標の速度を計測する。
Next, the operation of each component will be described with reference to FIGS.
The
これによって、目標までの距離、目標の存在方向、目標の移動速度を計測することができる。レーダ制御器21は、回転台3bのアクチュエータを駆動して回転角度を検出する。また、レーダ制御器21は、レーダ装置300に固定された座標系を基底として回転台3bの回転角度を用いることによって方向余弦行列を生成し、レーダ信号処理器20で計測された目標の方位・移動速度の方向ベクトルを座標変換するとともに、距離と方位に基づいて位置座標を生成することによって、レーダ装置300の固定座標系を基準とした目標方向・目標までの距離・移動速度の目標情報を得る。ミリ波無線伝送装置30は、レーダ制御器21で得られた目標情報を無線装置44に送信し、送信情報が信号処理器550に入力される。
なお、アンテナ装置3の距離分解能は、50m以下であることが望ましい。これによって、異なる船舶が隣接して航行していても、50m以上離れている船舶同士を識別することができる。また、副カメラ6、副カメラ8の視野角が倍率1倍で30度であるとした場合、500m先の船舶を5倍の倍率で見ても、50m以内に隣接する船舶を視野角内に納めることができる。
As a result, the distance to the target, the direction in which the target exists, and the moving speed of the target can be measured. The radar controller 21 detects the rotation angle by driving the actuator of the
The distance resolution of the
信号処理器550では、レーダ制御器21で得られた目標情報が制御器50に入力されると、制御器50は演算器51に入力情報を送出する。演算器51は、予め設定されたレーダ装置300のレーダ基準座標系(直交座標系)の情報と、システム座標系(直交座標系)の情報に基づいて、座標変換行列(レーダ基準座標系とシステム座標系との方向余弦行列)を生成する。生成された座標変換行列とレーダ装置300の設置位置情報に基づいて、目標情報中の目標方向をシステム座標系で表現する。
In the signal processor 550, when the target information obtained by the radar controller 21 is input to the
次に、演算器51は、予め設定された主カメラ4のカメラ座標系(直交座標系)の情報と、システム座標系(直交座標系)の情報に基づいて、座標変換行列(カメラ座標系とシステム座標系との方向余弦行列)を生成する。生成された座標変換行列に基づいて、システム座標系を基底とする目標方向pを、主カメラ4のカメラ座標系で表現する。主カメラ4はレーダ装置300に近接配置されているので、レーダ装置300の目標方向と主カメラ4の目標方向がほぼ一致していると見なす。また、演算器51は、無線装置44の受信したカメラ制御情報中の主カメラ4のズーム比と目標情報中の目標までの距離とに基づいて、画像内に目標を捉えるようにカメラに設定すべきズーム比gを演算する。例えば、船舶の大きさを最大で100mとしたときには、ズーム比gをg=15°/tan−1(50m/目標までの距離Lm)の倍率に設定する。これによって、主カメラ4は画面内に目標画像を捉える。図1に示す例では、主カメラ4は船舶10を目標画像として捉える。同時に、ズーム比gによって、主カメラ4の視野角範囲をφ1=φ0/gとして求める。
Next, the computing unit 51 determines a coordinate transformation matrix (camera coordinate system and the camera coordinate system) based on information on the camera coordinate system (orthogonal coordinate system) of the
制御器50は、演算器51で演算された、主カメラ4のカメラ座標系で表現された目標方向pとズーム比gとを、カメラ制御目標情報として、無線装置44およびミリ波無線伝送装置31を介してカメラ制御器25に送出する。カメラ制御器25は、カメラ台5を駆動制御して主カメラ4の指向方向を目標方向に向けるように制御する。
操作者は、入力部61に主カメラ4とカメラ台5とをマニュアル操作するための指定情報を入力することができる。この指定情報の入力によって、主カメラ4のズーム比を適宜調整し、主カメラ4をズーミングして目標画像を表示部72aの画面内に捉えるようにする。
The
The operator can input designation information for manually operating the
主カメラ4で捉えた船舶10の画像は、カメラ制御器25、ミリ波無線伝送装置31、及びミリ波無線伝送装置41を介して、画像処理器52aに入力される。画像処理器52aでは、主カメラ4の撮影画像について、二値化処理、エッジ抽出処理、鮮鋭化処理などの各種画像フィルタリング処理を行うことによって、目標画像を抽出する。抽出された目標画像の重心を算出することによって、カメラ基準座標系での目標方向を算定する。算定された目標方向は制御器50に送出される。先にレーダ装置300から得られた目標までの距離が所定値(例えば1000m)以下の近距離である場合、画像処理器52aからの目標方向に基づいて、演算器51でシステム座標基準における目標位置が演算される。
また、主カメラ4で捉えた船舶10の画像は、表示処理器54aに入力される。表示処理器54aでは、船舶10の画像を表示する。
更に、制御器50は、演算された目標位置を地図表示部71上に表示する。このとき、制御器50は目標位置を地図表示部71に入力することによって、地図表示部71は、表示する地図上で対応する目標の位置を、船舶を示す記号を用いて地図表示部71上に表示する。
The image of the
The image of the
Further, the
図4を用いて目標の位置演算の計算例を示す。図4(a)は主カメラ4による目標方向を示した斜視図、図4(b)は上面図である。カメラ座標系での目標方向が俯角E、旋回角Bとして表現される場合、海面高さが0m、主カメラ4の設置高さがHmとすると、主カメラ4のカメラ基準座標系での目標位置座標(図の例では船舶10の位置座標)は、図4(a)、(b)に示したX、Y座標を用いて、
X=tan(90°−E)×cosB (1)
Y=tan(90°−E)×sinB (2)
式(1)、(2)によって演算される。
A calculation example of target position calculation will be described with reference to FIG. 4A is a perspective view showing a target direction by the
X = tan (90 ° -E) × cosB (1)
Y = tan (90 ° -E) × sinB (2)
Calculation is performed by equations (1) and (2).
また、図5はシステム座標系で見たカメラ座標系の位置を示す図である。ここで、システム座標系とカメラ座標系の座標変換行列をCとし、主カメラ4のカメラ座標系での目標位置R=(X、Y)とすると、システム座標系での目標位置ベクトルrは、
r2=CtR
r=r1+r2
で演算される。但し、r1はシステム座標系での主カメラ4の位置ベクトル、r2は主カメラ4に対する目標位置ベクトル、tRは目標位置座標Rの転置行列である。
FIG. 5 is a diagram showing the position of the camera coordinate system viewed in the system coordinate system. Here, if the coordinate transformation matrix between the system coordinate system and the camera coordinate system is C, and the target position R = (X, Y) in the camera coordinate system of the
r2 = C t R
r = r1 + r2
Calculated with Here, r1 is a position vector of the
次に、制御器50は主カメラ4の目標方向と指向方向とが直交するカメラを選択する。
ここでは、次のように演算処理が成される。
演算器51は、予め設定された副カメラ6のカメラ座標系(直交座標系)の情報と、システム座標系(直交座標系)の情報に基づいて、座標変換行列(カメラ座標系とシステム座標系との方向余弦行列)を生成する。また、目標(船舶10)位置と副カメラ6との位置差と、システム座標系と副カメラ6のカメラ座標系との座標変換行列に基づいて、システム座標系を基底とする目標方向を、副カメラ6のカメラ座標系で表現する。すなわち、目標位置を視野に捉えるための副カメラ6の指向方向を設定する。
Next, the
Here, the arithmetic processing is performed as follows.
The computing unit 51 generates a coordinate transformation matrix (camera coordinate system and system coordinate system) based on information on the camera coordinate system (orthogonal coordinate system) of the
例えば、演算器51は図5で図示するベクトル演算処理を行う。
ここでは、目標位置ベクトル(座標)rと副カメラ6の位置ベクトル(座標)r3から、副カメラ6に対する目標位置ベクトル(座標)r4を、r4=r−r3として算出する。
このとき、副カメラ6に対する目標位置ベクトルr4と、主カメラ4に対する目標位置ベクトルr2の成す角度を求めると、例えば成す角θ1=60°となる。
For example, the calculator 51 performs the vector calculation process illustrated in FIG.
Here, the target position vector (coordinate) r4 for the
At this time, when the angle formed by the target position vector r4 for the
次に、同様にして、演算器51は、予め設定された副カメラ6のカメラ座標系(直交座標系)の情報と、システム座標系(直交座標系)の情報に基づいて、座標変換行列(カメラ座標系とシステム座標系との方向余弦行列)を生成する。また、目標位置と副カメラ6との位置差と、上述の生成した座標変換行列に基づいて、システム座標系を基底とする目標方向を、副カメラ6のカメラ座標系で表現する。
Next, in the same manner, the computing unit 51 determines a coordinate transformation matrix (based on the information of the preset camera coordinate system (orthogonal coordinate system) and the information of the system coordinate system (orthogonal coordinate system). (Cosine matrix of camera coordinate system and system coordinate system) is generated. Further, the target direction based on the system coordinate system is expressed in the camera coordinate system of the
例えば、図5に示すように演算器51が演算を行う。
ここでは、目標位置ベクトル(座標)rと副カメラ8の位置ベクトル(座標)r6から、副カメラ8に対する目標位置ベクトル(座標)r5を、r5=r−r6として算出する。
このとき、副カメラ8に対する目標位置ベクトルr5と主カメラ4に対する目標位置ベクトルr2の成す角度を求めると、例えば成す角θ2=100°となる。
For example, as shown in FIG. 5, the calculator 51 performs the calculation.
Here, the target position vector (coordinate) r5 for the
At this time, when the angle formed by the target position vector r5 for the
制御器50は、演算器51の演算結果に基づいて、主カメラ4から見た目標の方向と副カメラ6から見た目標の方向との成す角θ1よりも、主カメラ4から見た目標の方向と副カメラ8から見た目標の方向との成す角θ2の方が、直交(90°)に近いことを判定する。
これによって、制御器51は副カメラ8を選択して、副カメラ8の視野内に目標を捉える。このとき、システム座標系と副カメラ8のカメラ基準座標系との座標変換行列C2を用いて、得られたr5から、副カメラ6から見た目標方向をC2r5として算定する。
なお、所定のカメラを選択した場合、画像枠に色を付ける、画像を点滅させる、画像を大きくするなどの画像表示処理を行って、選択した副カメラの画像を、他の副カメラの画像と識別のできる情報を、画像中もしくは専用表示器に表示すると良い。
Based on the calculation result of the calculator 51, the
As a result, the controller 51 selects the
When a predetermined camera is selected, image display processing such as adding a color to the image frame, blinking the image, or enlarging the image is performed, and the image of the selected sub camera is changed to the image of the other sub camera. Information that can be identified is preferably displayed in an image or on a dedicated display.
制御器50は、演算器51で演算された、副カメラ8のカメラ座標系で表現された目標方向を、ミリ波無線伝送装置43およびミリ波無線伝送装置33を介して、カメラ制御器27に送出する。カメラ制御器27は、カメラ台7を駆動制御して副カメラ8の指向方向を目標方向に向けるように制御する。これによって、副カメラ8は目標画像を取得する。副カメラ8の取得画像は、ミリ波無線伝送装置33およびミリ波無線伝送装置43を介して、画像処理器52cに送出される。画像処理器52cでは目標画像から目標の位置、目標の重心位置、目標の大きさなどの画像情報を取得する。
ここで、目標の位置を算定するときは、図4(a)、図4(b)で説明した内容と同様に、カメラ座標系での目標位置を算定する。この場合、副カメラ8に対応したカメラ制御情報から副カメラ8の指向方向を得て、目標方向を俯角E、旋回角Bとする。この目標方向について、上述の式(1)、(2)を用いて、目標位置座標(すなわち、船舶11の位置座標)を算定すれば良い。
なお、副カメラ8から船舶11までの距離が所定値(例えば1000m)を超える場合は、副カメラ6で船舶11を捉え、副カメラ6と副カメラ8の指向方向の交点から船舶11の位置を算定して、位置算定精度を向上させることができる(これについては、図9の説明で後述する)。
The
Here, when the target position is calculated, the target position in the camera coordinate system is calculated in the same manner as described with reference to FIGS. 4 (a) and 4 (b). In this case, the orientation direction of the
In addition, when the distance from the
図1に示す例では、副カメラ8は船舶10を目標画像として捉える。このとき、副カメラ8は船舶10の方向から、主カメラ4の視野の奥行へ向かう水平方向へ、所定の角度分(例えば30°)だけ指向方向を移動させる。この際、主カメラ4の奥行き方向は、副カメラ8に対する目標位置ベクトル(r5)が主カメラ4に対して目標位置ベクトル(r2)の方向へ移動するように、回転角度を設定すれば良い。例えば、ベクトルr2×ベクトルr5=絶対値(r2)×絶対値(r5)×sinθ2とした場合に、θ2を小さくする方向に回転させる。
In the example illustrated in FIG. 1, the
これによって、船舶10に遮蔽されて主カメラ4の視野内に入らずに、船舶10から所定距離(例えば300m)だけ離れた位置で航行中の船舶11を、目標として捉えることができる。この際、表示部72cに表示される副カメラ8の画像情報に基づいて、操作者が船舶10の後ろに存在する船舶11の存在を見つける。
また、操作者は副カメラ8のズーム比を適宜調整して、船舶11を画面内一杯に捉えるようにする。この調整は、入力部61に副カメラ8のズーム比を入力することによって、適宜成される。この調整が成された後、操作者は入力部61に適宜設けられた指定完了指示キーを押下することによって、船舶10の死角に存在する船舶を捕捉する操作が完了したことを示す、副カメラの指定完了通知を制御器50に対して伝達する。
また、演算器51は、無線装置44の受信したカメラ制御情報中の副カメラ8のズーム比と目標情報中の目標までの距離とに基づいて、画像内に目標を捉えるようにカメラに設定すべきズーム比gを演算しても良い。例えば、船舶の大きさを最大で100mとしたときには、ズーム比gをg=15°/tan−1(50m/目標までの距離Lm)の倍率に設定する。これによって、副カメラ8は画面内に目標画像を捉える。
ズーム比が設定されると、ズーム比gによって副カメラ8の視野角範囲をφ2=φ0/gとして求める。
Accordingly, the
In addition, the operator adjusts the zoom ratio of the
The computing unit 51 sets the camera to capture the target in the image based on the zoom ratio of the
When the zoom ratio is set, the viewing angle range of the
次に、制御器50は、演算器51で先に演算された、副カメラ6のカメラ座標系で表現された目標方向を、ミリ波無線伝送装置42およびミリ波無線伝送装置32を介して、カメラ制御器26に送出する。ここでは、目標方向として、副カメラ8で算定された船舶11までの目標方向が与えられる。カメラ制御器26は、カメラ台7を駆動制御して副カメラ6の指向方向を目標方向に向けるように制御する。これによって、副カメラ6は目標画像を取得する。
副カメラ6の取得画像は、ミリ波無線伝送装置32およびミリ波無線伝送装置42を介して、画像処理器52bに送出される。画像処理器52bでは目標画像から目標の位置、目標の重心位置、目標の大きさなどの画像情報を取得する。
ここで、目標の位置を算定するときは、図4(a)、図4(b)で説明した内容と同様に、カメラ座標系での目標位置を算定する。この場合、副カメラ6に対応したカメラ制御情報から副カメラ6の指向方向を得て、目標方向を俯角E、旋回角Bとする。この目標方向について、上述の式(1)、(2)を用いて、目標位置座標(すなわち、船舶11の位置座標)を算定すれば良い。
なお、副カメラ6から船舶11までの距離が所定値(例えば1000m)を超える場合は、副カメラ6と副カメラ8の指向方向の交点から船舶11の位置を算定して、位置算定精度を向上させることができる(これについては、図9の説明で後述する)。
副カメラ6の指向方向が設定されると、操作者は副カメラ6のズーム比を適宜調整して、船舶11を画面内一杯に捉えるようにする。この調整は、入力部61に副カメラ6のズーム比を入力することによって、適宜成される。この調整が成された後、操作者は入力部61に適宜設けられた指定完了指示キーを押下することによって、船舶を捕捉する操作が完了したことを示す、副カメラの指定完了通知を制御器50に対して伝達する。
また、演算器51は、無線装置44の受信したカメラ制御情報中の副カメラ6のズーム比と目標情報中の目標までの距離とに基づいて、画像内に目標を捉えるようにカメラに設定すべきズーム比gを演算しても良い。例えば、船舶の大きさを最大で100mとしたときには、ズーム比gをg=15°/tan−1(50m/目標までの距離Lm)の倍率に設定する。これによって、副カメラ6は画面内に目標画像として船舶11を捉える。
ズーム比が設定されると、ズーム比gによって副カメラ6の視野角範囲をφ3=φ0/gとして求める。
Next, the
The acquired image of the
Here, when the target position is calculated, the target position in the camera coordinate system is calculated in the same manner as described with reference to FIGS. 4 (a) and 4 (b). In this case, the orientation direction of the
When the distance from the
When the orientation direction of the
The computing unit 51 sets the camera to capture the target in the image based on the zoom ratio of the
When the zoom ratio is set, the viewing angle range of the
次に、図6、図7に基づいて画像表示例について説明する。
図6は地図表示部71の表示画像を示す図である。図において、レーダ装置300が突堤2aの下方に位置し、主カメラ4が突堤2aの下方でレーダ装置300の周辺に位置し、副カメラ6が突堤2aの上方に位置し、副カメラ8が突堤2bの上方に位置している点が図示されている。
主カメラ4の視野角範囲90、副カメラ6の視野角範囲91、及び副カメラ8の視野角範囲92は夫々線で表示されている。視野角範囲90は、視野角線90a、90bの間を示す。視野角範囲91は、視野角線91a、91bの間を示す。視野角範囲92は、視野角線92a、92bの間を示す。これらの視野角範囲は、上述したように演算器51で事前に算定されている。図示の例では、視野角範囲90と視野角範囲91の交差領域には、船舶10、11が存在している。視野角範囲91と視野角範囲92の交差領域には、船舶11のみが存在している。ここで、各船舶10、11は、レーダ装置300もしくは主カメラ4で検出され、演算器51で演算された船舶10の位置と、副カメラ8で検出され演算器51で演算された船舶11の位置に基づいて、夫々地図上の対応位置が丸印で表示されている。船舶10と主カメラ4との距離が所定距離以内であるときには、船舶10の位置は主カメラ4の検出情報で得られる。また、船舶10と主カメラ4との距離が所定距離を超えるときには、船舶10の位置はレーダ装置300の検出情報で得られる。船舶11と副カメラ8との距離が所定距離以内であるときには、船舶11の位置は副カメラ8の検出情報で得られる。船舶11と副カメラ8との距離が所定距離を超えるときには、副カメラ8の検出情報で得られる船舶11の位置座標を仮位置としておく。正確な位置算定方法については、後述する図9で説明する。
なお、図中の2a、2bは突堤に対応する地図を示すものであり、各センサについても図1と対応する符号を便宜的に用いて、地図上の表示情報を図示している。
また、図7(a)は表示部72aによる主カメラ4の画像を示し、図7(b)は表示部72cによる副カメラ8の画像を示し、図7(c)は表示部72bによる副カメラ6の画像を示す。また、図に示す十字カーソル110、111、112、113は、入力部61でマウスなどによって入力されるものである。
Next, an example of image display will be described with reference to FIGS.
FIG. 6 is a diagram showing a display image of the
The viewing angle range 90 of the
In addition, 2a, 2b in a figure shows the map corresponding to a jetty, and also uses the code | symbol corresponding to FIG. 1 for each sensor, and has shown the display information on a map.
7A shows an image of the
入力部61の入力情報は選択回路55に送出され、選択回路55は入力情報を制御器50及び追尾処理器53a、53b、53cに送出する。制御器50は、演算器51で各カーソル(110、111、112、113)のカーソル位置に対応して、カメラ指向方向の座標を演算する。演算されたカメラ指向方向は、各ミリ波無線伝送装置を介して各カメラ制御器に送出される。各カメラ制御器は、各カメラが所望のカメラ指向方向を向くように、各カメラを制御する。
これによって、カーソル位置を所望の船舶位置に移動させてカーソルを選択することによって、対応するカメラの視野中心に所望の船舶を配置し、視野中心をカーソル位置に移動させることができる。また、所望の船舶をズームして表示することができる。
また、選択回路55で選択されたカメラ指向方向は追尾処理器53a、53b、53cに出力されて、追尾対象目標の設定に利用することができる。
このように、撮影画像中の特定部位を指定入力可能な入力部と、入力部で指定された特定部位を視野中心に据えるように副カメラの指向方向を設定し、設定情報を制御器が無線装置に伝送することによって、操作者は所望の水域や船舶を遠隔監視することができる。
さらに、各カメラの視野角範囲を地図表示部71に表示し、地図画像と重ねて表示することによって、各カメラの視野角範囲の交差領域が、港湾の水域内のどこに存在しているのかが、明確に把握できるようになる。
同時に、この視野角範囲に対応する各カメラの撮影画像を、表示部72a、72b、72cに表示することによって、視野角範囲と撮影画像との関係を明確に把握することができるようになり、例えば表示装置を見ている操作者が、船舶10に隣接する船舶11の存在を容易に検出できるようになる。
なお、表示部72a、72b、72cと地図表示部71とは、表示装置62の同一面、もしくは同一画面上で画面分割して表示することによって、各カメラの視野角範囲と各カメラの撮影画像との対応関係が、より明確に把握できるようになる。
The input information of the
Thus, by moving the cursor position to the desired ship position and selecting the cursor, the desired ship can be arranged at the center of the field of view of the corresponding camera, and the center of view can be moved to the cursor position. In addition, a desired ship can be zoomed and displayed.
Further, the camera directivity direction selected by the
In this way, the input unit that can specify and input a specific part in the captured image, and the orientation direction of the secondary camera are set so that the specific part specified by the input unit is placed at the center of the visual field, and the controller wirelessly transmits the setting information. By transmitting to the device, the operator can remotely monitor a desired water area or ship.
Further, by displaying the viewing angle range of each camera on the
At the same time, by displaying the captured image of each camera corresponding to this viewing angle range on the
The
次に、図8に基づいて、副カメラの選択例について説明する。
図8は、主カメラ4の指向方向と、副カメラ6の指向方向と、副カメラ8の指向方向を図示している。
この例では、操作者がマニュアルで副カメラを選択する場合のマニュアル選択モードを示している。マニュアル選択モードでは、地図表示部71に、現在の主カメラ4の指向方向15、副カメラ6の指向方向16、副カメラ8の指向方向17が表示される。また、各カメラの位置と、各カメラの周辺にカメラ番号が表示される(図中の白抜きの数字)。
選択操作前の段階では、地図表示部71の表示画面上には船舶10のみが表示されているものとする。なお、船舶10の位置は事前にレーダ装置300の目標情報、または主カメラ4で得られたカメラ基準座標系での目標位置座標に基づいて図示されている。
Next, an example of selecting a sub camera will be described with reference to FIG.
FIG. 8 illustrates the directivity direction of the
This example shows a manual selection mode when the operator manually selects the sub camera. In the manual selection mode, the
It is assumed that only the
次に、操作者は、地図表示部71の表示画像を見て、主カメラ4から死角になっているもので、かつ、指向方向が主カメラ4の指向方向15と直交する方向に近いカメラを、副カメラとして選択することができる。図では、操作者は入力部61に選択すべきカメラ番号を入力することによって、副カメラ8を優先的に選択することができる。この段階では、副カメラ8の指向方向は船舶10を捕捉する方向に位置する。
Next, the operator looks at the display image of the
更に、副カメラ8を選択した後、船舶11を捕捉するように、図の白抜き矢印方向へカメラの指向方向を移動させ、図の矢印17の位置に配置させることによって、図7(b)に示すような船舶11の画像を得ることができる。
副カメラ8を選択した後、副カメラ8のズーム比を適宜設定して、副カメラ8を画像内に捕捉するようにすれば良い。これによって、図7(b)のような画像を得る。すなわち、副カメラ6、副カメラ8に夫々対応した表示部72b、72c共、表示画面内には1台の船舶のみが表示されるように、カメラの指向方向とズーム比を設定する。
なお、上述したように、副カメラ8の選択は、主カメラ4との交差角に基づいてある程度自動的に、優先選択されても良いことは言うまでもない。
このマニュアル選択モードを用いることによって、主カメラ4、副カメラ6、副カメラ8に対応したカメラ制御器から出力されるカメラ制御情報に基づいて、各カメラで各船舶を捕捉したときの各船舶の指向方向を、操作者の操作によって、より正確に取得することができる。
Further, after selecting the
After selecting the
Needless to say, the selection of the
By using this manual selection mode, based on the camera control information output from the camera controller corresponding to the
次に、図9に基づいて、副カメラ6と他の副カメラ8の交点位置での演算処理について説明する。ここでは、図8の設定によって各カメラの指向方向が設定された段階以後の動作について説明する。すなわち、副カメラ6、副カメラ8の撮影画像中に、夫々1台の船舶のみが存在している場合について説明する。
図9に示すように、副カメラ6と副カメラ8の交差領域100を、図に示すような船舶の存在領域として、例えば副カメラ6の視線と副カメラ8の視線の交線領域を○印で図示する。
次いで、演算器51はこの交差領域100の位置を演算することによって、交差領域内に存在する船舶の位置を特定することができる。例えば、副カメラ6の設置位置と指向方向、副カメラ8の設置位置と指向方向に基づき、三角測量の原理を用いて副カメラ6の視線と副カメラ8の視線との交線位置(交点)を演算することができる。
演算された交線位置は、追尾処理器53b、53cに伝送されて、夫々捕捉中の船舶の画像追尾を行うための追尾情報として利用する。例えば、この交点位置によって船舶位置が正確に特定されるので、フレーム時間間隔毎の船舶位置の移動量を演算し、移動量が所定の追尾許容誤差範囲内であるかどうかを判断することによって、船舶の追尾処理が追尾エラー(追尾が外れて別の目標を追尾している状態)を生じているかどうかを判断することができる。また、例えば、移動量が所定の追尾許容誤差範囲内であれば追尾が正常に実行され、移動量が所定の追尾許容誤差範囲外であれば追尾処理が異常であると判断する。
さらに、演算された交線位置は制御器50に送出される。制御器50では、交線位置に基づいて、その交線領域に存在する船舶の位置を正確に特定することができる。この算定位置は、上述した式(1)、(2)を用いた演算よりも高い精度で算定できる。
Next, based on FIG. 9, the calculation process in the intersection position of the
As shown in FIG. 9, the
Next, the calculator 51 can determine the position of the ship existing in the intersection area by calculating the position of the
The calculated intersection line position is transmitted to the tracking processors 53b and 53c and used as tracking information for performing image tracking of the ship being captured. For example, since the ship position is accurately identified by this intersection position, the movement amount of the ship position for each frame time interval is calculated, and by determining whether the movement amount is within a predetermined tracking allowable error range, It is possible to determine whether or not the tracking process of the ship has caused a tracking error (a state in which tracking is missed and another target is being tracked). Further, for example, if the movement amount is within a predetermined tracking allowable error range, the tracking is normally executed, and if the movement amount is outside the predetermined tracking allowable error range, it is determined that the tracking process is abnormal.
Further, the calculated intersection line position is sent to the
次に、図10に基づいて、画像追尾の表示例について説明する。
図に示すように、追尾中の船舶11を丸印180で囲む。丸印180の範囲は、追尾エラーを生じないための、フレームレート毎の所定の追尾許容誤差の大きさを示している。丸印180の中心は、各追尾処理器53a、53b、53cで演算される追尾位置情報に対応付けられた、追尾対象とする船舶の、地図表示部71で表示される追尾位置を表している。この追尾位置は、各カメラの指向方向と海面との交点にほぼ合致している。
また、図中の矢印190は、追尾目標の重心位置の移動方向を示す。この移動方向は、各追尾処理器53a、53b、53cで演算される、フレーム時間間隔毎の重心位置の移動方向から求めることができる。
または、副カメラ6の視線と副カメラ8の視線との交線位置の移動方向から、追尾中の船舶11の移動方向を特定しても良い。
Next, a display example of image tracking will be described based on FIG.
As shown in the drawing, the tracking
An
Alternatively, the movement direction of the
次に、図11に基づいて、港湾監視システムの処理フローについて説明する。
ステップS101では、水上レーダ3で目標検出し、目標までの距離、方向、速度を計測する。
ステップS102では、水上レーダ3で得られた目標方向に基づいて、主カメラ4の指向方向を目標に向ける。目標まで近距離の場合、主カメラ4の指向角度と設置高さと海面高さから、目標位置Aを算定する。
ステップS103では、水上レーダ3で得られた目標方向、又は目標位置Aに基づいて、主カメラ4の指向方向と直交する方向に最も近い角度で、目標を捉える副カメラ6を選択する。
ステップS104では、主カメラ4の視野内に存在せず、副カメラ6の視野内に存在する他の船舶を表示画面上で指定する。また、指定した他の船舶のみを視野内に捉えるように、副カメラ6をズーミングする。目標まで近距離の場合、主カメラ4の指向角度と設置高さと海面高さから、目標位置Bを算定する。
ステップS105では、他の副カメラ8を選択し、副カメラ8の捉えた船舶と同じ船舶のみを他の副カメラ8の視野内に捉えるように、他の副カメラをズーミングする。目標まで近距離の場合、他の副カメラ8の指向角度と設置高さと海面高さから目標位置Cを算定する。
ステップS106では、副カメラ6と他の副カメラ8の、両視野内に存在する船舶の位置Dを、副カメラ6と他の副カメラ8の指向方向の交差点によって算出する。この交差点位置Dに存在する船舶を自動追尾する。
これによって、監視水域内の船舶の位置を正確に算定することができる。
Next, the processing flow of the port monitoring system will be described based on FIG.
In step S101, the target is detected by the
In step S102, the directivity direction of the
In step S103, based on the target direction obtained by the
In step S104, another ship that does not exist in the field of view of the
In step S105, the
In step S <b> 106, the position D of the ship existing in both fields of view of the
Thereby, the position of the ship in the monitoring water area can be accurately calculated.
以上説明したように、この実施の形態によれば、複数の船舶が隣接して航行している場合であっても、水上レーダと指向方向の異なる少なくとも2つ以上の監視カメラを用いて港湾内を監視することによって、隣接する船舶の陰に隠れて航行する船舶の存在を、確実に検出することができる。また、検出した各船舶の位置を特定することができる。 As described above, according to this embodiment, even in the case where a plurality of ships are navigating adjacent to each other, at least two surveillance cameras having different directivity directions from the water radar are used in the harbor. By monitoring the above, it is possible to reliably detect the presence of a vessel that navigates behind a neighboring vessel. Moreover, the position of each detected ship can be specified.
1 港湾、2 突堤、4 主カメラ、6 副カメラ、8 副カメラ、10 船舶、11 船舶、31、32、33 ミリ波無線伝送装置、40、41、42、43 ミリ波無線伝送装置、50 制御器、51 演算器、55 選択回路、60 地図データベース、61 入力部、62 表示装置、53a、53b、53c 追尾処理器、71 地図表示部、72a、72b、72c 表示部、300 レーダ装置、550 信号処理器。 1 Harbor, 2 Jetty, 4 Primary Camera, 6 Secondary Camera, 8 Secondary Camera, 10 Ship, 11 Ship, 31, 32, 33 Millimeter Wave Radio Transmission Device, 40, 41, 42, 43 Millimeter Wave Radio Transmission Device, 50 Control 51, computing unit, 55 selection circuit, 60 map database, 61 input unit, 62 display device, 53a, 53b, 53c tracking processor, 71 map display unit, 72a, 72b, 72c display unit, 300 radar device, 550 signal Processor.
Claims (7)
前記水上レーダに隣接して配置され、前記水上レーダで検出された目標を、視野内に含むように撮影するズーム付きの主カメラと、
前記主カメラと異なる視向方向を有して離隔配置され、前記水上レーダで検出された目標より以遠の水域を航行中の船舶を、視野内に含むように撮影する複数のズーム付きの副カメラと、
前記各カメラの撮影画像と視野角に基づいて、前記各カメラの撮影画像を画面表示するとともに、当該撮影画像に夫々対応した前記各カメラの視野角範囲を、地図画像に重ね合わせて表示する表示部と、
を備えた港湾監視システム。 A water radar that detects targets navigating in and around the port; and
A main camera with a zoom that is arranged adjacent to the water radar and shoots the target detected by the water radar so as to be included in the field of view;
A plurality of sub-cameras with a zoom, which are spaced apart from each other and have a different viewing direction from the main camera and shoot a ship navigating a water area farther than the target detected by the water radar so as to include in the field of view. When,
Based on the captured image and the viewing angle of each camera, the captured image of each camera is displayed on the screen, and the viewing angle range of each camera corresponding to the captured image is displayed superimposed on the map image. And
Harbor monitoring system equipped with.
前記各カメラの撮影画像と、前記各カメラのズーム比及び指向方向とを、夫々無線伝送する複数の無線伝送装置と、
前記無線伝送装置の伝送情報を受信する無線装置と、
前記無線装置で受信されたズーム比及び指向方向と、事前設定された前記各カメラの設置位置に基づいて、前記各カメラの視野角を演算する演算器と、
を備えたことを特徴とする請求項1記載の港湾監視システム。 A plurality of camera bases each changing the orientation of each camera;
A plurality of wireless transmission devices that wirelessly transmit the captured images of the cameras and the zoom ratios and directivity directions of the cameras;
A wireless device for receiving transmission information of the wireless transmission device;
An arithmetic unit that calculates a viewing angle of each camera based on a zoom ratio and a directivity direction received by the wireless device, and a preset installation position of each camera;
The harbor monitoring system according to claim 1, further comprising:
前記入力部で指定された特定部位を視野中心に据えるように副カメラの指向方向を設定し、設定情報を前記無線装置に送出する制御器とを備え、
前記副カメラは、前記無線装置から前記無線伝送装置に伝送される指向方向に基づいて指向方向を夫々変更することを特徴とした請求項3記載の港湾監視システム。 An input unit capable of specifying and inputting a specific part in the captured image;
A controller that sets the direction of the sub camera so that the specific part specified by the input unit is set at the center of the visual field, and sends setting information to the wireless device;
The port monitoring system according to claim 3, wherein the sub camera changes a directivity direction based on a directivity direction transmitted from the wireless device to the wireless transmission device.
前記演算器で演算された交線位置を表示部に表示させる制御器とを備えたことを特徴とした請求項3記載の港湾監視システム。 A computing unit that computes an intersection position in the direction of the sub camera and the other sub camera;
The harbor monitoring system according to claim 3, further comprising a controller that causes a display unit to display the intersection line position calculated by the calculator.
前記演算器で演算された船舶の位置を示す情報を、前記表示部に表示させる制御器とを備えたことを特徴とした請求項1記載の港湾監視システム。 An arithmetic unit that calculates the position of the ship based on the orientation direction and the installation height and the sea level of each camera,
The harbor monitoring system according to claim 1, further comprising a controller that causes the display unit to display information indicating the position of the ship calculated by the calculator.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004087132A JP4301051B2 (en) | 2004-03-24 | 2004-03-24 | Harbor monitoring system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004087132A JP4301051B2 (en) | 2004-03-24 | 2004-03-24 | Harbor monitoring system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005277705A JP2005277705A (en) | 2005-10-06 |
JP4301051B2 true JP4301051B2 (en) | 2009-07-22 |
Family
ID=35176910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004087132A Expired - Fee Related JP4301051B2 (en) | 2004-03-24 | 2004-03-24 | Harbor monitoring system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4301051B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101524154B1 (en) * | 2013-10-16 | 2015-05-29 | 삼성중공업 주식회사 | Location measurement apparatus of a ship using numerous cameras |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004272217A (en) * | 2003-02-18 | 2004-09-30 | Canon Inc | Map image display controlling method, its program, storage medium for storing the program and electronic equipment |
JP5111795B2 (en) * | 2006-06-29 | 2013-01-09 | 三菱電機株式会社 | Monitoring device |
JP4827101B2 (en) * | 2007-04-17 | 2011-11-30 | 富士フイルム株式会社 | Control device, control method, imaging system, imaging method, and program |
US8055191B2 (en) * | 2007-05-30 | 2011-11-08 | Sony Corporation | Method and structure in support of the formation of substantially co-linear wireless device pairings and mitigation of interference effects in a digital multi-media communication environment |
JP5883881B2 (en) * | 2010-11-17 | 2016-03-15 | オムロン サイエンティフィック テクノロジーズ, インコーポレイテッドOmron Scientific Technologies, Inc. | Method and apparatus for monitoring zones |
JP6526955B2 (en) * | 2014-10-27 | 2019-06-05 | 株式会社日立製作所 | Sensor information integration method and device thereof |
KR101552095B1 (en) | 2015-04-15 | 2015-09-11 | (주)나인정보시스템 | Seaside surveillance system using radar and camera |
KR101798396B1 (en) * | 2016-03-22 | 2017-11-16 | (주)럭스콤 | The monitoring systems for Marine aquaculture and a shaft aligning method of the cameras |
KR101750390B1 (en) * | 2016-10-05 | 2017-06-23 | 주식회사 알에프코리아 | Apparatus for tracing and monitoring target object in real time, method thereof |
KR101908716B1 (en) * | 2017-02-27 | 2018-10-16 | 주식회사유넷컨버전스 | Mapping system of camera indicating position for runway observation and its method |
KR102299090B1 (en) * | 2018-11-21 | 2021-09-07 | 주식회사 리안 | Ais vessel voyage information display system |
CN113822217A (en) * | 2021-09-30 | 2021-12-21 | 杭州春来科技有限公司 | Ship tail gas monitoring method based on AIS and video image analysis |
CN113990108B (en) * | 2021-10-22 | 2023-01-20 | 苏交科集团股份有限公司 | Ship optimal identification and real-time tracking method and anti-collision early warning system |
-
2004
- 2004-03-24 JP JP2004087132A patent/JP4301051B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101524154B1 (en) * | 2013-10-16 | 2015-05-29 | 삼성중공업 주식회사 | Location measurement apparatus of a ship using numerous cameras |
Also Published As
Publication number | Publication date |
---|---|
JP2005277705A (en) | 2005-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10237478B2 (en) | System and method for correlating camera views | |
US8508595B2 (en) | Surveillance camera system for controlling cameras using position and orientation of the cameras and position information of a detected object | |
JP4301051B2 (en) | Harbor monitoring system | |
US7750936B2 (en) | Immersive surveillance system interface | |
EP1341383B1 (en) | Composite camera system, zoom camera image display control method, zoom camera control method, control program, and computer readable recording medium | |
US20060028550A1 (en) | Surveillance system and method | |
US7474254B2 (en) | Radar system with agile beam steering deflector | |
EP3452848B1 (en) | Monitoring method using a camera system with an area movement detection | |
KR102001594B1 (en) | Radar-camera fusion disaster tracking system and method for scanning invisible space | |
WO2006017402A2 (en) | Surveillance system and method | |
JP4754283B2 (en) | Monitoring system and setting device | |
KR101012281B1 (en) | Optimal strongpoint image control system | |
JP2017135550A (en) | Flying object monitoring system | |
CN113068000A (en) | Method, device, equipment and system for monitoring video target and storage medium | |
JP2017167870A (en) | Flying object monitoring system, and flying object monitoring apparatus | |
KR20230106958A (en) | Apparatus and method for providing position and orientation information of sea object based on camera | |
JP3560040B2 (en) | Surveillance ITV camera control method | |
KR100963108B1 (en) | System and method of watching moving object toward power transmission line | |
JP2005252757A (en) | Monitoring camera system | |
EP3495835A1 (en) | Direction finding system as well as method for locating a source of a target signal | |
JP2983497B2 (en) | Radar equipment | |
CN110133747A (en) | A kind of target detection system of radar and optics linkage | |
CN112584014A (en) | Intelligent camera, control method thereof and computer readable storage medium | |
JPH05180936A (en) | Night voyage supporting device | |
JPH04307383A (en) | Traveling target image pick-up device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060526 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090331 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120501 Year of fee payment: 3 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090413 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120501 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |