WO2023112347A1 - 物標監視装置、物標監視方法、及びプログラム - Google Patents

物標監視装置、物標監視方法、及びプログラム Download PDF

Info

Publication number
WO2023112347A1
WO2023112347A1 PCT/JP2022/013013 JP2022013013W WO2023112347A1 WO 2023112347 A1 WO2023112347 A1 WO 2023112347A1 JP 2022013013 W JP2022013013 W JP 2022013013W WO 2023112347 A1 WO2023112347 A1 WO 2023112347A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
image
height
type
camera
Prior art date
Application number
PCT/JP2022/013013
Other languages
English (en)
French (fr)
Inventor
勝幸 柳
悠太 高橋
Original Assignee
古野電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 古野電気株式会社 filed Critical 古野電気株式会社
Priority to CN202280076879.0A priority Critical patent/CN118266004A/zh
Publication of WO2023112347A1 publication Critical patent/WO2023112347A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the type acquisition unit may acquire the type of the target detected by an AIS (Automatic Identification System). According to this, it is possible to estimate the distance to the target using the type detected by AIS.
  • AIS Automatic Identification System
  • the target monitoring device 1 is mounted on the own ship and used to monitor targets of other ships, etc. existing around the own ship, but the application is not limited to this.
  • the target monitoring device 1 may be installed in a control on land and used to monitor vessels existing in the controlled sea area.
  • the targets detected by the radar 3 and the targets recognized from the images captured by the camera 5 are mainly ships, but may also include, for example, buoys.
  • the image recognition unit 31 uses a learned model generated in advance by machine learning to calculate the area of the target included in the image, the type of the target, and the reliability of the estimation. Not limited to this, the image recognition unit 31 may recognize the area, type, etc. of the target included in the image based on a rule.
  • the distance estimating unit 34 calculates the height dimension of the image acquired by the image acquiring unit 13, the height dimension of the target region detected by the image recognizing unit 31, and the height acquired by the height acquiring unit 33. Based on the representative height obtained, the distance to the target is estimated. Before estimating the distance to the target, the image may be subjected to preprocessing such as distortion correction.
  • the distance to the target estimated from the image by the method of the above embodiment and the distance to the target estimated from the image by another method are averaged to estimate the distance to the target. Accuracy may be further improved.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

【課題】カメラの撮像位置から船舶までの距離の推定精度を向上させることが可能な物標監視装置を提供する。 【解決手段】物標監視装置は、カメラにより撮像された海上の物標を含む画像を取得する画像取得部と、画像に含まれる物標の領域を検出する画像認識部と、物標の種類を取得する種類取得部と、種類に予め対応付けられた代表高さを取得する高さ取得部と、画像の高さ方向の寸法、物標の領域の高さ方向の寸法、及び代表高さに基づいて、撮像位置から物標までの距離を推定する距離推定部と、を備える。

Description

物標監視装置、物標監視方法、及びプログラム
 本発明は、物標監視装置、物標監視方法、及びプログラムに関する。
 従来、カメラにより撮像された画像内の船舶等の物標を画像認識により検出する技術が知られている。
国際公開第2020/049634号
 ところが、画像認識により画像内の物標を検出することはできても、検出された物標までの距離を精度良く求めることは困難である。
 本発明は、上記課題に鑑みてなされたものであり、その主な目的は、カメラの撮像位置から物標までの距離の推定精度を向上させることが可能な物標監視装置、物標監視方法、及びプログラムを提供することにある。
 上記課題を解決するため、本発明の一の態様の物標監視装置は、カメラにより撮像された海上の物標を含む画像を取得する画像取得部と、前記画像に含まれる前記物標の領域を検出する画像認識部と、前記物標の種類を取得する種類取得部と、前記物標の種類に予め対応付けられた代表高さを取得する高さ取得部と、前記画像の高さ方向の寸法、前記物標の領域の高さ方向の寸法、及び前記代表高さに基づいて、撮像位置から前記物標までの距離を推定する距離推定部と、を備える。これによると、カメラの撮像位置から物標までの距離の推定精度を向上させることが可能となる。
 上記態様において、前記距離推定部は、前記画像の高さ方向の寸法、前記物標の領域の高さ方向の寸法、及び前記カメラの高さ方向の画角に基づいて、前記画角内における前記物標の占有角度を算出し、前記物標の占有角度、前記代表高さ、及び前記カメラの高さに基づいて、前記撮像位置から前記物標までの距離を推定してもよい。これによると、カメラの撮像位置から物標までの距離の推定精度を向上させることが可能となる。
 上記態様において、前記距離推定部は、前記画像の高さ方向の寸法、前記物標の領域の高さ方向の寸法、前記カメラの高さ方向の画角、前記カメラの焦点距離、及び前記カメラの光学中心に基づいて、前記画角内における前記物標の占有角度を算出してもよい。これによると、カメラの撮像位置から物標までの距離の推定精度を向上させることが可能となる。
 上記態様において、前記画像認識部は、前記画像に含まれる前記物標を囲む境界ボックスを、前記物標の領域として検出してもよい。これによると、物標の領域の高さ方向の寸法の取得が容易となる。
 上記態様において、前記画像認識部は、前記画像に含まれる前記物標の領域及び種類を検出し、前記種類取得部は、前記画像認識部により検出された前記物標の種類を取得してもよい。これによると、画像認識部により検出された種類を利用して物標までの距離を推定することが可能となる。
 上記態様において、前記種類取得部は、AIS(Automatic Identification System)により検出された前記物標の種類を取得してもよい。これによると、AISにより検出された種類を利用して物標までの距離を推定することが可能となる。
 上記態様において、前記カメラは、船舶に搭載され、前記海上の物標は、他の船舶であってもよい。これによると、船舶の位置から他の船舶までの距離の推定精度を向上させることが可能となる。
 また、本発明の他の態様の物標監視方法は、カメラにより撮像された海上の物標を含む画像を取得し、前記画像に含まれる前記物標の領域を検出し、前記物標の種類を取得し、前記種類に予め対応付けられた代表高さを取得し、前記画像の高さ方向の寸法、前記物標の領域の高さ方向の寸法、及び前記代表高さに基づいて、撮像位置から前記物標までの距離を推定する。これによると、カメラの撮像位置から物標までの距離の推定精度を向上させることが可能となる。
 また、本発明の他の態様のプログラムは、カメラにより撮像された海上の物標を含む画像を取得すること、前記画像に含まれる前記物標の領域を検出すること、前記物標の種類を取得すること、前記種類に予め対応付けられた代表高さを取得すること、及び前記画像の高さ方向の寸法、前記物標の領域の高さ方向の寸法、及び前記代表高さに基づいて、撮像位置から前記物標までの距離を推定すること、をコンピュータに実行させる。これによると、カメラの撮像位置から物標までの距離の推定精度を向上させることが可能となる。
物標監視システムの構成例を示す図である。 物標監視装置の構成例を示す図である。 画像処理部の構成例を示す図である。 画像の認識例を示す図である。 境界ボックスの例を示す図である。 種類-高さデータベースの例を示す図である。 物標までの距離の計算例を示す図である。 物標までの距離の計算例を示す図である。 物標監視方法の手順例を示す図である。
 以下、本発明の実施形態について、図面を参照しながら説明する。
 図1は、物標監視システム100の構成例を示すブロック図である。物標監視システム100は、船舶に搭載されるシステムである。以下の説明では、物標監視システム100が搭載された船舶を「自船」といい、その他の船舶を「他船」という。
 物標監視システム100は、物標監視装置1、表示部2、レーダー3、AIS4、カメラ5、GNSS受信機6、ジャイロコンパス7、ECDIS8、無線通信部9、及び操船制御部10を備えている。これらの機器は、例えばLAN等のネットワークNに接続されており、相互にネットワーク通信が可能である。
 物標監視装置1は、CPU、RAM、ROM、不揮発性メモリ、及び入出力インターフェース等を含むコンピュータである。物標監視装置1のCPUは、ROM又は不揮発性メモリからRAMにロードされたプログラムに従って情報処理を実行する。
 プログラムは、光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、インターネット又はLAN等の通信ネットワークを介して供給されてもよい。
 表示部2は、物標監視装置1により生成された表示用画像を表示する。表示部2は、レーダー画像、カメラ画像、又は電子海図なども表示する。
 表示部2は、例えばタッチセンサ付き表示装置、いわゆるタッチパネルである。タッチセンサは、ユーザの指等による画面内の指示位置を検出する。これに限らず、トラックボール等により指示位置が入力されてもよい。
 レーダー3は、自船の周囲に電波を発するとともにその反射波を受信し、受信信号に基づいてエコーデータを生成する。また、レーダー3は、エコーデータから物標を識別し、物標の位置及び速度を表すTT(Target Tracking)データを生成する。
 AIS(Automatic Identification System)4は、自船の周囲に存在する他船又は陸上の管制からAISデータを受信する。AISに限らず、VDES(VHF Data Exchange System)が用いられてもよい。AISデータは、他船の識別符号、船名、位置、針路、船速、船種、船体長、及び行き先などを含んでいる。
 カメラ5は、自船から外部を撮像して画像データを生成するデジタルカメラである。カメラ5は、例えば自船のブリッジに船首方位を向いて設置される。カメラ5は、パン・チルト・ズーム機能を有するカメラ、いわゆるPTZカメラであってもよい。
 また、カメラ5は、撮像した画像に含まれる他船等の物標の位置及び種別を物体検出モデルにより推定する画像認識部を含んでもよい。画像認識部は、カメラ5に限らず、物標監視装置1等の他の装置において実現されてもよい。
 GNSS受信機6は、GNSS(Global Navigation Satellite System)から受信した電波に基づいて自船の位置を検出する。ジャイロコンパス7は、自船の船首方位を検出する。ジャイロコンパスに限らず、GPSコンパスが用いられてもよい。
 ECDIS(Electronic Chart Display and Information System)8は、GNSS受信機6から自船の位置を取得し、電子海図上に自船の位置を表示する。また、ECDIS8は、電子海図上に自船の計画航路も表示する。ECDISに限らず、GNSSプロッタが用いられてもよい。
 無線通信部9は、例えば極超短波、超短波帯、中短波帯、短波帯の無線設備など、他船又は陸上の管制との通信を実現するための種々の無線設備を含んでいる。
 操船制御部10は、自動操船を実現するための制御装置であり、自船の操舵機を制御する。また、操船制御部10は、自船のエンジンを制御してもよい。
 本実施形態において、物標監視装置1は独立した装置であるが、これに限らず、ECDIS8等の他の装置と一体であってもよい。すなわち、物標監視装置1の機能部が他の装置で実現されてもよい。
 なお、本実施形態では、物標監視装置1は自船に搭載され、自船の周囲に存在する他船等の物標を監視するために用いられるが、用途はこれに限られない。例えば、物標監視装置1は陸上の管制に設置され、管制海域に存在する船舶を監視するために用いられてもよい。
 図2は、物標監視装置1の構成例を示す図である。物標監視装置1の制御部20は、データ取得部11、データ取得部12、画像取得部13、画像処理部14、データ統合部15、表示制御部16、及び操船判断部17を備えている。これらの機能部は、制御部20がプログラムに従って情報処理を実行することによって実現される。
 物標監視装置1の制御部20は、レーダー用管理DB(データベース)21、AIS用管理DB22、カメラ用管理DB23、及び統合管理DB24をさらに備えている。これらの記憶部は、制御部20のメモリに設けられる。
 データ取得部11は、レーダー3により生成されたTTデータを物標データとして逐次取得し、レーダー用管理DB21に登録する。
 レーダー用管理DB21に登録される物標データは、レーダー3により検出された他船等の物標の位置、船速、及び針路等を含んでいる。レーダー用管理DB21に登録される物標データは、物標の航跡、検出からの経過時間、エコー像の大きさ、及び反射波の信号強度等をさらに含んでもよい。
 データ取得部12は、AIS4により受信されたAISデータを物標データとして取得し、AIS用管理DB22に登録する。
 AIS用管理DB22に登録される物標データは、AIS4により検出された他船の位置、船速、及び針路等を含んでいる。AIS用管理DB22に登録される物標データは、他船の種別、船名、船体長、船体幅、及び目的地等をさらに含んでもよい。
 画像取得部13は、カメラ5により撮像された他船等の物標を含む画像を取得する。画像取得部13は、カメラ5から時系列の画像を逐次取得し、画像処理部14に逐次提供する。時系列の画像は、例えば動画像データに含まれる静止画像(フレーム)である。
 画像処理部14は、画像取得部13により取得された画像に対して画像認識等の所定の画像処理を行い、画像から認識された物標の物標データを生成し、カメラ用管理DB23に登録する。画像処理部14の詳細については後述する。
 カメラ用管理DB23に登録される物標データは、画像処理部14により算出された他船等の物標の位置、船速、及び針路等を含んでいる。カメラ用管理DB23に登録される物標データは、物標の大きさ、物標の種類、及び検出からの経過時間等をさらに含んでもよい。
 レーダー3により検出される物標の位置、及びカメラ5により撮像された画像から認識される物標の位置は、自船に対する相対位置であるので、GNSS受信機6により検出される自船の位置を用いて絶対位置に変換される。
 なお、レーダー3により検出される物標、及びカメラ5により撮像された画像から認識される物標は、主に船舶であるが、その他に例えばブイ等を含むことがある。
 データ統合部15は、レーダー用管理DB21、AIS用管理DB22、及びカメラ用管理DB23に登録された物標データを、これらのデータベースを横断的に管理するための統合管理DB24に登録する。データ統合部15に登録される物標データは、他船等の物標の位置、船速、及び針路等を含んでいる。
 データ統合部15は、レーダー用管理DB21、AIS用管理DB22、及びカメラ用管理DB23のうちの1つに登録された物標データに含まれる位置と、他の1つに登録された物標データに含まれる位置とが同一又は近似する場合には、それらの物標データを統合して統合管理DB24に登録する。
 表示制御部16は、統合管理DB24に登録された物標データに基づいて、物標を表すオブジェクトを含む表示用画像を生成し、表示部2に出力する。表示用画像は、例えばレーダー画像、電子海図、又はそれらを合成した画像であり、物標を表すオブジェクトは、物標の実際の位置に対応する画像内の位置に配置される。
 操船判断部17は、統合管理DB24に登録された物標データに基づいて操船判断を行い、物標を避ける必要があると判断した場合に、操船制御部10に避航操船を行わせる。具体的には、操船制御部10は、避航操船アルゴリズムにより物標を避けるための避航航路を算出し、自船が避航航路に従うように操舵機及びエンジン等を制御する。
 図3は、画像処理部14の構成例を示す図である。画像処理部14は、画像認識部31、種類取得部32、高さ取得部33、距離推定部34、及び種類-高さDB41を含んでいる。同図は、画像処理部14が実現する機能のうち、物標までの距離を推定する機能に係る構成を示している。
 画像認識部31は、画像取得部13により取得された画像に含まれる物標の領域を検出する。また、画像認識部31は、画像に含まれる物標の領域とともに、物標の種類も検出する。物標の種類は、例えばタンカー又は漁船等の船種である。
 具体的には、画像認識部31は、機械学習により予め生成された学習済みモデルを用いて、画像に含まれる物標の領域、物標の種類、及び推定の信頼度を算出する。これに限らず、画像認識部31は、ルールベースによって画像に含まれる物標の領域及び種類等を認識してもよい。
 学習済みモデルは、例えば SSD(Single Shot MultiBox Detector)又は YOLO(You Only Look Once)等の物体検出モデルであり、画像に含まれる物標を囲む境界ボックスを物標の領域として検出する。これに限らず、学習済みモデルは、Semantic Segmentation 又は Instance Segmentation 等の領域分割モデルであってもよい。
 図4は、画像Pの認識例を示す図である。図5は、境界ボックスBBを拡大して示す図である。これらの図に示すように、画像Pに含まれる他船SHは、矩形状の境界ボックスBBによって囲まれる。境界ボックスBBには、物標の種類及び推定の信頼度が記載されたラベルCFが付加される。
 図4中のLaは、画像Pの高さ方向の寸法を表す。図5中のLhは、物標の領域の高さ方向の寸法、すなわち境界ボックスBBの高さ方向の寸法を表す。画像の高さ方向とは、実空間の高さ方向に対応する方向であり、図示の例では上下方向である。寸法は、例えばピクセル数で表される。
 画像内の物標(特に船舶)の高さは、その向きに関わらず、ほぼ一定である。このため、物標の高さが分かれば、物標までの距離を求めることができる。物標の高さは未知であるが、物標の種類が分かれば、およその高さが分かる。そこで、本実施形態では、下記のように、物標の種類に応じた高さに基づいて物標までの距離を推定している。
 種類取得部32は、画像認識部31により検出された物標の種類を取得する。これに限らず、種類取得部32は、AIS4により検出された他船の船種を取得してもよいし、ユーザにより入力された物標の種類を取得してもよいし、AIS4により検出された他船の船体長を取得して、取得された他船の船体長から他船の船種を推定してもよい。
 高さ取得部33は、種類取得部32により取得された物標の種類に予め対応付けられた代表高さを取得する。具体的には、高さ取得部33は、種類-高さDB41を参照して、物標の種類に対応する代表高さを取得する。
 これに限らず、高さ取得部33は、AIS4により検出された他船の船体長を取得し、船体長と代表高さとが互いに対応付けられたデータベースを参照して、取得された他船の船体長に予め対応付けられた代表高さを取得してもよい。
 図6は、種類-高さDB41の例を示す図である。種類-高さDB41では、物標の種類と代表高さとが互いに対応付けられている。種類-高さDB41は、制御部20のメモリに設けられる。
 物標の種類は、例えばタンカー、自動車運搬船、漁船、プレジャー船、帆船、商船、客船、又は軍艦等の船種を含んでいる。また、物標の種類は、例えばブイ等の海上設置物をさらに含んでもよい。
 代表高さとは、或る種類の物標が有する平均的な高さなど、その種類を代表する物標の高さである。図示の例では、代表高さは1つの値であるが、これに限らず、上限と下限が規定された範囲であってもよい。
 距離推定部34は、画像取得部13により取得された画像の高さ方向の寸法、画像認識部31により検出された物標の領域の高さ方向の寸法、及び高さ取得部33により取得された代表高さに基づいて、物標までの距離を推定する。物標までの距離を推定する前に、画像に歪み補正等の前処理を施してもよい。
 具体的には、まず、距離推定部34は、図7に示すように、画像の高さ方向の寸法La、物標SHの領域の高さ方向の寸法Lh、及びカメラ5の高さ方向の画角Θに基づいて、画角Θ内における物標SHの占有角度θを算出する。
 画角Θは、カメラ5で撮像したときに画像に含まれる範囲を表す角度であり、カメラ5のレンズによって決まる角度である。物標SHの占有角度θは、物標SHが占める範囲を表す角度であり、カメラ5を中心とする物標SHの上端と下端の間の角度である。
 画像の高さ方向の寸法Laと物標SHの領域の高さ方向の寸法Lhとの比は、カメラ5の高さ方向の画角Θと物標SHの占有角度θとの比と同じとみなせるため、これにより物標SHの占有角度θを算出することができる。
 より詳しくは、距離推定部34は、画像の高さ方向の寸法La、物標SHの領域の高さ方向の寸法Lh、及びカメラ5の高さ方向の画角Θに加え、カメラ5の焦点距離及び光学中心にさらに基づいて、画角Θ内における物標SHの占有角度θを算出してもよい。すなわち、透視投影モデルのカメラ内部パラメータを考慮するために、カメラ内部パラメータを表すカメラ5の焦点距離及び光学中心を用いて、物標SHの占有角度θを算出してもよい。
 次に、距離推定部34は、図8に示すように、物標SHの占有角度θ、代表高さH、及びカメラ5の高さhに基づいて、自船SPから物標SHまでの距離d、すなわちカメラ5の撮像位置から物標SHまでの距離dを推定する。
 物標SHまでの距離dは、下記のように算出される。なお、H-h>0と仮定した例について説明するが、H-h≦0の場合も基本的に同じ方法で導出される。
 物標SHまでの距離dは、下記数式1で表される。
Figure JPOXMLDOC01-appb-M000001
 αは、物標SHの占有角度θのうち、カメラ5の高さhより上方の角度であり、βは、物標SHの占有角度θのうち、カメラ5の高さhより下方の角度である。
 α及びβのタンジェント(正接)は、下記数式2のように表される。
Figure JPOXMLDOC01-appb-M000002
 タンジェントの加法定理を用いると、下記数式3が得られる。
Figure JPOXMLDOC01-appb-M000003
 この数式3を展開し、整理することで、dについて下記数式4が得られる。
Figure JPOXMLDOC01-appb-M000004
 この数式4を解の公式によってdについて解くことで、上記数式1が得られる。
 数式4は二次式であるため、2つの解が得られるが、目的の式に現れる解でないもの(平方根の符号が負のもの)は、H-h>0のときはdが負になり、H-h≦0のときはdが極小さい値になるため、このケースには当てはまらない。
 距離推定部34は、以上のようにして、自船から物標までの距離を推定する。距離推定部34により推定された自船から物標までの距離は、物標の位置及び方位等とともに物標データに含められ、カメラ用管理DB23に登録される。なお、代表高さが上限と下限を持つ範囲で規定される場合には、距離推定部34は、自船から物標までの距離を上限と下限を持つ範囲で推定する。
 図9は、物標監視システム100において実現される物標監視方法の手順例を示す図である。同図は、物標までの距離を推定する処理について主に示している。物標監視装置1は、プログラムに従って同図に示す処理を実行する。
 物標監視装置1は、カメラ5により撮像された画像を取得すると、画像認識処理を行い、画像に含まれる物標の領域、物標の種類、及び推定の信頼度を算出する(S11、画像認識部31としての処理)。
 次に、物標監視装置1は、画像認識処理により算出された物標の領域の高さ方向の寸法を取得する(S12)。物標の領域の高さ方向の寸法は、境界ボックスBBの高さ方向の寸法である(図5参照)。
 次に、物標監視装置1は、画像認識処理により算出された物標の種類を取得する(S13、種類取得部32としての処理)。
 次に、物標監視装置1は、物標の種類に予め対応付けられた代表高さを取得する(S14、高さ取得部33としての処理)。代表高さは、種類-高さDB41を参照することで取得される(図6参照)。
 次に、物標監視装置1は、画像の高さ方向の寸法、物標の領域の高さ方向の寸法、及び代表高さに基づいて、自船から物標までの距離を推定する(S15、距離推定部34としての処理)。
 その後、物標監視装置1は、自船から物標までの距離を含む物標データを生成し、カメラ用管理DB23に登録する(S16)。これにより、画像に対する一連の処理が終了する。
 物標データには、その他に、物標の方位及び位置等が含まれる。物標の方位は、画像内の物標の位置及びカメラ5の設置方向に基づいて算出される。物標の位置は、自船から物標までの距離及び物標の方位に基づいて算出される。
 以上に説明した実施形態によれば、カメラ5により撮像された画像を用いて、物標までの距離を精度良く求めることが可能となる。
 以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。
 例えば、上記実施形態の手法により画像から推定された物標までの距離と、他の手法により画像から推定された物標までの距離とを平均化する等して、物標までの距離の推定精度をさらに向上させてもよい。
 他の手法としては、例えば、物標の喫水線の位置と水平線の位置との差分を画像から取得し、取得された差分と水平線までの距離とに基づいて物標までの距離を推定する手法などがある。
1 物標監視装置、2 表示部、3 レーダー、4 AIS、5 カメラ、6 GNSS受信機、7 ジャイロコンパス、8 ECDIS、9 無線通信部、10 操船制御部、20 制御部、11,12 データ取得部、13 画像取得部、14 画像処理部、15 データ統合部、16 表示制御部、17 操船判断部、21 レーダー用管理DB、22 AIS用管理DB、23 カメラ用管理DB、24 統合管理DB、31 画像認識部、32 種類取得部、33 高さ取得部、34 距離推定部、41 種類-高さDB、100 物標監視システム

Claims (9)

  1.  カメラにより撮像された海上の物標を含む画像を取得する画像取得部と、
     前記画像に含まれる前記物標の領域を検出する画像認識部と、
     前記物標の種類を取得する種類取得部と、
     前記物標の種類に予め対応付けられた代表高さを取得する高さ取得部と、
     前記画像の高さ方向の寸法、前記物標の領域の高さ方向の寸法、及び前記代表高さに基づいて、撮像位置から前記物標までの距離を推定する距離推定部と、
     を備える、物標監視装置。
  2.  前記距離推定部は、
     前記画像の高さ方向の寸法、前記物標の領域の高さ方向の寸法、及び前記カメラの高さ方向の画角に基づいて、前記画角内における前記物標の占有角度を算出し、
     前記物標の占有角度、前記代表高さ、及び前記カメラの高さに基づいて、前記撮像位置から前記物標までの距離を推定する、
     請求項1に記載の物標監視装置。
  3.  前記距離推定部は、
     前記画像の高さ方向の寸法、前記物標の領域の高さ方向の寸法、前記カメラの高さ方向の画角、前記カメラの焦点距離、及び前記カメラの光学中心に基づいて、前記画角内における前記物標の占有角度を算出する、
     請求項2に記載の物標監視装置。
  4.  前記画像認識部は、前記画像に含まれる前記物標を囲む境界ボックスを、前記物標の領域として検出する、
     請求項1ないし3の何れかに記載の物標監視装置。
  5.  前記画像認識部は、前記画像に含まれる前記物標の領域及び種類を検出し、
     前記種類取得部は、前記画像認識部により検出された前記物標の種類を取得する、
     請求項1ないし4の何れかに記載の物標監視装置。
  6.  前記種類取得部は、AIS(Automatic Identification System)により検出された前記物標の種類を取得する、
     請求項1ないし5の何れかに記載の物標監視装置。
  7.  前記カメラは、船舶に搭載され、
     前記海上の物標は、他の船舶である、
     請求項1ないし6の何れかに記載の物標監視装置。
  8.  カメラにより撮像された海上の物標を含む画像を取得し、
     前記画像に含まれる前記物標の領域を検出し、
     前記物標の種類を取得し、
     前記種類に予め対応付けられた代表高さを取得し、
     前記画像の高さ方向の寸法、前記物標の領域の高さ方向の寸法、及び前記代表高さに基づいて、撮像位置から前記物標までの距離を推定する、
     物標監視方法。
  9.  カメラにより撮像された海上の物標を含む画像を取得すること、
     前記画像に含まれる前記物標の領域を検出すること、
     前記物標の種類を取得すること、
     前記種類に予め対応付けられた代表高さを取得すること、及び
     前記画像の高さ方向の寸法、前記物標の領域の高さ方向の寸法、及び前記代表高さに基づいて、撮像位置から前記物標までの距離を推定すること、
     をコンピュータに実行させるためのプログラム。
PCT/JP2022/013013 2021-12-16 2022-03-22 物標監視装置、物標監視方法、及びプログラム WO2023112347A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280076879.0A CN118266004A (zh) 2021-12-16 2022-03-22 目标监测装置、目标监测方法以及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021203917 2021-12-16
JP2021-203917 2021-12-16

Publications (1)

Publication Number Publication Date
WO2023112347A1 true WO2023112347A1 (ja) 2023-06-22

Family

ID=86774143

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/013013 WO2023112347A1 (ja) 2021-12-16 2022-03-22 物標監視装置、物標監視方法、及びプログラム

Country Status (2)

Country Link
CN (1) CN118266004A (ja)
WO (1) WO2023112347A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009059106A (ja) * 2007-08-30 2009-03-19 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
WO2020049634A1 (ja) 2018-09-04 2020-03-12 三菱電機株式会社 教師データ生成装置、教師データ生成方法、および、教師データ生成システム
JP2020176892A (ja) * 2019-04-17 2020-10-29 日立オートモティブシステムズ株式会社 物***置検出装置、走行制御システム、および走行制御方法
JP2020201746A (ja) * 2019-06-11 2020-12-17 トヨタ自動車株式会社 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
JP2021026683A (ja) * 2019-08-08 2021-02-22 トヨタ自動車株式会社 距離推定装置
JP2021111902A (ja) * 2020-01-14 2021-08-02 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009059106A (ja) * 2007-08-30 2009-03-19 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
WO2020049634A1 (ja) 2018-09-04 2020-03-12 三菱電機株式会社 教師データ生成装置、教師データ生成方法、および、教師データ生成システム
JP2020176892A (ja) * 2019-04-17 2020-10-29 日立オートモティブシステムズ株式会社 物***置検出装置、走行制御システム、および走行制御方法
JP2020201746A (ja) * 2019-06-11 2020-12-17 トヨタ自動車株式会社 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
JP2021026683A (ja) * 2019-08-08 2021-02-22 トヨタ自動車株式会社 距離推定装置
JP2021111902A (ja) * 2020-01-14 2021-08-02 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
CN118266004A (zh) 2024-06-28

Similar Documents

Publication Publication Date Title
JP6507437B2 (ja) 船舶補助ドッキング方法およびシステム
CN105842724B (zh) 一种船舶辅助泊岸方法和***
JP5724907B2 (ja) 船舶の統合監視のための衛星情報及び船舶情報の統合方法
US7417583B2 (en) Methods and apparatus for providing target altitude estimation in a two dimensional radar system
US7840075B2 (en) Marine radar system with three-dimensional memory
JP4236767B2 (ja) 衛星sar画像に基づく移動体の移動情報検出方法
EP3926364A1 (en) Ship target object detection system, method of detecting ship target object and reliability estimating device
EP2479585B1 (en) Target object movement estimating device
JP6732900B2 (ja) 信号処理装置及びレーダ装置
JP4965035B2 (ja) 船舶表示装置および港湾監視装置
EP4360052A1 (en) Automatic camera registration and calibration using marine sensors
EP3632789A1 (en) System and method for assisting docking of a vessel
JP4445313B2 (ja) 船舶航行支援装置
WO2023112347A1 (ja) 物標監視装置、物標監視方法、及びプログラム
WO2023112349A1 (ja) 物標監視装置、物標監視方法、及びプログラム
CN115830140A (zh) 一种海上近程光电监控方法、***、介质、设备及终端
WO2019150483A1 (ja) 速度算出装置、速度算出方法、及び、プログラム
WO2023162562A1 (ja) 物標監視システム、物標監視方法、及びプログラム
CN111709308B (zh) 一种基于无人机的海上遇险人员检测和跟踪方法及其***
WO2023112348A1 (ja) 物標監視装置、物標監視方法、及びプログラム
CN112050830B (zh) 一种运动状态估计方法及装置
WO2023286360A1 (ja) 学習用データ収集装置、学習用データ収集方法、及びプログラム
KR101006080B1 (ko) 합성개구레이더를 이용한 이동체 속도 측정 방법
WO2023162561A1 (ja) 物標監視装置、操船システム、物標監視方法、及びプログラム
Huillca et al. Computing vessel velocity from single perspective projection images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22906884

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023567515

Country of ref document: JP

Kind code of ref document: A