JP6869440B2 - Teacher data generator, teacher data generation method, and teacher data generation system - Google Patents

Teacher data generator, teacher data generation method, and teacher data generation system Download PDF

Info

Publication number
JP6869440B2
JP6869440B2 JP2020540899A JP2020540899A JP6869440B2 JP 6869440 B2 JP6869440 B2 JP 6869440B2 JP 2020540899 A JP2020540899 A JP 2020540899A JP 2020540899 A JP2020540899 A JP 2020540899A JP 6869440 B2 JP6869440 B2 JP 6869440B2
Authority
JP
Japan
Prior art keywords
teacher data
image
moving body
data generation
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020540899A
Other languages
Japanese (ja)
Other versions
JPWO2020049634A1 (en
Inventor
百代 日野
百代 日野
秀明 前原
秀明 前原
遼雅 鈴木
遼雅 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2020049634A1 publication Critical patent/JPWO2020049634A1/en
Application granted granted Critical
Publication of JP6869440B2 publication Critical patent/JP6869440B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

この発明は、機械学習モデルを構築する際に使用される教師データを生成する教師データ生成装置に関する。 The present invention relates to a teacher data generator that generates teacher data used in building a machine learning model.

従来、機械学習を用いた、画像についての様々な活用方法が知られている。
従来知られているような画像の活用方法では、例えば、画像に写っている特定の物体の画像中での位置を出力するアプリケーションが使用され、当該アプリケーションを構築する際に、機械学習が用いられる。
一般に、人手によって、１枚または複数枚の画像から、当該画像中の物体の位置または大きさに関する、機械学習のための教師データを生成するためには、多大な労力を必要とする。
そこで、教師データを容易に生成する技術として、例えば、特許文献１には、予め用意された背景画像から抽出した領域に該当する画像に、複数の人物に関係する、人物の状態の指示情報に従って決定された、群集の人物状態に該当する人物の画像を合成して、群集状態画像を生成し、当該群集状態画像に対する教師ラベルを特定することで、群集画像の教師データを生成する教師データ生成装置に関する技術が開示されている。Conventionally, various utilization methods for images using machine learning have been known.
In the conventionally known method of utilizing an image, for example, an application that outputs the position of a specific object in the image in the image is used, and machine learning is used when constructing the application. ..
In general, a great deal of effort is required to manually generate teacher data for machine learning from one or more images regarding the position or size of an object in the image.
Therefore, as a technique for easily generating teacher data, for example, in Patent Document 1, the image corresponding to the region extracted from the background image prepared in advance is in accordance with the instruction information of the state of the person related to a plurality of people. Teacher data generation to generate teacher data of the crowd image by synthesizing the determined image of the person corresponding to the person state of the crowd to generate the crowd state image and specifying the teacher label for the crowd state image. The technology related to the device is disclosed.

国際公開第２０１４／００２６７０号International Publication No. 2014/002670

特許文献１に開示されている技術に代表される従来技術では、背景とする画像の抽出、人物の画像の切り出し、および、背景とする画像と人物の画像の合成等、教師データを生成するにあたって、画像処理に依存する部分が多い。しかし、画像は外界の明るさの変化等で輝度が安定せず、背景とする画像の抽出、または、人物の画像の切り出しを安定的に行える保証がない。また、背景とする画像と人物の画像を合成して教師データを生成しているため、実際に起こり得るシーンが再現されていない可能性がある。
その結果、特許文献１に開示されている技術に代表される従来技術では、教師データとしての信頼性に疑問があるという課題があった。In the conventional technique represented by the technique disclosed in Patent Document 1, in generating teacher data such as extraction of an image as a background, cutting out of an image of a person, and composition of an image of a background and an image of a person. , There are many parts that depend on image processing. However, the brightness of the image is not stable due to changes in the brightness of the outside world, and there is no guarantee that the background image can be extracted or the person's image can be cut out stably. In addition, since the teacher data is generated by synthesizing the image as the background and the image of the person, there is a possibility that the scene that can actually occur is not reproduced.
As a result, in the conventional technique represented by the technique disclosed in Patent Document 1, there is a problem that the reliability as teacher data is questionable.

この発明は上記のような課題を解決するためになされたもので、信頼性の高い教師データを生成することが可能な教師データ生成装置を提供することを目的とする。 The present invention has been made to solve the above problems, and an object of the present invention is to provide a teacher data generator capable of generating highly reliable teacher data.

この発明に係る教師データ生成装置は、判定対象画像中の移動体の位置を検出するための機械学習モデルを構築する際に使用される教師データを生成する、教師データ生成装置であって、移動体が撮影された教師データ生成用画像を取得する画像取得部と、移動体の属性情報と当該移動体の位置情報とを含む移動体情報を発信する移動体情報発信装置から発信された、当該移動体に関する移動体情報を取得する移動体情報取得部と、前記画像取得部が取得した前記教師データ生成用画像と、前記移動体情報取得部が取得した前記移動体情報に含まれる、前記移動体の前記属性情報及び前記移動体の前記位置情報の両情報とに基づき、前記教師データを生成する教師データ生成部とを備えたものである。 The teacher data generation device according to the present invention is a teacher data generation device that generates teacher data used when constructing a machine learning model for detecting the position of a moving object in a determination target image, and is a movement. The said, which is transmitted from an image acquisition unit that acquires an image for generating teacher data in which a body is photographed, and a moving body information transmitting device that transmits moving body information including attribute information of the moving body and position information of the moving body. a movable body information acquiring section for acquiring mobile unit information related to the mobile, and the teacher data generating images by the image acquisition unit has acquired, is included in the moving object information, wherein the mobile body information acquiring unit has acquired, the mobile It is provided with a teacher data generation unit that generates the teacher data based on both the attribute information of the body and the position information of the moving body.

この発明によれば、信頼性の高い教師データを生成することができる。 According to the present invention, highly reliable teacher data can be generated.

実施の形態１に係る教師データ生成装置の構成例を示す図である。It is a figure which shows the configuration example of the teacher data generation apparatus which concerns on Embodiment 1. FIG. 実施の形態１における、補間部による時間補間処理のイメージの一例を示す図である。It is a figure which shows an example of the image of the time interpolation processing by the interpolation part in Embodiment 1. 実施の形態１における、間引き部による間引き処理のイメージの一例を示す図である。It is a figure which shows an example of the image of the thinning process by a thinning part in Embodiment 1. FIG. 実施の形態１で用いる座標系の定義について説明するための図であって、図４Ａは、地球中心座標系の定義を説明するための図であり、図４Ｂは、カメラ座標系の定義を説明するための図である。FIG. 4A is a diagram for explaining the definition of the coordinate system used in the first embodiment, FIG. 4A is a diagram for explaining the definition of the earth center coordinate system, and FIG. 4B is a diagram for explaining the definition of the camera coordinate system. It is a figure for doing. 実施の形態１において、教師データ生成装置が、船舶の高さ情報を計算するための背景画像を生成し、実際に船舶の高さを計算するまでの処理のイメージを示す図であって、図５Ａは、船舶が撮影された画像のイメージを示す図であり、図５Ｂは、背景画像の生成処理のイメージを示す図であり、図５Ｃは、画像中の船舶の高さを計算する処理のイメージを示す図である。In the first embodiment, the figure shows an image of processing in which the teacher data generator generates a background image for calculating the height information of the ship and actually calculates the height of the ship. 5A is a diagram showing an image of an image of a ship taken, FIG. 5B is a diagram showing an image of a background image generation process, and FIG. 5C is a process of calculating the height of the ship in the image. It is a figure which shows an image. 実施の形態１に係る教師データ生成装置を備えるデータ収集装置の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation of the data collection apparatus which includes the teacher data generation apparatus which concerns on Embodiment 1. FIG. 実施の形態１に係る教師データ生成装置を備えるデータ収集装置の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation of the data collection apparatus which includes the teacher data generation apparatus which concerns on Embodiment 1. FIG. 図７Ａ，図７Ｂは、実施の形態１に係る教師データ生成装置を備えるデータ収集装置のハードウェア構成の一例を示す図である。7A and 7B are diagrams showing an example of the hardware configuration of the data collection device including the teacher data generation device according to the first embodiment. 実施の形態１に係る教師データ生成装置と、カメラと、記憶装置と、カメラ較正装置とを備えたデータ収集システムの構成例を説明するための図である。It is a figure for demonstrating the configuration example of the data collection system including the teacher data generation apparatus, the camera, the storage apparatus, and the camera calibration apparatus which concerns on Embodiment 1. FIG.

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
実施の形態１に係る教師データ生成装置は、移動体が撮影された判定対象画像における当該移動体の位置を検出するための機械学習モデルを構築する際に使用される教師データを生成する。実施の形態１において、機械学習モデルとは、複数の画像を学習し予測した結果得られた、当該複数の画像の特徴量のパターンである。判定対象画像とは、機械学習モデルを用いて、その画像上に映っている移動体を検出する対象となる、未知の画像である。
以下の説明においては、一例として、移動体は海上の船舶とし、教師データ生成装置は、海上の船舶が撮影された教師データ生成用画像を取得し、取得した教師データ生成用画像に基づき、教師データを生成するものとする。
また、実施の形態１に係る教師データ生成装置は、後述するデータ収集装置に備えられているものとする。
図１は、実施の形態１に係る教師データ生成装置１００を備えたデータ収集装置１の構成例を示す図である。
データ収集装置１は、教師データ生成装置１００の他、カメラ２００と、記憶装置３００と、カメラ較正装置４００と、移動体情報受信アンテナ５００と、移動体情報受信機６００を備える。Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
Embodiment 1.
The teacher data generation device according to the first embodiment generates teacher data used when constructing a machine learning model for detecting the position of the moving body in the determination target image in which the moving body is photographed. In the first embodiment, the machine learning model is a pattern of feature quantities of the plurality of images obtained as a result of learning and predicting a plurality of images. The determination target image is an unknown image that is a target for detecting a moving object displayed on the image using a machine learning model.
In the following description, as an example, the moving body is a marine vessel, and the teacher data generator acquires a teacher data generation image taken by the marine vessel, and the teacher is based on the acquired teacher data generation image. Data shall be generated.
Further, it is assumed that the teacher data generation device according to the first embodiment is provided in the data collection device described later.
FIG. 1 is a diagram showing a configuration example of a data collection device 1 including the teacher data generation device 100 according to the first embodiment.
In addition to the teacher data generation device 100, the data collection device 1 includes a camera 200, a storage device 300, a camera calibration device 400, a moving body information receiving antenna 500, and a moving body information receiver 600.

カメラ２００は、可視光カメラを想定しており、船舶が存在し得る海上を撮影する。実施の形態１では、カメラ２００は、１ＦＰＳ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）のフレームレートで撮影するものとする。
カメラ２００は、撮影した画像を記憶装置３００に記憶させる。実施の形態１において、カメラ２００は、予め決められたフレーム数分の画像を、記憶装置３００に記憶させるものとする。何フレーム分の画像を記憶させるようにするかは、ユーザが適宜決定することができるものとするが、ユーザは、少なくとも１フレームの画像が記憶されるようにする。カメラ２００が撮影し、記憶装置３００に記憶させる画像が、教師データ生成用画像である。以下、画像の数について言及する場合、フレーム単位の数を意味するものとする。
なお、データ収集装置１は、カメラ２００によって海上を撮影可能な場所に設置されている。また、ここでは、データ収集装置１は、カメラ２００を備えるものとするが、データ収集装置１は、カメラ２００に代えて、２次元画像を取得可能なセンサ等を備えるようにしてもよい。データ収集装置１は、海上の画像を取得することができるようになっていればよい。The camera 200 assumes a visible light camera and photographs the sea where a ship may exist. In the first embodiment, it is assumed that the camera 200 shoots at a frame rate of 1 FPS (Frame Per Second).
The camera 200 stores the captured image in the storage device 300. In the first embodiment, the camera 200 stores images for a predetermined number of frames in the storage device 300. The number of frames of images to be stored can be appropriately determined by the user, but the user makes it possible to store at least one frame of images. The image taken by the camera 200 and stored in the storage device 300 is an image for generating teacher data. Hereinafter, when the number of images is referred to, it means the number in frame units.
The data collection device 1 is installed in a place where the camera 200 can take a picture of the sea. Further, here, the data collection device 1 is provided with a camera 200, but the data collection device 1 may be provided with a sensor or the like capable of acquiring a two-dimensional image instead of the camera 200. The data collection device 1 may be capable of acquiring an image of the sea.

記憶装置３００は、カメラ２００が撮影した画像である教師データ生成用画像を記憶する。
記憶装置３００は、カメラ２００が備えるものとしてもよい。The storage device 300 stores an image for generating teacher data, which is an image taken by the camera 200.
The storage device 300 may be included in the camera 200.

カメラ較正装置４００は、カメラ２００の較正を行い、カメラ２００の内部パラメータおよび外部パラメータを保存する。カメラ２００の内部パラメータは、カメラ２００の焦点距離に関する情報を含む。カメラ２００の外部パラメータは、カメラ２００の位置または姿勢に関する情報を含む。
カメラ較正装置４００は、カメラ２００の内部パラメータおよび外部パラメータを、教師データ生成装置１００に出力する。
なお、カメラ較正装置４００は、カメラ２００が備えるものとしてもよい。The camera calibrator 400 calibrates the camera 200 and stores the internal and external parameters of the camera 200. The internal parameters of the camera 200 include information about the focal length of the camera 200. External parameters of the camera 200 include information about the position or orientation of the camera 200.
The camera calibrator 400 outputs the internal parameters and external parameters of the camera 200 to the teacher data generation device 100.
The camera calibrator 400 may be included in the camera 200.

移動体情報受信アンテナ５００は、移動体の情報を発信する装置（以下「移動体情報発信装置」という。図示省略。）が発する電波を受信する。移動体情報発信装置は、移動体に関する様々な情報を発信する。移動体情報発信装置が発信する、移動体に関する情報（以下「移動体情報」という。）には、少なくとも移動体の属性情報、および、当該移動体の位置情報が含まれる。移動体の属性情報は、移動体の名称等、特定の移動体を識別可能とする固有の情報の他、移動体の大きさ等の情報を含む。移動体の位置情報は、移動体の現在位置の他、移動体の速度等の情報を含む。
実施の形態１では、一例として、移動体情報発信装置は、ＡＩＳ（Ａｕｔｏｍａｔｉｃ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍ：船舶自動識別装置）とする。ＡＩＳは、船舶に搭載されており、当該ＡＩＳが搭載されている船舶の船名、船舶の大きさ、船舶の現在位置、船舶の速度、船舶の種類、または、針路に関する情報等、船舶に関する様々な情報を発信する。但し、ＡＩＳが発信する情報には、船舶の高さ情報は含まれていない。The mobile information receiving antenna 500 receives radio waves emitted by a device that transmits information on a mobile body (hereinafter, referred to as a “mobile body information transmitting device”; not shown). The mobile information transmission device transmits various information about the mobile body. The information about the moving body (hereinafter referred to as "moving body information") transmitted by the moving body information transmitting device includes at least the attribute information of the moving body and the position information of the moving body. The attribute information of the moving body includes information such as the size of the moving body in addition to unique information such as the name of the moving body that makes it possible to identify a specific moving body. The position information of the moving body includes information such as the speed of the moving body in addition to the current position of the moving body.
In the first embodiment, as an example, the mobile information transmission device is an AIS (Automatic Identification System). AIS is mounted on a ship, and various things related to the ship, such as the name of the ship on which the AIS is mounted, the size of the ship, the current position of the ship, the speed of the ship, the type of ship, or information on the course. Information is sent. However, the information transmitted by AIS does not include the height information of the ship.

移動体情報受信機６００は、移動体情報受信アンテナ５００経由で、上述の移動体情報を受信し、当該移動体情報を教師データ生成装置１００に出力する。 The mobile information receiver 600 receives the above-mentioned mobile information via the mobile information receiving antenna 500, and outputs the mobile information to the teacher data generation device 100.

教師データ生成装置１００は、記憶装置３００から取得した教師データ生成用画像と、移動体情報受信機６００から取得した移動体情報に基づき、教師データを生成する。
教師データ生成装置１００は、移動体情報取得部１０１と、記憶部１０２と、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２を備える。
データ処理部１０３は、補間部１０３１と間引き部１０３２を備える。
画像取得部１０４は、撮影時刻取得部１０４１を備える。
背景画像生成部１０８は、マスク設定部１０８１を備える。The teacher data generation device 100 generates teacher data based on the teacher data generation image acquired from the storage device 300 and the moving body information acquired from the moving body information receiver 600.
The teacher data generation device 100 includes a moving body information acquisition unit 101, a storage unit 102, a data processing unit 103, an image acquisition unit 104, a cubic area setting unit 105, a coordinate conversion unit 106, and a minimum rectangular calculation unit 107. A background image generation unit 108, a difference calculation unit 109, a height calculation unit 110, a teacher data generation unit 111, and a teacher data output unit 112 are provided.
The data processing unit 103 includes an interpolation unit 1031 and a thinning unit 1032.
The image acquisition unit 104 includes a shooting time acquisition unit 1041.
The background image generation unit 108 includes a mask setting unit 1081.

移動体情報取得部１０１は、移動体情報発信装置から発信された移動体情報を取得する。実施の形態１では、移動体情報取得部１０１は、移動体情報発信装置から発信された移動体情報を、移動体情報受信アンテナ５００および移動体情報受信機６００を経由して取得する。実施の形態１では、移動体情報取得部１０１が取得する移動体情報は、具体的には、船舶に関する情報である。
なお、移動体情報取得部１０１が取得する移動体情報がエンコードされている場合は、例えば、移動体情報取得部１０１がデコード部（図示省略）を備え、デコード部が、取得した移動体情報をデコードする。デコード部は、移動体情報取得部１０１に備えられるのではなく、例えば、移動体情報取得部１０１の外部の、移動体情報取得部１０１が参照可能な場所に備えられ、デコードした移動体情報を記憶するようにし、移動体情報取得部１０１は、デコード部が記憶した、デコード後の移動体情報を取得するようにしてもよい。移動体情報取得部１０１が、デコード後の移動体情報を取得できるようになっていればよい。
移動体情報取得部１０１は、移動体情報受信機６００から取得した移動体情報を、記憶部１０２に記憶させる。デコード部が移動体情報をデコードするようにした場合は、移動体情報取得部１０１は、デコード部によってデコードされた後の移動体情報を、記憶部１０２に記憶させる。
なお、移動体情報には、少なくとも、船舶に関する情報と、移動体情報の受信日時の情報が含まれる。The mobile information acquisition unit 101 acquires mobile information transmitted from the mobile information transmitting device. In the first embodiment, the mobile information acquisition unit 101 acquires the mobile information transmitted from the mobile information transmitting device via the mobile information receiving antenna 500 and the mobile information receiver 600. In the first embodiment, the mobile information acquired by the mobile information acquisition unit 101 is specifically information about a ship.
When the mobile information acquired by the mobile information acquisition unit 101 is encoded, for example, the mobile information acquisition unit 101 includes a decoding unit (not shown), and the decoding unit obtains the acquired mobile information. Decode. The decoding unit is not provided in the moving body information acquisition unit 101, but is provided in a place outside the moving body information acquisition unit 101 where the moving body information acquisition unit 101 can refer, and obtains the decoded moving body information. The mobile information acquisition unit 101 may acquire the decoded mobile information stored by the decoding unit. It suffices if the moving body information acquisition unit 101 can acquire the moving body information after decoding.
The mobile information acquisition unit 101 stores the mobile information acquired from the mobile information receiver 600 in the storage unit 102. When the decoding unit decodes the moving body information, the moving body information acquisition unit 101 stores the moving body information after being decoded by the decoding unit in the storage unit 102.
The mobile information includes at least information about the ship and information on the date and time when the mobile information was received.

記憶部１０２は、移動体情報を記憶する。
なお、実施の形態１では、記憶部１０２は、教師データ生成装置１００に備えられるものとするが、これは一例に過ぎず、記憶部１０２は、教師データ生成装置１００の外部の、教師データ生成装置１００が参照可能な場所に備えられるようにしてもよい。The storage unit 102 stores the moving body information.
In the first embodiment, the storage unit 102 is provided in the teacher data generation device 100, but this is only an example, and the storage unit 102 generates teacher data outside the teacher data generation device 100. The device 100 may be provided in a reference location.

データ処理部１０３は、カメラ較正装置４００から出力された、カメラ２００の内部パラメータおよび外部パラメータを用いて、記憶部１０２に記憶されている移動体情報に対する、時間補間処理および間引き処理を行う。記憶部１０２に記憶されている移動体情報に、複数の異なる船舶に関する移動体情報が含まれる場合、データ処理部１０３は、同一の船舶に関する移動体情報単位で、時間補間処理および間引き処理を行う。つまり、データ処理部１０３は、船舶毎に、当該船舶に関する移動体情報の、時間補間処理および間引き処理を行う。 The data processing unit 103 uses the internal parameters and external parameters of the camera 200 output from the camera calibration device 400 to perform time interpolation processing and thinning processing on the moving body information stored in the storage unit 102. When the moving body information stored in the storage unit 102 includes moving body information related to a plurality of different ships, the data processing unit 103 performs time interpolation processing and thinning-out processing in units of moving body information related to the same ship. .. That is, the data processing unit 103 performs time interpolation processing and thinning processing of the moving body information related to the ship for each ship.

データ処理部１０３の補間部１０３１は、画像取得部１０４によって取得された、互いに異なる時刻で撮影された複数の教師データ生成用画像にそれぞれ対応する移動体情報が存在するよう、移動体情報取得部１０１が取得した移動体情報に対して時間補間を行う。
実施の形態１では、カメラ２００で撮影される教師データ生成用画像は１ＦＰＳである。一方、実施の形態１では、移動体情報発信装置はＡＩＳである。ＡＩＳは、一定時間おきに移動体情報を発信するが、必ずしも毎秒、当該移動体情報を発信するわけではない。そのため、実施の形態１では、補間部１０３１が、１秒毎に撮影される教師データ生成用画像にそれぞれ対応する１秒毎の移動体情報が存在するよう、移動体情報の時間補間を行う。
補間部１０３１は、移動体情報取得部１０１が取得した移動体情報が示す船舶の速度情報を補間した上で、当該船舶の位置情報の補間を行うことによって、当該移動体情報の時間補間を行う。The interpolating unit 1031 of the data processing unit 103 is a moving body information acquisition unit so that there is moving body information corresponding to a plurality of teacher data generation images acquired by the image acquisition unit 104 at different times. Time interpolation is performed on the moving body information acquired by 101.
In the first embodiment, the image for generating teacher data captured by the camera 200 is 1 FPS. On the other hand, in the first embodiment, the mobile information transmitting device is AIS. The AIS transmits mobile information at regular intervals, but does not necessarily transmit the mobile information every second. Therefore, in the first embodiment, the interpolation unit 1031 performs time interpolation of the moving body information so that the moving body information for each second corresponding to each image for generating teacher data taken every second exists.
The interpolating unit 1031 performs time interpolation of the moving body information by interpolating the position information of the ship after interpolating the speed information of the ship indicated by the moving body information acquired by the moving body information acquisition unit 101. ..

ここで、図２は、実施の形態１における、補間部１０３１による時間補間処理のイメージの一例を示す図である。
例えば、ある時刻Ｔ＝０（秒）およびＴ＝３（秒）の、船舶Ｘに関する移動体情報が記憶部１０２に記憶されており、Ｔ＝０（秒）およびＴ＝３（秒）における船舶Ｘの位置および速度がわかっているものとする。
補間部１０３１は、まず、Ｔ＝１（秒）およびＴ＝２（秒）における船舶Ｘの速度Ｖを線形補間で計算する。次に、補間部１０３１は、Ｔ＝１（秒）およびＴ＝２（秒）における船舶Ｘの位置を、速度Ｖの積分で計算する。
そして、補間部１０３１は、Ｔ＝１（秒）およびＴ＝２（秒）における船舶Ｘの位置情報および速度情報を含む移動体情報を生成する。
このように、補間部１０３１は、時間補間処理において、船舶の速度情報を補間した上で船舶の位置情報を補間することで移動体情報の補間を行うため、図２に示すように、秒毎の船舶の位置は必ずしも等間隔にはならない。
補間部１０３１は、時間補間処理により新たに生成した移動体情報を、記憶部１０２に記憶させる。Here, FIG. 2 is a diagram showing an example of an image of time interpolation processing by the interpolation unit 1031 in the first embodiment.
For example, the moving body information regarding the ship X at a certain time T = 0 (seconds) and T = 3 (seconds) is stored in the storage unit 102, and the ship at T = 0 (seconds) and T = 3 (seconds). It is assumed that the position and speed of X are known.
First, the interpolation unit 1031 calculates the velocity V of the ship X at T = 1 (seconds) and T = 2 (seconds) by linear interpolation. Next, the interpolation unit 1031 calculates the position of the ship X at T = 1 (seconds) and T = 2 (seconds) by integrating the velocity V.
Then, the interpolation unit 1031 generates moving body information including the position information and the speed information of the ship X at T = 1 (seconds) and T = 2 (seconds).
In this way, in the time interpolation process, the interpolation unit 1031 interpolates the moving body information by interpolating the speed information of the ship and then interpolating the position information of the ship. Therefore, as shown in FIG. 2, every second. The positions of the vessels are not necessarily evenly spaced.
The interpolation unit 1031 stores the moving body information newly generated by the time interpolation processing in the storage unit 102.

データ処理部１０３の間引き部１０３２は、カメラ較正装置４００から出力された、カメラ２００の内部パラメータおよび外部パラメータに基づき、地図上における、カメラ２００の撮影範囲を計算する。そして、間引き部１０３２は、移動体情報で示される船舶の存在位置が、計算された撮影範囲の外となる移動体情報を、後段の、教師データを生成するための処理の対象外とする。具体的には、例えば、間引き部１０３２は、移動体情報で示される船舶の存在位置が、撮影範囲の外となる移動体情報に、対象外フラグを付与する。これによって、移動体情報の間引きが行われる。なお、間引き部１０３２による間引き処理は、補間部１０３１が時間補間処理を行った後の移動体情報に対して行うものとしてもよいし、補間部１０３１が時間補間処理を行う前の移動体情報に対して行うものとしてもよい。
移動体情報は、カメラ２００による撮影範囲よりも広い範囲に位置する移動体について取得され得る情報であるため、間引き部１０３２が不要な移動体情報を間引いておくことで、後段の処理が軽くなる。The thinning unit 1032 of the data processing unit 103 calculates the shooting range of the camera 200 on the map based on the internal parameters and the external parameters of the camera 200 output from the camera calibration device 400. Then, the thinning unit 1032 excludes the moving body information whose existence position of the ship indicated by the moving body information is outside the calculated photographing range from the processing for generating the teacher data in the subsequent stage. Specifically, for example, the thinning unit 1032 adds an out-of-target flag to the moving body information in which the existence position of the ship indicated by the moving body information is outside the photographing range. As a result, the moving body information is thinned out. The thinning process by the thinning unit 1032 may be performed on the moving body information after the interpolation unit 1031 has performed the time interpolation processing, or may be performed on the moving body information before the interpolation unit 1031 performs the time interpolation processing. It may be done against.
Since the moving body information is information that can be acquired for a moving body located in a range wider than the shooting range by the camera 200, the subsequent processing becomes lighter by thinning out unnecessary moving body information by the thinning unit 1032. ..

ここで、図３は、実施の形態１における、間引き部１０３２による間引き処理のイメージの一例を示す図である。
図３において、３０１で示す範囲が、カメラ２００の撮影範囲である。間引き部１０３２は、カメラ較正装置４００から出力された、カメラ２００の内部パラメータおよび外部パラメータに基づき、当該撮影範囲を計算する。
また、図３において、３０２で示す丸印が、移動体情報に基づく各船舶の存在位置を示す。
間引き部１０３２は、船舶の存在位置が撮影範囲３０１の外であることを示す移動体情報を間引く。具体的には、間引き部１０３２は、船舶の存在位置が撮影範囲３０１の外であることを示す移動体情報に、対象外フラグを付与し、後段の処理で当該移動体情報を使用しないようにする。Here, FIG. 3 is a diagram showing an example of an image of the thinning process by the thinning unit 1032 in the first embodiment.
In FIG. 3, the range indicated by 301 is the shooting range of the camera 200. The thinning unit 1032 calculates the shooting range based on the internal parameters and external parameters of the camera 200 output from the camera calibrator 400.
Further, in FIG. 3, the circle indicated by 302 indicates the existence position of each ship based on the moving body information.
The thinning unit 1032 thins out the moving body information indicating that the existence position of the ship is outside the photographing range 301. Specifically, the thinning unit 1032 adds a non-target flag to the moving body information indicating that the existence position of the ship is outside the photographing range 301, so that the moving body information is not used in the subsequent processing. To do.

画像取得部１０４は、カメラ２００が撮影し、記憶装置３００に記憶されている教師データ生成用画像を取得する。画像取得部１０４は、教師データ生成用画像を、フレーム単位で取得する。記憶装置３００に複数フレームの教師データ生成用画像が記憶されている場合、画像取得部１０４は、記憶されている教師データ生成用画像を順に取得する。以下、画像取得部１０４が記憶装置３００から取得した教師データ生成用画像を、「特定教師データ生成用画像」ともいう。
画像取得部１０４の撮影時刻取得部１０４１は、記憶装置３００から取得した特定教師データ生成用画像について、撮影時刻を取得する。
撮影時刻取得部１０４１は、特定教師データ生成用画像の撮影時刻を、例えば、撮影開始時刻からのフレーム数で判断すればよい。撮影開始時刻は、例えば、記憶装置３００に記憶されているものとする。また、例えば、カメラ２００が監視カメラである場合等、カメラ２００が撮影する画像に撮影時刻が文字で重畳表示されている場合、撮影時刻取得部１０４１は、重畳表示されている文字から、撮影時刻を取得するようにしてもよい。
そして、画像取得部１０４は、記憶部１０２を参照し、記憶部１０２から、特定教師データ生成用画像と対応する移動体情報を抽出する。特定教師データ生成用画像と対応する移動体情報とは、特定教師データ生成用画像の撮影時刻と、移動体情報に含まれる、当該移動体情報の受信時刻とが一致する移動体情報をいう。なお、画像取得部１０４が抽出する移動体情報は、データ処理部１０３によって、補間および間引きが行われた後の移動体情報である。また、実施の形態１において、特定教師データ生成用画像の撮像時刻と、移動体情報の受信時刻とが一致するとは、厳密に一致していることを必須としない。画像取得部１０４は、特定教師データ生成用画像の撮像時刻と移動体情報の受信時刻との差が予め許容範囲として設定された範囲内である等、特定教師データ生成用画像が撮影された際の移動体の位置がある程度わかる移動体情報であれば、当該移動体情報の受信時刻は特定教師データ生成用画像の撮像時刻と一致しているとみなす。
画像取得部１０４は、抽出した移動体情報を、特定教師データ生成用画像と対応付けて、立方体領域設定部１０５に出力する。
また、画像取得部１０４は、特定教師データ生成用画像の撮像時刻と一致する受信時刻の複数の移動体情報が存在する場合、全ての移動体情報を抽出する。例えば、同一時刻に複数の船舶が特定教師データ生成用画像の撮影範囲に存在する場合、当該特定教師データ生成用画像と対応付けられる移動体情報は複数存在することになる。The image acquisition unit 104 acquires a teacher data generation image taken by the camera 200 and stored in the storage device 300. The image acquisition unit 104 acquires an image for generating teacher data in frame units. When a plurality of frames of teacher data generation images are stored in the storage device 300, the image acquisition unit 104 sequentially acquires the stored teacher data generation images. Hereinafter, the teacher data generation image acquired by the image acquisition unit 104 from the storage device 300 is also referred to as a “specific teacher data generation image”.
The shooting time acquisition unit 1041 of the image acquisition unit 104 acquires the shooting time of the specific teacher data generation image acquired from the storage device 300.
The shooting time acquisition unit 1041 may determine the shooting time of the image for generating specific teacher data by, for example, the number of frames from the shooting start time. It is assumed that the shooting start time is stored in the storage device 300, for example. Further, for example, when the camera 200 is a surveillance camera and the shooting time is superimposed and displayed on the image captured by the camera 200, the shooting time acquisition unit 1041 starts from the superimposed display and displays the shooting time. May be obtained.
Then, the image acquisition unit 104 refers to the storage unit 102, and extracts the moving body information corresponding to the image for generating the specific teacher data from the storage unit 102. The moving body information corresponding to the image for generating the specific teacher data means the moving body information in which the shooting time of the image for generating the specific teacher data and the receiving time of the moving body information included in the moving body information coincide with each other. The mobile information extracted by the image acquisition unit 104 is the mobile information after interpolation and thinning are performed by the data processing unit 103. Further, in the first embodiment, it is not essential that the acquisition time of the image for generating the specific teacher data and the reception time of the moving object information are exactly the same. When the image acquisition unit 104 captures the specific teacher data generation image, such as when the difference between the imaging time of the specific teacher data generation image and the reception time of the moving object information is within a preset allowable range. If the moving body information shows the position of the moving body to some extent, it is considered that the reception time of the moving body information coincides with the imaging time of the image for generating the specific teacher data.
The image acquisition unit 104 outputs the extracted moving body information to the cube area setting unit 105 in association with the image for generating specific teacher data.
Further, the image acquisition unit 104 extracts all the mobile information when there is a plurality of mobile information having a reception time that matches the imaging time of the image for generating specific teacher data. For example, when a plurality of vessels exist in the shooting range of the specific teacher data generation image at the same time, there are a plurality of moving body information associated with the specific teacher data generation image.

立方体領域設定部１０５は、画像取得部１０４から出力された特定教師データ生成用画像に、当該特定教師データ生成用画像に対応付けられている移動体情報に基づき、移動体情報で示される船舶の位置を表わす立方体を設定する。
実施の形態１では、立方体領域設定部１０５は、移動体情報に基づき、船舶の幅、長さ、および、角度を特定し、当該船舶を囲む立方体（以下「移動体包囲立方体」という。）の座標を設定する。なお、立方体領域設定部１０５が設定する移動体包囲立方体の座標は、移動体包囲立方体の８つの頂点の座標である。以下、立方体領域設定部１０５が設定する、移動体包囲立方体の各頂点の座標を、立方体座標という。
このとき、立方体領域設定部１０５は、立方体座標を、地球中心座標系で設定する。
ここで、図４は、実施の形態１で用いる座標系の定義について説明するための図である。図４Ａは、地球中心座標系の定義を説明するための図（富山高等専門学校 航海科学研究室ホームページより引用）であり、図４Ｂは、カメラ座標系の定義を説明するための図である。
カメラ２００の内部パラメータによって設定可能な３×３の内部行列と、カメラ２００の回転角およびカメラ２００の位置の情報から計算可能な４×３の外部行列により、地球中心座標系とカメラ座標系の間の座標の変換が可能である。The cube area setting unit 105 is based on the moving body information associated with the specific teacher data generation image output from the image acquisition unit 104 and the specific teacher data generation image, and the cube area setting unit 105 indicates the ship as the moving body information. Set a cube that represents the position.
In the first embodiment, the cube area setting unit 105 specifies the width, length, and angle of the ship based on the moving body information, and the cube surrounding the ship (hereinafter referred to as "moving body surrounding cube"). Set the coordinates. The coordinates of the moving body surrounding cube set by the cube area setting unit 105 are the coordinates of the eight vertices of the moving body surrounding cube. Hereinafter, the coordinates of each vertex of the moving body surrounding cube set by the cube area setting unit 105 are referred to as cube coordinates.
At this time, the cube area setting unit 105 sets the cube coordinates in the earth center coordinate system.
Here, FIG. 4 is a diagram for explaining the definition of the coordinate system used in the first embodiment. FIG. 4A is a diagram for explaining the definition of the earth center coordinate system (quoted from the homepage of the Toyama National College of Technology Navigation Science Laboratory), and FIG. 4B is a diagram for explaining the definition of the camera coordinate system.
With a 3x3 internal matrix that can be set by the internal parameters of the camera 200 and a 4x3 external matrix that can be calculated from the information on the rotation angle of the camera 200 and the position of the camera 200, the earth center coordinate system and the camera coordinate system It is possible to convert the coordinates between them.

立方体領域設定部１０５が設定する移動体包囲立方体の幅は船舶幅であり、移動体包囲立方体の長さは船舶の船体の長さである。上述のとおり、ＡＩＳが発信する情報に船舶の高さ情報は含まれていないため、移動体情報にも船舶の高さ情報は含まれていない。したがって、立方体領域設定部１０５は、移動体包囲立方体の高さについては、仮の値を設定する。仮の値とは、例えば、実際の船舶の高さより十分に大きいと想定される値であり、ユーザ等が予め設定可能とする。実施の形態１では、一例として、立方体領域設定部１０５は、移動体包囲立方体の高さには、船舶幅の２倍の値を設定するものとする。
画像取得部１０４から出力された特定教師データ生成用画像に対応付けられている移動体情報が複数ある場合、立方体領域設定部１０５は、特定教師データ生成用画像に対応付けられた全ての移動体情報で示される全ての船舶に対して、当該船舶を囲む移動体包囲立方体を設定する。
立方体領域設定部１０５は、設定した各立方体座標を、特定教師データ生成用画像の、対応する移動体情報に付与して、座標変換部１０６に出力する。
なお、画像取得部１０４から特定教師データ生成用画像が複数出力される場合、立方体領域設定部１０５は、特定教師データ生成用画像毎に、当該特定教師データ生成用画像に対応付けられている移動体情報で示される船舶を囲む移動体方位立方体を設定する。The width of the mobile siege cube set by the cube area setting unit 105 is the width of the ship, and the length of the mobile siege cube is the length of the hull of the ship. As described above, since the information transmitted by the AIS does not include the height information of the ship, the moving object information does not include the height information of the ship. Therefore, the cube area setting unit 105 sets a tentative value for the height of the moving body surrounding cube. The tentative value is, for example, a value that is assumed to be sufficiently larger than the actual height of the ship, and can be set in advance by the user or the like. In the first embodiment, as an example, the cube area setting unit 105 sets the height of the moving body surrounding cube to a value twice the width of the ship.
When there are a plurality of moving body information associated with the specific teacher data generation image output from the image acquisition unit 104, the cubic area setting unit 105 sets all the moving bodies associated with the specific teacher data generation image. For all vessels indicated by the information, set a mobile siege cube that surrounds the vessel.
The cube area setting unit 105 adds each set cube coordinate to the corresponding moving body information of the specific teacher data generation image, and outputs the coordinate to the coordinate conversion unit 106.
When a plurality of images for generating specific teacher data are output from the image acquisition unit 104, the cubic area setting unit 105 moves for each image for generating specific teacher data, which is associated with the image for generating specific teacher data. Set a moving body orientation cube that surrounds the ship indicated by body information.

座標変換部１０６は、カメラ較正装置４００から出力される、カメラ２００の内部パラメータおよび外部パラメータを用いて、立方体領域設定部１０５から出力された特定教師データ生成用画像に対応付けられている移動体情報に付与された立方体座標を、カメラ座標系（図４Ｂ参照）に変換する。
上述のとおり、カメラ２００の内部パラメータによって設定可能な３×３の内部行列と、カメラ２００の回転角およびカメラ２００の位置の情報から計算可能な４×３の外部行列により、地球中心座標系とカメラ座標系の間の座標の変換が可能である。
座標変換部１０６は、以下の式（１）によって、立方体座標を、カメラ座標系に変換する。
式（１）に示すｕが、カメラ座標系におけるｘ座標に該当し、式（１）に示すｖが、カメラ座標系におけるｙ座標に該当する。

Figure 0006869440
式（１）において、ｆｘおよびｆｙは焦点距離（単位：ピクセル）である。
立方体領域設定部１０５が立方体座標（Ｘ，Ｙ，Ｚ）を設定し、座標変換部１０６は、立方体領域設定部１０５が設定した立方体座標（Ｘ，Ｙ，Ｚ）を、式（１）を用いてカメラ座標系の座標（ｕ，ｖ）に変換する。なお、地球中心座標系とカメラ座標系の間の座標の変換の技術は、既知の技術である。
立方体領域設定部１０５から出力された特定教師データ生成用画像に対応付けられている移動体情報が複数ある場合、座標変換部１０６は、特定教師データ生成用画像に対応付けられた全ての移動体情報に付与された立方体座標を、それぞれ、カメラ座標系に変換する。
座標変換部１０６は、カメラ座標系に変換した、変換後の各立方体座標（以下「変換後座標」という。）を、特定教師データ生成用画像の、対応する移動体情報に付与して、最小矩形計算部１０７に出力する。
なお、立方体領域設定部１０５から特定教師データ生成用画像が複数出力される場合、座標変換部１０６は、特定教師データ生成用画像毎に、当該特定教師データ生成用画像に対応付けられている各移動体情報に付与された各立方体座標を、カメラ座標系に変換する。The coordinate conversion unit 106 uses the internal parameters and external parameters of the camera 200 output from the camera calibrator 400 to be associated with the specific teacher data generation image output from the cube area setting unit 105. The cubic coordinates given to the information are converted into a camera coordinate system (see FIG. 4B).
As described above, the 3x3 internal matrix that can be set by the internal parameters of the camera 200 and the 4x3 external matrix that can be calculated from the information on the rotation angle of the camera 200 and the position of the camera 200 are used to obtain the earth center coordinate system. It is possible to convert coordinates between camera coordinate systems.
The coordinate conversion unit 106 converts the cubic coordinates into the camera coordinate system by the following equation (1).
The u shown in the equation (1) corresponds to the x coordinate in the camera coordinate system, and the v shown in the equation (1) corresponds to the y coordinate in the camera coordinate system.
Figure 0006869440
In the formula (1), fx and fy are focal lengths (units: pixels).
The cube area setting unit 105 sets the cube coordinates (X, Y, Z), and the coordinate conversion unit 106 uses the cube coordinates (X, Y, Z) set by the cube area setting unit 105 in the equation (1). To the coordinates (u, v) of the camera coordinate system. The technique of converting the coordinates between the earth center coordinate system and the camera coordinate system is a known technique.
When there is a plurality of moving body information associated with the specific teacher data generation image output from the cubic area setting unit 105, the coordinate conversion unit 106 performs all the moving bodies associated with the specific teacher data generation image. Each cubic coordinate given to the information is converted into a camera coordinate system.
The coordinate conversion unit 106 assigns each converted cubic coordinate (hereinafter referred to as “converted coordinate”) converted to the camera coordinate system to the corresponding moving body information of the specific teacher data generation image, and minimizes the coordinates. Output to the rectangle calculation unit 107.
When a plurality of images for generating specific teacher data are output from the cube area setting unit 105, the coordinate conversion unit 106 is associated with each image for generating specific teacher data for each image for generating specific teacher data. Each cubic coordinate given to the moving body information is converted into a camera coordinate system.

最小矩形計算部１０７は、座標変換部１０６から出力された特定教師データ生成用画像に対応付けられている移動体情報について、当該移動体情報に付与された変換後座標に基づき、当該変換後座標全てを含む最小矩形を計算する。
具体的には、最小矩形計算部１０７は、移動体情報に対応付けられている全て（８つ）の変換後座標のｘ座標のうちの最小値と、全てのカメラ座標のｙ座標のうちの最小値を、当該移動体情報で示される船舶に対応する最小矩形の枠の左上の座標として定義する。また、最小矩形計算部１０７は、全てのカメラ座標のｘ座標のうちの最大値と、全てのカメラ座標のｙ座標のうちの最大値を、当該移動体情報を示される船舶に対応する最小矩形の枠の右下の座標として定義する。
最小矩形計算部１０７は、計算した最小矩形の座標を、特定教師データ生成用画像の、対応する移動体情報に付与する。
座標変換部１０６から出力された特定教師データ生成用画像に対応付けられている移動体情報が複数ある場合、最小矩形計算部１０７は、特定教師データ生成用画像に対応付けられた全ての移動体情報について、最小矩形を計算する。
なお、座標変換部１０６から特定教師データ生成用画像が複数出力される場合、最小矩形計算部１０７は、特定教師データ生成用画像毎に、当該特定教師データ生成用画像に対応付けられている各移動体情報について、最小矩形を計算する。
最小矩形計算部１０７は、移動体情報に最小矩形の座標を付与した特定教師データ生成用画像を、時系列で、例えば、記憶部１０２、または、教師データ生成装置１００が内部に備える記憶領域に一時記憶させる。The minimum rectangle calculation unit 107 uses the converted coordinates of the moving body information associated with the specific teacher data generation image output from the coordinate conversion unit 106 based on the converted coordinates given to the moving body information. Calculate the smallest rectangle that contains all.
Specifically, the minimum rectangle calculation unit 107 has the minimum value among the x-coordinates of all (8) converted coordinates associated with the moving object information and the y-coordinate of all the camera coordinates. The minimum value is defined as the upper left coordinates of the minimum rectangular frame corresponding to the ship indicated by the moving body information. Further, the minimum rectangle calculation unit 107 sets the maximum value of the x-coordinates of all the camera coordinates and the maximum value of the y-coordinates of all the camera coordinates to the minimum rectangle corresponding to the ship whose moving object information is shown. It is defined as the coordinates at the bottom right of the frame.
The minimum rectangle calculation unit 107 adds the calculated coordinates of the minimum rectangle to the corresponding moving body information of the specific teacher data generation image.
When there is a plurality of moving body information associated with the specific teacher data generation image output from the coordinate conversion unit 106, the minimum rectangular calculation unit 107 is all the moving bodies associated with the specific teacher data generation image. Calculate the smallest rectangle for the information.
When a plurality of images for generating specific teacher data are output from the coordinate conversion unit 106, the minimum rectangular calculation unit 107 is associated with each image for generating specific teacher data for each image for generating specific teacher data. Calculate the minimum rectangle for moving object information.
The minimum rectangle calculation unit 107 stores the specific teacher data generation image in which the coordinates of the minimum rectangle are added to the moving body information in a time series, for example, in the storage unit 102 or the storage area internally provided by the teacher data generation device 100. Temporarily memorize.

背景画像生成部１０８は、特定教師データ生成用画像毎に、当該特定教師データ生成用画像上に船舶が存在しない場合の合成背景画像を生成する。
背景画像生成部１０８が合成背景画像を生成する手順について説明する。
まず、背景画像生成部１０８のマスク設定部１０８１は、最小矩形計算部１０７によって一時記憶されている特定教師データ生成用画像について、それぞれ、当該特定教師データ生成用画像に対応付けられている移動体情報に基づき、特定教師データ生成用画像上にマスクを設定した画像を生成する。実施の形態１において、マスク設定部１０８１が生成した、特定教師データ生成用画像にマスクを設定した画像を、「マスク設定画像」というものとする。具体的には、マスク設定部１０８１は、移動体情報で示される、船舶の長さ、および、船舶の回転角の情報に基づき、マスクの横幅を計算する。そして、マスク設定部１０８１は、特定教師データ生成用画像の縦幅をマスクの縦幅とし、当該縦幅と計算した横幅とからなる領域を、マスクに決定する。マスク設定部１０８１は、特定教師データ生成用画像上に決定したマスクが設定されたマスク設定画像を生成する。
マスク設定部１０８１は、生成したマスク設定画像を、一時記憶されている特定教師データ生成用画像の、対応する移動体情報に付与する。
一時記憶されている特定教師データ生成用画像に対応付けられている移動体情報が複数ある場合、マスク設定部１０８１は、特定教師データ生成用画像に対応付けられた全ての移動体情報について、当該移動体情報に基づいてマスクを設定したマスク設定画像を生成する。例えば、ある特定教師データ生成用画像に対応付けられている移動体情報が３つあるとすると、当該３つそれぞれに対して、マスク設定部１０８１によってマスク設定画像が生成され、移動体情報に付与される。The background image generation unit 108 generates a composite background image for each specific teacher data generation image when a ship does not exist on the specific teacher data generation image.
A procedure for the background image generation unit 108 to generate a composite background image will be described.
First, the mask setting unit 1081 of the background image generation unit 108 is a moving body associated with the specific teacher data generation image for each of the specific teacher data generation images temporarily stored by the minimum rectangular calculation unit 107. Based on the information, an image with a mask set on the image for generating specific teacher data is generated. In the first embodiment, the image in which the mask is set on the image for generating specific teacher data generated by the mask setting unit 1081 is referred to as a “mask setting image”. Specifically, the mask setting unit 1081 calculates the width of the mask based on the information on the length of the ship and the rotation angle of the ship, which are indicated by the moving body information. Then, the mask setting unit 1081 determines the vertical width of the image for generating specific teacher data as the vertical width of the mask, and determines the region including the vertical width and the calculated horizontal width as the mask. The mask setting unit 1081 generates a mask setting image in which the determined mask is set on the image for generating specific teacher data.
The mask setting unit 1081 adds the generated mask setting image to the corresponding moving body information of the temporarily stored specific teacher data generation image.
When there are a plurality of mobile pieces of information associated with the temporarily stored image for generating specific teacher data, the mask setting unit 1081 describes all the moving pieces of information associated with the image for generating specific teacher data. Generates a mask setting image with a mask set based on the moving object information. For example, if there are three moving body information associated with a specific teacher data generation image, a mask setting image is generated by the mask setting unit 1081 for each of the three moving body information and is added to the moving body information. Will be done.

一時記憶されている各特定教師データ生成用画像について、マスク設定画像を生成し、特定教師データ生成用画像に対応付けられた移動体情報に付与すると、背景画像生成部１０８は、一時記憶されている特定教師データ生成用画像から、合成背景画像を生成する対象とする特定教師データ生成用画像を決定する。なお、合成背景画像を生成する対象とする特定教師データ生成用画像は、すなわち、後段の処理（詳細は後述する）で教師データを生成する対象となる教師データ生成用画像である。以下、背景画像生成部１０８によって決定された特定教師データ生成用画像を、「決定後教師データ生成用画像」ともいうものとして説明する。背景画像生成部１０８は、例えば、一時記憶されている特定教師データ生成用画像を時系列で順番に、決定後教師データ生成用画像に決定するようにすればよい。
具体的には、まず、背景画像生成部１０８は、決定後教師データ生成用画像について、移動体情報に付与されたマスク設定画像に設定されているマスクの領域（以下「注目マスク領域」という。）を切り出し、一時記憶されている、当該決定後教師データ生成用画像の前後の特定教師データ生成用画像（以下「比較対象教師データ生成用画像」という。）を確認して、マスクの領域内に船舶が入っていない特定教師データ生成用画像（以下「合成用画像」という。）を検索する。マスクの領域内に船舶が入っていないとは、比較対象教師データ生成用画像の、注目マスク領域に対応する領域に、マスクが設定されていないことをいう。背景画像生成部１０８は、比較対象教師データ生成用画像の移動体情報に付与されているマスク設定画像から、注目マスク領域に対応する領域に、マスクが設定されているか否かを判断すればよい。つまり、背景画像生成部１０８は、比較対象教師データ生成用画像の移動体情報に、注目マスク領域と同じ領域にマスクが設定されたマスク設定画像が付与されていなければ、当該比較対象教師データ生成用画像は、マスクの領域内に船舶が入っていない合成用画像と判断する。
なお、ここでは、背景画像生成部１０８は、マスクの領域内に船舶が入っていない特定教師データ生成用画像を合成用画像とするものとするが、これは一例に過ぎず、合成用画像は、必ずしもマスクの領域に対応する領域内に船舶が入っていない特定教師データ生成用画像であることを必須としない。例えば、背景画像生成部１０８は、マスクの領域内に多少船舶が入っている特定教師データ生成用画像であっても、合成用画像とするようにしてもよい。
背景画像生成部１０８は、当該検索を、合成用画像を予め設定されたフレーム数見つけるまで反復する。実施の形態１では、一例として、予め設定されたフレーム数は５フレームとする。When a mask setting image is generated for each temporarily stored specific teacher data generation image and added to the moving body information associated with the specific teacher data generation image, the background image generation unit 108 is temporarily stored. From the image for generating specific teacher data, the image for generating specific teacher data to be generated as a composite background image is determined. The specific teacher data generation image for which the composite background image is generated is, that is, the teacher data generation image for which the teacher data is generated in the subsequent processing (details will be described later). Hereinafter, the specific teacher data generation image determined by the background image generation unit 108 will be described as also referred to as a “post-decision teacher data generation image”. For example, the background image generation unit 108 may determine the temporarily stored images for generating specific teacher data in order in chronological order as the images for generating teacher data after determination.
Specifically, first, the background image generation unit 108 refers to a mask area (hereinafter referred to as “attention mask area”) set in the mask setting image given to the moving body information for the image for generating teacher data after determination. ) Is cut out, and the images for generating specific teacher data (hereinafter referred to as "images for generating teacher data to be compared") before and after the image for generating teacher data after the determination, which are temporarily stored, are confirmed, and the inside of the mask area. Search for an image for generating specific teacher data (hereinafter referred to as "composite image") that does not contain a ship. The fact that the ship is not included in the mask area means that the mask is not set in the area corresponding to the mask area of interest in the image for generating the teacher data to be compared. The background image generation unit 108 may determine whether or not a mask is set in the area corresponding to the mask area of interest from the mask setting image given to the moving body information of the image for generating the comparison target teacher data. .. That is, if the background image generation unit 108 does not add a mask setting image in which a mask is set in the same area as the mask area of interest to the moving body information of the image for generating the comparison target teacher data, the comparison target teacher data generation unit 108 generates the comparison target teacher data. The image is judged to be a composite image in which the ship is not included in the mask area.
Here, the background image generation unit 108 uses an image for generating specific teacher data in which a ship is not included in the mask area as a composite image, but this is only an example, and the composite image is , It is not always necessary that the image is for specific teacher data generation in which the ship is not included in the area corresponding to the area of the mask. For example, the background image generation unit 108 may use an image for generating specific teacher data in which some ships are included in the area of the mask as a composite image.
The background image generation unit 108 repeats the search until it finds a preset number of frames for the composite image. In the first embodiment, as an example, the preset number of frames is set to 5 frames.

そして、予め設定されたフレーム数、合成用画像を見つけると、背景画像生成部１０８は、決定後教師データ生成用画像と、見つけた合成用画像の平均をとり、合成背景画像を生成する。このとき、背景画像生成部１０８は、注目マスク領域については、足し合わせを行わないようにする。
背景画像生成部１０８は、合成背景画像を生成する際には、決定後教師データ生成用画像と合成用画像とを、単純に平均することで合成背景画像を生成してもよいし、当該決定後教師データ生成用画像からみた時差を考慮して、足し合わせる合成用画像に重み付けを行った加重平均によって、合成背景画像を生成するようにしてもよい。Then, when the preset number of frames and the composite image are found, the background image generation unit 108 takes the average of the determined teacher data generation image and the found composite image to generate the composite background image. At this time, the background image generation unit 108 does not add up the attention mask area.
When generating the composite background image, the background image generation unit 108 may generate the composite background image by simply averaging the post-determination teacher data generation image and the composite image, or the determination. In consideration of the time difference seen from the post-teacher data generation image, the composite background image may be generated by a weighted average obtained by weighting the composite images to be added.

背景画像生成部１０８は、生成した合成背景画像を、決定後教師データ生成用画像の、対応する移動体情報に付与して、差分計算部１０９に出力する。
なお、複数の特定教師データ生成用画像をそれぞれ決定後教師データ生成用画像とする場合、背景画像生成部１０８は、順次決定した決定後教師データ生成用画像毎に、合成背景画像を生成する。このように、背景画像生成部１０８が、順次、決定後教師データ生成用画像を決定して、決定後教師データ生成用画像毎に合成背景画像を生成するのは、できるだけ各決定後教師データ生成用画像に近い時間帯の合成背景画像を取得するためである。
ある決定後教師データ生成用画像において、対応付けられている移動体情報が複数ある場合、背景画像生成部１０８は、決定後教師データ生成用画像に対応付けられた全ての移動体情報について、当該移動体情報に付与されているマスク設定画像に基づき、合成用画像を検索して合成背景画像を生成する。The background image generation unit 108 adds the generated composite background image to the corresponding moving body information of the image for generating teacher data after determination, and outputs the generated composite background image to the difference calculation unit 109.
When each of the plurality of specific teacher data generation images is used as the post-decision teacher data generation image, the background image generation unit 108 generates a composite background image for each of the sequentially determined post-decision teacher data generation images. In this way, the background image generation unit 108 sequentially determines the post-decision teacher data generation image, and generates a composite background image for each post-decision teacher data generation image as much as possible after each decision. This is to acquire a composite background image in a time zone close to the image for use.
When there are a plurality of associated moving body information in a certain post-decision teacher data generation image, the background image generation unit 108 corresponds to all the moving body information associated with the post-decision teacher data generation image. Based on the mask setting image attached to the moving body information, the composite image is searched and the composite background image is generated.

差分計算部１０９は、背景画像生成部１０８から出力された決定後教師データ生成用画像と、当該決定後教師データ生成用画像に対応付けられている合成背景画像との差分を計算し、閾値以上の変化がある領域を白、閾値以上の変化がない領域を黒とした差分画像を生成する。より詳細には、差分計算部１０９は、背景画像生成部１０８から出力された決定後教師データ生成用画像と、当該決定後教師データ生成用画像に対応付けられている移動体情報に付与された合成背景画像との差分を計算する。
二値の差分画像を生成するためには、閾値を適切に設定する必要がある。船舶のない領域については、事前にＡＩＳで取得した情報があるため、ユーザ等は、予め、船舶のない領域が確実に差分なしに分類されるような閾値を設定する。また、差分計算部１０９は、二値化後にラベリング処理を行い、対象となる領域以外に発生している、面積の小さいノイズを除去する。対象となる領域とは、閾値以上の変化がある領域のことであり、当該領域は、船舶が存在する領域である。例えば、波面のきらめき等によって、差分計算部１０９は、当該波面のきらめき等の領域を閾値以上の変化がある領域と判断して差分画像を生成する場合がある。しかし、波面のきらめき等は船舶が存在する領域ではない。そこで、差分計算部１０９は、船舶が存在する領域と判断できる最大領域以外の、面積の小さいノイズを除去する。なお、これは一例に過ぎず、差分計算部１０９は、当該面積の小さいノイズの除去を行うことを必須とはしない。例えば、差分計算部１０９は、明らかに船舶が存在する領域ではないと判断できる程度に面積の小さい領域については、ノイズの除去を行わないようにしてもよい。
差分計算部１０９は、生成した差分画像を、決定後教師データ生成用画像の、対応する移動体情報に付与して、高さ計算部１１０に出力する。
背景画像生成部１０８から決定後教師データ生成用画像が複数出力される場合、差分計算部１０９は、決定後教師データ生成用画像毎に、差分画像を生成する。
ある決定後教師データ生成用画像に対応付けられている移動体情報が複数ある場合、差分計算部１０９は、決定後教師データ生成用画像に対応付けられた全ての移動体情報に付与されている合成背景画像について、それぞれ、決定後教師データ生成用画像との差分画像を生成し、移動体情報に付与する。The difference calculation unit 109 calculates the difference between the post-determination teacher data generation image output from the background image generation unit 108 and the composite background image associated with the post-determination teacher data generation image, and is equal to or greater than the threshold value. A difference image is generated in which the area where there is a change in is white and the area where there is no change above the threshold value is black. More specifically, the difference calculation unit 109 is assigned to the post-determination teacher data generation image output from the background image generation unit 108 and the moving body information associated with the post-determination teacher data generation image. Calculate the difference from the composite background image.
In order to generate a binary difference image, it is necessary to set the threshold value appropriately. Since there is information acquired by AIS in advance for the area without a ship, the user or the like sets a threshold value in advance so that the area without a ship is surely classified without a difference. Further, the difference calculation unit 109 performs a labeling process after binarization to remove noise having a small area generated in a region other than the target region. The target area is an area where there is a change of the threshold value or more, and the area is an area where a ship exists. For example, due to the sparkle of the wave surface or the like, the difference calculation unit 109 may determine that the region of the sparkle or the like of the wave surface is a region having a change of the threshold value or more and generate a difference image. However, the sparkle of the wave surface is not the area where the ship exists. Therefore, the difference calculation unit 109 removes noise having a small area other than the maximum area that can be determined to be the area where the ship exists. Note that this is only an example, and the difference calculation unit 109 does not necessarily have to remove noise having a small area. For example, the difference calculation unit 109 may not remove noise in a region having a small area that can be clearly determined not to be a region in which a ship exists.
The difference calculation unit 109 adds the generated difference image to the corresponding moving body information of the image for generating teacher data after determination, and outputs the generated difference image to the height calculation unit 110.
When a plurality of images for generating teacher data after determination are output from the background image generation unit 108, the difference calculation unit 109 generates a difference image for each image for generating teacher data after determination.
When there are a plurality of moving body information associated with a certain post-decision teacher data generation image, the difference calculation unit 109 is assigned to all the moving body information associated with the post-decision teacher data generation image. For each of the composite background images, a difference image from the image for generating teacher data after determination is generated and added to the moving body information.

高さ計算部１１０は、決定後教師データ生成用画像に対応付けられている差分画像に基づき、当該決定後教師データ生成用画像上の船舶の高さを計算する。より詳細には、高さ計算部１１０は、決定後教師データ生成用画像に対応付けられている移動体情報に付与された差分画像に基づき、当該決定後教師データ生成用画像上の船舶の高さを計算する。具体的には、高さ計算部１１０は、差分計算部１０９が差分ありと判定した白の領域のｙ座標の最大値および最小値を計算することで、船舶を示す最小矩形の上端および下端のｙ座標を計算する。計算したｙ座標の情報に基づき、高さ計算部１１０は、最小矩形計算部１０７が計算し、移動体情報に付与した最小矩形の枠の上端および下端の情報を更新する。
高さ計算部１１０は、更新後の最小矩形の情報が反映された決定後教師用データ生成用画像を、教師データ生成部１１１に出力する。
なお、差分計算部１０９から決定後教師データ生成用画像が複数出力される場合、高さ計算部１１０は、決定後教師データ生成用画像毎に、当該決定後教師データ生成用画像上の各船舶の高さを計算する。
ある決定後教師データ生成用画像に対応付けられている移動体情報が複数ある場合、高さ計算部１１０は、決定後教師データ生成用画像に対応付けられた全ての移動体情報に付与されている差分画像に基づき、それぞれ、移動体情報に付与されている最小矩形の枠の上端および下端の情報を更新する。The height calculation unit 110 calculates the height of the ship on the post-determination teacher data generation image based on the difference image associated with the post-decision teacher data generation image. More specifically, the height calculation unit 110 determines the height of the ship on the post-determination teacher data generation image based on the difference image given to the moving body information associated with the post-determination teacher data generation image. Calculate the data. Specifically, the height calculation unit 110 calculates the maximum value and the minimum value of the y-coordinate of the white region determined by the difference calculation unit 109 to have a difference, so that the upper end and the lower end of the minimum rectangle indicating the ship are calculated. Calculate the y coordinate. Based on the calculated y-coordinate information, the height calculation unit 110 updates the information on the upper end and the lower end of the minimum rectangular frame calculated by the minimum rectangular calculation unit 107 and given to the moving body information.
The height calculation unit 110 outputs a post-determination teacher data generation image reflecting the updated minimum rectangular information to the teacher data generation unit 111.
When a plurality of images for generating teacher data after determination are output from the difference calculation unit 109, the height calculation unit 110 determines each ship on the image for generating teacher data after determination for each image for generating teacher data after determination. Calculate the height of.
When there is a plurality of mobile information associated with a certain post-decision teacher data generation image, the height calculation unit 110 is assigned to all the mobile information associated with the post-decision teacher data generation image. Based on the difference image, the information on the upper end and the lower end of the minimum rectangular frame attached to the moving body information is updated, respectively.

教師データ生成部１１１は、高さ計算部１１０から出力された、更新後の最小矩形の情報が反映された決定後教師データ生成用画像に基づき、当該決定後教師データの移動体情報に付与された最小矩形の情報を、一時記憶されている特定教師データ生成用画像の移動体情報に付与された最小矩形の情報と置き換える。教師データ生成部１１１は、決定後教師データ生成用画像に反映された更新後の最小矩形の情報を、背景画像生成部１０８が決定後教師データ生成用画像に決定した特定教師データ生成用画像の移動体情報に付与された最小矩形の情報と置き換える。
また、教師データ生成部１１１は、高さ計算部１１０から出力された、更新後の最小矩形の情報が反映された決定後教師データ生成用画像に基づき、教師データを生成する。
具体的には、教師データ生成部１１１は、決定後教師データ生成用画像と、高さ計算部１１０が更新した最小矩形の情報とを対応付けて教師データとする。このとき、教師データ生成部１１１は、最小矩形の情報に加えて、船舶の種別等、移動体情報に含まれる情報も、教師データに含めるようにする。教師データ生成部１１１が生成する教師データのフォーマットは、例えば、Ｐａｓｃａｌ ＶＯＣ（Ｖｉｓｕａｌ Ｏｂｊｅｃｔ Ｃｌａｓｓｅｓ）のようなｊｓｏｎ（ＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）（ＪａｖａＳｃｒｉｐｔは登録商標）形式等が想定される。なお、最小矩形の情報は、例えば、最小矩形の左上と右下の座標の情報を複数まとめた情報である。The teacher data generation unit 111 is added to the moving body information of the post-determination teacher data based on the post-determination teacher data generation image that reflects the updated minimum rectangular information output from the height calculation unit 110. The information of the minimum rectangle is replaced with the information of the minimum rectangle given to the moving body information of the image for generating specific teacher data that is temporarily stored. The teacher data generation unit 111 determines the updated minimum rectangular information reflected in the determined teacher data generation image as the post-determination teacher data generation image by the background image generation unit 108 of the specific teacher data generation image. Replace with the minimum rectangular information given to the moving object information.
Further, the teacher data generation unit 111 generates teacher data based on the determined post-decision teacher data generation image that reflects the updated minimum rectangular information output from the height calculation unit 110.
Specifically, the teacher data generation unit 111 associates the image for generating teacher data after determination with the information of the minimum rectangle updated by the height calculation unit 110 to obtain teacher data. At this time, the teacher data generation unit 111 includes not only the information of the minimum rectangle but also the information included in the moving body information such as the type of the ship in the teacher data. The format of the teacher data generated by the teacher data generation unit 111 is assumed to be, for example, a json (Javascript Object Notification) format (Javascript is a registered trademark) such as Pascal VOC (Visual Object Classes). The information of the minimum rectangle is, for example, information in which a plurality of coordinate information of the upper left and the lower right of the minimum rectangle are collected.

教師データ生成部１１１は、教師データとして、決定後教師データ生成用画像上に最小矩形を重畳表示させた画像を生成してもよい。具体的には、例えば、教師データ生成部１１１は、決定後教師データ生成用画像中の船舶の位置を矩形で囲った画像を、教師データとして生成してもよい。また、教師データ生成部１１１は、最小矩形の他に、当該最小矩形で表される船舶が発信している、当該船舶の自己の情報を、教師データに含めるようにしてもよい。船舶が発信している当該船舶の自己の情報とは、自船の進行方向、船名、速度、船種、船幅、船体の長さ、船舶識別番号、状態、または、喫水位置等の情報である。教師データ生成部１１１がこれらの情報を教師データに含めるようにすることで、例えば、船舶の検出だけでなく、種別の分類が可能な機械学習用データセットを生成することができ、更に詳細な画像認識を可能とすることができる。
また、教師データ生成部１１１は、決定後教師データ生成用画像上に最小矩形を重畳させるのではなく、例えば、差分画像の周囲のパスをベクトル情報として決定後教師データ生成用画像と対応付けた教師データを生成するようにしてもよい。The teacher data generation unit 111 may generate an image in which the minimum rectangle is superimposed and displayed on the image for generating teacher data after determination as teacher data. Specifically, for example, the teacher data generation unit 111 may generate an image in which the position of the ship in the image for generating teacher data after determination is surrounded by a rectangle as teacher data. Further, in addition to the minimum rectangle, the teacher data generation unit 111 may include the self-information of the ship represented by the minimum rectangle in the teacher data. The ship's own information transmitted by the ship is information such as the direction of travel of the ship, ship name, speed, ship type, beam width, hull length, ship identification number, condition, or draft position. Is. By including the teacher data generation unit 111 in the teacher data, for example, it is possible to generate a machine learning data set capable of not only detecting a ship but also classifying the types, which is more detailed. Image recognition can be enabled.
Further, the teacher data generation unit 111 does not superimpose the minimum rectangle on the image for generating teacher data after determination, but associates the path around the difference image with the image for generating teacher data after determination as vector information, for example. Teacher data may be generated.

教師データ生成部１１１は、生成した教師データを、教師データ出力部１１２に出力する。
なお、高さ計算部１１０から決定後教師データ生成用画像が複数出力される場合、教師データ生成部１１１は、決定後教師データ生成用画像毎に、一時記憶されている特定教師データ生成用画像との置換えを行い、決定後教師データ生成用画像毎に、教師データを生成する。
ある決定後教師データ生成用画像に対応付けられている移動体情報が複数ある場合、教師データ生成部１１１は、決定後教師データ生成用画像に対応付けられた全ての移動体情報に付与されている最小矩形の情報を、一時記憶されている特定教師データ生成用画像の移動体情報に付与された最小矩形の情報と置き換える。また、ある決定後教師データ生成用画像に対応付けられている移動体情報が複数ある場合、教師データ生成部１１１は、決定後教師データ生成用画像に対応付けられた各移動体情報の分だけ、移動情報に付与された更新後の最小矩形の情報が反映された決定後教師データ生成用画像に基づき、教師データを生成する。
教師データ出力部１１２は、教師データ生成部１１１が生成した教師データを出力する。The teacher data generation unit 111 outputs the generated teacher data to the teacher data output unit 112.
When a plurality of images for generating teacher data after determination are output from the height calculation unit 110, the teacher data generation unit 111 temporarily stores images for generating specific teacher data for each image for generating teacher data after determination. After the determination, the teacher data is generated for each image for generating the teacher data.
When there is a plurality of moving body information associated with a certain post-decision teacher data generation image, the teacher data generation unit 111 is added to all the moving body information associated with the post-decision teacher data generation image. The information of the minimum rectangle is replaced with the information of the minimum rectangle given to the moving body information of the image for generating specific teacher data that is temporarily stored. Further, when there is a plurality of moving body information associated with a certain post-decision teacher data generation image, the teacher data generation unit 111 performs only the amount of each moving body information associated with the post-decision teacher data generation image. , The teacher data is generated based on the post-determination teacher data generation image that reflects the updated minimum rectangular information given to the movement information.
The teacher data output unit 112 outputs the teacher data generated by the teacher data generation unit 111.

図５は、実施の形態１において、教師データ生成装置１００が、船舶の高さ情報を計算するための背景画像を生成し、実際に船舶の高さを計算するまでの処理のイメージを示す図である。
図５Ａに示すように、カメラ２００が撮影した画像中の船舶について、ＡＩＳから得られる移動体情報によれば、当該船舶の船体の長さの情報は得られるが、船舶の高さの情報は得られない。
そこで、教師データ生成装置１００において、背景画像生成部１０８が、マスクを設定したマスク設定画像を生成した上で決定後教師データ生成用画像および合成対象画像を複数枚足し合わせて平均することで、背景画像を生成する（図５Ｂ）。なお、図５Ｂでは、説明の簡単のため、背景画像を生成するもととなる画像を３フレームのみ図示しているが、実施の形態１では、背景画像生成部１０８は、背景が写っている合成対象画像が最低限５フレーム含まれるように、前後の特定教師データ生成用画像を順に検索する。
そして、差分計算部１０９が、決定後教師データ生成用画像と背景画像との差分を計算し、高さ計算部１１０が決定後教師データ生成用画像中の各船舶の高さを更新する（図５Ｃ）。FIG. 5 is a diagram showing an image of processing in the first embodiment until the teacher data generator 100 generates a background image for calculating the height information of the ship and actually calculates the height of the ship. Is.
As shown in FIG. 5A, with respect to the ship in the image taken by the camera 200, according to the moving body information obtained from the AIS, the information on the length of the hull of the ship can be obtained, but the information on the height of the ship is available. I can't get it.
Therefore, in the teacher data generation device 100, the background image generation unit 108 generates a mask setting image in which a mask is set, adds a plurality of images for generating teacher data and a plurality of images to be combined after determination, and averages them. Generate a background image (FIG. 5B). Note that, in FIG. 5B, for the sake of simplicity, only three frames are shown as the image from which the background image is generated, but in the first embodiment, the background image generation unit 108 shows the background. The images for generating specific teacher data before and after are searched in order so that the images to be combined are included at least 5 frames.
Then, the difference calculation unit 109 calculates the difference between the image for generating teacher data after determination and the background image, and the height calculation unit 110 updates the height of each ship in the image for generating teacher data after determination (FIG. 5C).

次に、実施の形態１に係る教師データ生成装置１００を備えるデータ収集装置１の動作について説明する。
図６Ａ，図６Ｂは、実施の形態１に係る教師データ生成装置１００を備えるデータ収集装置１の動作を説明するためのフローチャートである。
カメラ２００は、船舶が存在し得る海上を撮影し、撮影した教師データ生成用画像を記憶装置３００に記憶させる（ステップＳＴ６０１）。
なお、データ収集装置１において、カメラ２００は、所定のフレーム数の画像を撮影するまで、ステップＳＴ６０１の動作を行う。Next, the operation of the data collection device 1 including the teacher data generation device 100 according to the first embodiment will be described.
6A and 6B are flowcharts for explaining the operation of the data collection device 1 including the teacher data generation device 100 according to the first embodiment.
The camera 200 photographs the sea where a ship may exist, and stores the captured image for generating teacher data in the storage device 300 (step ST601).
In the data collection device 1, the camera 200 performs the operation of step ST601 until a predetermined number of frames are captured.

移動体情報受信機６００は、移動体情報受信アンテナ５００経由で、移動体情報を受信し、教師データ生成装置１００に出力する（ステップＳＴ６０２）。
移動体情報取得部１０１は、ステップＳＴ６０２にて移動体情報受信機６００から出力された移動体情報を取得する。そして、移動体情報取得部１０１は、移動体情報受信機６００から取得した移動体情報を、記憶部１０２に記憶させる（ステップＳＴ６０３）。
データ処理部１０３の補間部１０３１は、画像取得部１０４によって取得された、互いに異なる時刻で撮影された複数の教師データ生成用画像にそれぞれ対応する移動体情報が存在するよう、移動体情報取得部１０１が取得した移動体情報に対して時間補間を行い、新たに生成した移動体情報を、記憶部１０２に記憶させる（ステップＳＴ６０４）。
データ処理部１０３の間引き部１０３２は、カメラ較正装置４００から出力された、カメラ２００の内部パラメータおよび外部パラメータに基づき、地図上における、カメラ２００の撮影範囲を地図上で計算する。そして、間引き部１０３２は、移動体情報で示される船舶の存在位置が、計算した撮影範囲の外となる移動体情報を、後段の、教師データを生成するための処理の対象外とする間引きを行う（ステップＳＴ６０５）。The mobile information receiver 600 receives the mobile information via the mobile information receiving antenna 500 and outputs the mobile information to the teacher data generation device 100 (step ST602).
The mobile information acquisition unit 101 acquires the mobile information output from the mobile information receiver 600 in step ST602. Then, the moving body information acquisition unit 101 stores the moving body information acquired from the moving body information receiver 600 in the storage unit 102 (step ST603).
The interpolating unit 1031 of the data processing unit 103 is a moving body information acquisition unit so that there is moving body information corresponding to a plurality of teacher data generation images acquired by the image acquisition unit 104 at different times. Time interpolation is performed on the moving body information acquired by 101, and the newly generated moving body information is stored in the storage unit 102 (step ST604).
The thinning unit 1032 of the data processing unit 103 calculates the shooting range of the camera 200 on the map based on the internal parameters and the external parameters of the camera 200 output from the camera calibration device 400. Then, the thinning unit 1032 thins out the moving body information whose existence position of the ship indicated by the moving body information is outside the calculated photographing range, which is excluded from the processing for generating the teacher data in the subsequent stage. (Step ST605).

ステップＳＴ６０１にて、カメラ２００が所定のフレーム数の画像を撮影すると、ステップＳＴ６０６以降の処理に進む。 When the camera 200 captures a predetermined number of frames in step ST601, the process proceeds to step ST606 and subsequent steps.

画像取得部１０４は、特定教師データ生成用画像を取得する。そして、画像取得部１０４の撮影時刻取得部１０４１は、記憶装置３００から取得した特定教師データ生成用画像について、撮影時刻を取得する（ステップＳＴ６０６）。 The image acquisition unit 104 acquires an image for generating specific teacher data. Then, the shooting time acquisition unit 1041 of the image acquisition unit 104 acquires the shooting time of the specific teacher data generation image acquired from the storage device 300 (step ST606).

画像取得部１０４は、記憶部１０２を参照し、記憶部１０２から、特定教師データ生成用画像と対応する移動体情報を抽出する（ステップＳＴ６０７）。
画像取得部１０４は、抽出した移動体情報を、特定教師データ生成用画像と対応付けて、立方体領域設定部１０５に出力する。The image acquisition unit 104 refers to the storage unit 102, and extracts the moving body information corresponding to the image for generating the specific teacher data from the storage unit 102 (step ST607).
The image acquisition unit 104 outputs the extracted moving body information to the cube area setting unit 105 in association with the image for generating specific teacher data.

立方体領域設定部１０５は、ステップＳＴ６０７にて画像取得部１０４から出力された特定教師データ生成用画像に、当該特定教師データ生成用画像に対応付けられている移動体情報に基づき、移動体情報で示される船舶の位置を表わす立方体を設定する。具体的には、立方体領域設定部１０５は、移動体情報に基づき、船舶の幅、長さ、および、角度を特定し、当該船舶を囲む移動体包囲立方体の座標を設定する（ステップＳＴ６０８）。
立方体領域設定部１０５は、設定した立方体座標を、特定教師データ生成用画像の、対応する移動体情報に付与して、座標変換部１０６に出力する。The cube area setting unit 105 uses moving body information based on the moving body information associated with the specific teacher data generation image output from the image acquisition unit 104 in step ST607. Set a cube that represents the location of the indicated vessel. Specifically, the cube area setting unit 105 specifies the width, length, and angle of the ship based on the moving body information, and sets the coordinates of the moving body surrounding cube surrounding the ship (step ST608).
The cube area setting unit 105 adds the set cube coordinates to the corresponding mobile information of the image for generating specific teacher data, and outputs the coordinates to the coordinate conversion unit 106.

座標変換部１０６は、カメラ較正装置４００から出力される、カメラ２００の内部パラメータおよび外部パラメータを用いて、ステップＳＴ６０８にて立方体領域設定部１０５から出力された特定教師データ生成用画像に対応付けられている移動体情報に付与された立方体座標を、変換後座標に変換する（ステップＳＴ６０９）。
座標変換部１０６は、変換後座標を、特定教師データ生成用画像の、対応する移動体情報に付与して、最小矩形計算部１０７に出力する。The coordinate conversion unit 106 is associated with the specific teacher data generation image output from the cube area setting unit 105 in step ST608 using the internal parameters and external parameters of the camera 200 output from the camera calibration device 400. The cube coordinates given to the moving body information are converted into the converted coordinates (step ST609).
The coordinate conversion unit 106 adds the converted coordinates to the corresponding moving body information of the image for generating specific teacher data, and outputs the converted coordinates to the minimum rectangle calculation unit 107.

最小矩形計算部１０７は、ステップＳＴ６０９にて座標変換部１０６から出力された特定教師データ生成用画像に対応付けられている移動体情報について、当該移動体情報に付与された変換後座標に基づき、当該変換後座標全てを含む最小矩形を計算する（ステップＳＴ６１０）。
最小矩形計算部１０７は、計算した最小矩形の座標を、特定教師データ生成用画像の、対応する移動体情報に付与する。
最小矩形計算部１０７は、移動体情報に最小矩形の座標を付与した特定教師データ生成用画像を、時系列で、例えば、記憶部１０２、または、教師データ生成装置１００が内部に備える記憶領域に一時記憶させる。The minimum rectangle calculation unit 107 refers to the moving body information associated with the specific teacher data generation image output from the coordinate conversion unit 106 in step ST609, based on the converted coordinates given to the moving body information. The minimum rectangle including all the converted coordinates is calculated (step ST610).
The minimum rectangle calculation unit 107 adds the calculated coordinates of the minimum rectangle to the corresponding moving body information of the specific teacher data generation image.
The minimum rectangle calculation unit 107 stores the specific teacher data generation image in which the coordinates of the minimum rectangle are added to the moving body information in a time series, for example, in the storage unit 102 or the storage area internally provided by the teacher data generation device 100. Temporarily memorize.

ステップＳＴ６０６〜ステップＳＴ６１０の動作は、特定教師データ生成用画像毎に行われる。また、１フレームの特定教師データ生成用画像に、複数の移動体情報が対応付けられている場合、対応付けられた移動体情報の分だけ、ステップＳＴ６０８〜ステップＳＴ６１０の動作が繰り返される。 The operations of steps ST606 to ST610 are performed for each image for generating specific teacher data. Further, when a plurality of moving body information is associated with the image for generating specific teacher data in one frame, the operations of steps ST608 to ST610 are repeated by the amount of the associated moving body information.

背景画像生成部１０８のマスク設定部１０８１は、ステップＳＴ６１０にて一時記憶された特定教師データ生成用画像について、それぞれ、当該特定教師データ生成用画像に対応付けられている移動体情報に基づき、特定教師データ生成用画像上にマスクを設定したマスク設定画像を生成する（ステップＳＴ６１１）。 The mask setting unit 1081 of the background image generation unit 108 specifies the specific teacher data generation image temporarily stored in step ST610 based on the moving body information associated with the specific teacher data generation image. A mask setting image in which a mask is set on the teacher data generation image is generated (step ST611).

そして、背景画像生成部１０８は、一時記憶されている特定教師データ生成用画像から、順に決定後教師データ生成用画像を決定し、当該決定後教師データ生成用画像の合成背景画像を生成する（ステップＳＴ６１２）。
背景画像生成部１０８は、生成した合成背景画像を、決定後教師データ生成用画像と対応付けて、差分計算部１０９に出力する。Then, the background image generation unit 108 determines the image for generating the teacher data after the determination in order from the temporarily stored image for generating the specific teacher data, and generates a composite background image of the image for generating the teacher data after the determination ( Step ST612).
The background image generation unit 108 outputs the generated composite background image to the difference calculation unit 109 in association with the image for generating teacher data after determination.

差分計算部１０９は、ステップＳＴ６１２にて背景画像生成部１０８から出力された決定後教師データ生成用画像と、当該決定後教師データ生成用画像に対応付けられている合成背景画像との差分を計算し、閾値以上の変化がある領域を白、閾値以上の変化がない領域を黒とした差分画像を生成する（ステップＳＴ６１３）。
差分計算部１０９は、生成した差分画像を、決定後教師データ生成用画像と対応付けて、高さ計算部１１０に出力する。The difference calculation unit 109 calculates the difference between the post-determination teacher data generation image output from the background image generation unit 108 in step ST612 and the composite background image associated with the post-determination teacher data generation image. Then, a difference image is generated in which the region having a change equal to or higher than the threshold value is white and the region having no change equal to or higher than the threshold value is black (step ST613).
The difference calculation unit 109 associates the generated difference image with the image for generating teacher data after determination, and outputs the generated difference image to the height calculation unit 110.

高さ計算部１１０は、決定後教師データ生成用画像に対応付けられている差分画像に基づき、当該決定後教師データ生成用画像上の船舶の高さを計算する（ステップＳＴ６１４）。
高さ計算部１１０は、更新後の最小矩形の情報が反映された決定後教師用データ生成用画像を、教師データ生成部１１１に出力する。The height calculation unit 110 calculates the height of the ship on the post-determination teacher data generation image based on the difference image associated with the post-decision teacher data generation image (step ST614).
The height calculation unit 110 outputs a post-determination teacher data generation image reflecting the updated minimum rectangular information to the teacher data generation unit 111.

教師データ生成部１１１は、ステップＳＴ６１４にて高さ計算部１１０から出力された、更新後の最小矩形の情報が反映された決定後教師データ生成用画像に基づき、教師データを生成する（ステップＳＴ６１５）。教師データ生成部１１１は、生成した教師データを、教師データ出力部１１２に出力する。
なお、このとき、教師データ生成部１１１は、ステップＳＴ６１４にて高さ計算部１１０から出力された、更新後の最小矩形の情報が反映された決定後教師データ生成用画像に基づき、当該決定後教師データの移動体情報に付与された最小矩形の情報を、一時記憶されている特定教師データ生成用画像の移動体情報に付与された最小矩形の情報と置き換える。The teacher data generation unit 111 generates teacher data based on the determined teacher data generation image that reflects the updated minimum rectangular information output from the height calculation unit 110 in step ST614 (step ST615). ). The teacher data generation unit 111 outputs the generated teacher data to the teacher data output unit 112.
At this time, the teacher data generation unit 111 is based on the post-determination teacher data generation image that reflects the updated minimum rectangular information output from the height calculation unit 110 in step ST614. The minimum rectangular information given to the moving body information of the teacher data is replaced with the minimum rectangular information given to the moving body information of the temporarily stored specific teacher data generation image.

教師データ出力部１１２は、ステップＳＴ６１５にて教師データ生成部１１１が生成した教師データを出力する（ステップＳＴ６１６）。 The teacher data output unit 112 outputs the teacher data generated by the teacher data generation unit 111 in step ST615 (step ST616).

ステップＳＴ６１２〜ステップＳＴ６１６の動作は、決定後教師データ生成用画像毎に行われる。また、１フレームの決定後教師データ生成用画像に、複数の移動体情報が対応付けられている場合、対応付けられた移動体情報の分だけ、ステップＳＴ６１２〜ステップＳＴ６１６の動作が繰り返される。
教師データ出力部１１２が教師データを出力すると、制御部（図示省略）が、記憶装置３００に記憶されている画像、および、一時記憶させている教師データ生成用画像等を削除する。制御部は、画像および教師データ生成用画像等に、処理済フラグを付与する等してもよい。The operations of steps ST612 to ST616 are performed for each image for generating teacher data after the determination. Further, when a plurality of moving body information is associated with the image for generating teacher data after the determination of one frame, the operations of steps ST612 to ST616 are repeated by the amount of the associated moving body information.
When the teacher data output unit 112 outputs the teacher data, the control unit (not shown) deletes the image stored in the storage device 300, the temporarily stored image for generating teacher data, and the like. The control unit may add a processed flag to the image, the image for generating teacher data, and the like.

なお、実施の形態１では、上述のように、教師データ生成装置１００は、教師データ生成用画像（決定後教師データ生成用画像）毎に、当該教師データ生成用画像上の船舶の高さを計算する都度、教師データを生成し、出力するようにしているが、これは一例に過ぎない。
例えば、教師データ生成装置１００は、全ての教師データ生成用画像について、当該全ての教師データ生成用画像上の船舶の高さを計算して教師データを生成し、生成した教師データをまとめて出力するようにしてもよい。In the first embodiment, as described above, the teacher data generation device 100 determines the height of the ship on the teacher data generation image for each teacher data generation image (image for teacher data generation after determination). Teacher data is generated and output each time it is calculated, but this is just an example.
For example, the teacher data generation device 100 calculates the height of the ship on all the teacher data generation images for all the teacher data generation images, generates teacher data, and collectively outputs the generated teacher data. You may try to do it.

図７Ａ，図７Ｂは、実施の形態１に係る教師データ生成装置１００を備えるデータ収集装置１のハードウェア構成の一例を示す図である。
実施の形態１において、移動体情報取得部１０１と、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２の機能は、処理回路７０１により実現される。すなわち、データ収集装置１は、移動体を検出するための教師データを生成する制御を行うための処理回路７０１を備える。
処理回路７０１は、図７Ａに示すように専用のハードウェアであっても、図７Ｂに示すようにメモリ７０７に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０６であってもよい。7A and 7B are diagrams showing an example of the hardware configuration of the data collection device 1 including the teacher data generation device 100 according to the first embodiment.
In the first embodiment, the moving body information acquisition unit 101, the data processing unit 103, the image acquisition unit 104, the cubic area setting unit 105, the coordinate conversion unit 106, the minimum rectangular calculation unit 107, and the background image generation unit The functions of 108, the difference calculation unit 109, the height calculation unit 110, the teacher data generation unit 111, and the teacher data output unit 112 are realized by the processing circuit 701. That is, the data collection device 1 includes a processing circuit 701 for controlling the generation of teacher data for detecting a moving body.
The processing circuit 701 may be dedicated hardware as shown in FIG. 7A, or may be a CPU (Central Processing Unit) 706 that executes a program stored in the memory 707 as shown in FIG. 7B.

処理回路７０１が専用のハードウェアである場合、処理回路７０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。 When the processing circuit 701 is dedicated hardware, the processing circuit 701 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable). Gate Array) or a combination of these is applicable.

処理回路７０１がＣＰＵ７０６の場合、移動体情報取得部１０１と、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、移動体情報取得部１０１と、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）７０２、メモリ７０７等に記憶されたプログラムを実行するＣＰＵ７０６、またはシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ７０２、またはメモリ７０７等に記憶されたプログラムは、移動体情報取得部１０１と、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ７０７とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。 When the processing circuit 701 is the CPU 706, the moving body information acquisition unit 101, the data processing unit 103, the image acquisition unit 104, the cubic area setting unit 105, the coordinate conversion unit 106, the minimum rectangular calculation unit 107, and the background image. The functions of the generation unit 108, the difference calculation unit 109, the height calculation unit 110, the teacher data generation unit 111, and the teacher data output unit 112 are realized by software, firmware, or a combination of software and firmware. .. That is, the difference between the moving body information acquisition unit 101, the data processing unit 103, the image acquisition unit 104, the cubic area setting unit 105, the coordinate conversion unit 106, the minimum rectangular calculation unit 107, and the background image generation unit 108. The calculation unit 109, the height calculation unit 110, the teacher data generation unit 111, and the teacher data output unit 112 are a CPU 706 that executes a program stored in an HDD (Hard Disk Drive) 702, a memory 707, or the like, or a system LSI. It is realized by a processing circuit such as (Large-Scale Integration). The program stored in the HDD 702, the memory 707, or the like includes a moving body information acquisition unit 101, a data processing unit 103, an image acquisition unit 104, a cubic area setting unit 105, a coordinate conversion unit 106, and a minimum rectangle. It also causes a computer to execute the procedures and methods of the calculation unit 107, the background image generation unit 108, the difference calculation unit 109, the height calculation unit 110, the teacher data generation unit 111, and the teacher data output unit 112. I can say. Here, the memory 707 is, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Online Memory), an EPROM (Electrically Memory), etc. This includes sexual or volatile semiconductor memories, magnetic disks, flexible disks, optical disks, compact disks, mini disks, DVDs (Digital Versailles Disc), and the like.

なお、移動体情報取得部１０１と、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、移動体情報取得部１０１については専用のハードウェアとしての処理回路７０１でその機能を実現し、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２については処理回路がメモリ７０７に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、記憶装置３００および記憶部１０２は、メモリ７０７を使用する。なお、これは一例であって、記憶装置３００および記憶部１０２は、ＨＤＤ７０２、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、または、ＤＶＤ等によって構成されるものであってもよい。
また、データ収集装置１は、移動体情報発信装置等との通信を行う、入力インタフェース装置７０３、および、出力インタフェース装置７０４を有する。
また、データ収集装置１は、移動体情報受信アンテナ５００、移動体情報受信機６００、カメラ較正装置４００、および、カメラ２００等の撮影装置７０５を備える。The difference between the moving body information acquisition unit 101, the data processing unit 103, the image acquisition unit 104, the cubic area setting unit 105, the coordinate conversion unit 106, the minimum rectangular calculation unit 107, and the background image generation unit 108. Regarding the functions of the calculation unit 109, the height calculation unit 110, the teacher data generation unit 111, and the teacher data output unit 112, some of them are realized by dedicated hardware, and some of them are realized by software or firmware. You may. For example, the moving body information acquisition unit 101 realizes its function by a processing circuit 701 as dedicated hardware, and includes a data processing unit 103, an image acquisition unit 104, a cubic area setting unit 105, and a coordinate conversion unit 106. The processing circuits of the minimum rectangular calculation unit 107, the background image generation unit 108, the difference calculation unit 109, the height calculation unit 110, the teacher data generation unit 111, and the teacher data output unit 112 are stored in the memory 707. It is possible to realize the function by reading and executing the program.
Further, the storage device 300 and the storage unit 102 use the memory 707. This is an example, and the storage device 300 and the storage unit 102 may be configured by HDD 702, SSD (Solid State Drive), DVD, or the like.
Further, the data collecting device 1 includes an input interface device 703 and an output interface device 704 that communicate with a mobile information transmitting device and the like.
Further, the data collection device 1 includes a moving body information receiving antenna 500, a moving body information receiver 600, a camera calibrating device 400, and a photographing device 705 such as a camera 200.

以上のように、実施の形態１によれば、教師データ生成装置１００は、移動体が撮影された教師データ生成用画像を取得する画像取得部１０４と、移動体の属性情報と当該移動体の位置情報とを含む移動体情報を発信する移動体情報発信装置から発信された、当該移動体に関する移動体情報を取得する移動体情報取得部１０１と、画像取得部１０４が取得した教師データ生成用画像と、移動体情報取得部１０１が取得した移動体情報とに基づき、教師データを生成する教師データ生成部１１１とを備えるように構成した。そのため、従来のように、事前に設計された画像認識の処理精度の影響を受けることを低減し、信頼性の高い教師データを生成することができる。
また、既存の、ＡＩＳ等の移動体情報発信装置から発信される情報をもとに教師データを生成するため、従来のような重い画像処理を必要とせず、教師データ生成の省力化が可能となる。As described above, according to the first embodiment, the teacher data generation device 100 includes an image acquisition unit 104 that acquires a teacher data generation image taken by the moving body, attribute information of the moving body, and the moving body. A mobile information acquisition unit 101 that acquires mobile information related to the mobile, and a teacher data generation unit that is acquired by the image acquisition unit 104, that are transmitted from a mobile information transmission device that transmits mobile information including position information. It is configured to include a teacher data generation unit 111 that generates teacher data based on the image and the mobile body information acquired by the mobile information acquisition unit 101. Therefore, it is possible to reduce the influence of the processing accuracy of pre-designed image recognition as in the conventional case and generate highly reliable teacher data.
In addition, since teacher data is generated based on the information transmitted from the existing mobile information transmission device such as AIS, it is possible to save labor in generating teacher data without requiring heavy image processing as in the past. Become.

また、教師データ生成装置１００は、画像取得部１０４によって取得された、互いに異なる時刻で撮影された複数の教師データ生成用画像にそれぞれ対応する移動体情報が存在するよう、移動体情報取得部１０１が取得した移動体情報の時間補間を行う補間部１０３１を備え、教師データ生成部１１１は、補間部１０３１が時間補間を行った後の移動体情報に基づき、教師データを生成するようにした。そのため、教師データ生成用画像の取得タイミングと、移動体情報の取得タイミングが異なる場合であっても、教師データ生成用画像と対応する移動体情報を生成し、当該教師データ生成用画像と当該移動体情報に基づいて教師データを生成することができる。
また、教師データ生成装置１００は、移動体情報取得部１０１が取得した移動体情報について、当該移動体情報で示される移動体の存在位置が、教師データ生成用画像の撮影範囲外となる場合、当該撮影範囲外となる当該移動体情報を、教師データ生成部１１１が教師データを生成するための移動体情報から除外する間引き部１０３２を備えるようにした。そのため、不要なデータを間引き、教師データ生成のための処理を軽くすることができる。
また、移動体が船舶であり、移動体情報発信装置がＡＩＳである場合、教師データ生成装置１００は、教師データ生成用画像（決定後教師データ生成用画像）毎に、当該教師データ生成用画像上に船舶が存在しない場合の合成背景画像を生成する背景画像生成部１０８と、教師データ生成用画像と、当該教師データ生成用画像に対応付けられている合成背景画像との差分を計算し、差分画像を生成する差分計算部１０９と、教師データ生成用画像に対応付けられている差分画像に基づき、教師データ生成用画像上の船舶の高さを計算する高さ計算部１１０を備え、教師データ生成部１１１は、高さ計算部１１０が計算した船舶の高さの情報を含む教師データを生成するようにした。そのため、ＡＩＳから船舶の高さの情報が得られなくても、当該船舶の高さの情報を設定できる。Further, the teacher data generation device 100 has a moving body information acquisition unit 101 so that there is moving body information corresponding to a plurality of teacher data generation images acquired by the image acquisition unit 104 at different times. The teacher data generation unit 111 is provided with an interpolation unit 1031 that performs time interpolation of the moving body information acquired by the above, and the teacher data generation unit 111 generates teacher data based on the moving body information after the interpolation unit 1031 performs time interpolation. Therefore, even if the acquisition timing of the teacher data generation image and the acquisition timing of the moving body information are different, the moving body information corresponding to the teacher data generation image is generated, and the teacher data generation image and the moving body information are generated. Teacher data can be generated based on body information.
Further, in the teacher data generation device 100, when the moving body information acquired by the moving body information acquisition unit 101 is outside the shooting range of the teacher data generation image, the position of the moving body indicated by the moving body information is out of the shooting range. A thinning unit 1032 is provided so that the teacher data generation unit 111 excludes the moving body information outside the shooting range from the moving body information for generating the teacher data. Therefore, unnecessary data can be thinned out and the process for generating teacher data can be lightened.
Further, when the moving body is a ship and the moving body information transmitting device is AIS, the teacher data generation device 100 performs the teacher data generation image for each teacher data generation image (after determination teacher data generation image). The difference between the background image generation unit 108 that generates a composite background image when there is no ship on the top, the teacher data generation image, and the composite background image associated with the teacher data generation image is calculated. A teacher is provided with a difference calculation unit 109 that generates a difference image and a height calculation unit 110 that calculates the height of a ship on the teacher data generation image based on the difference image associated with the teacher data generation image. The data generation unit 111 generates teacher data including information on the height of the ship calculated by the height calculation unit 110. Therefore, even if the height information of the ship cannot be obtained from the AIS, the height information of the ship can be set.

なお、以上の実施の形態１では、移動体情報発信装置をＡＩＳとし、ＡＩＳから受信する情報からでは、船舶の高さの情報は得られないため、教師データ生成装置１００にて船舶の高さを計算し、教師データに反映するようにした。しかし、これに限らず、移動体情報発信装置から、教師データの生成に必要な情報を過不足なく得られる場合、教師データ生成装置１００は、移動体の高さ等、移動体に関する情報を計算する必要はない。この場合、教師データ生成装置１００において、最小矩形計算部１０７は、移動体の高さに応じた最小矩形を設定するようにすればよい。また、この場合、教師データ生成装置１００は、背景画像生成部１０８、差分計算部１０９、および、高さ計算部１１０を備えない構成とすることができる。 In the first embodiment described above, the moving body information transmitting device is set to AIS, and the height of the ship cannot be obtained from the information received from the AIS. Therefore, the height of the ship is obtained by the teacher data generation device 100. Was calculated and reflected in the teacher data. However, not limited to this, when the information necessary for generating the teacher data can be obtained from the mobile information transmitting device without excess or deficiency, the teacher data generating device 100 calculates information about the moving body such as the height of the moving body. do not have to. In this case, in the teacher data generation device 100, the minimum rectangle calculation unit 107 may set the minimum rectangle according to the height of the moving body. Further, in this case, the teacher data generation device 100 may be configured not to include the background image generation unit 108, the difference calculation unit 109, and the height calculation unit 110.

また、以上の実施の形態１では、教師データ生成装置１００は、データ処理部１０３（補間部１０３１および間引き部１０３２）を備えるものとしたが、補間部１０３１および間引き部１０３２は必須ではない。
例えば、カメラ２００が教師データ生成用画像を撮影する時間幅と、移動体情報発信装置が移動体情報を発信する時間幅が同じ場合等、移動体情報を補間する必要がなければ、教師データ生成装置１００は、補間部１０３１を備えない構成としてもよい。
また、例えば、移動体情報発信装置が移動体情報を発信する範囲と、カメラ２００が教師データ生成用画像を撮影する撮影範囲とが同じ場合等、移動体情報を間引く必要がなければ、教師データ生成装置１００は、間引き部１０３２を備えない構成としてもよい。Further, in the above-described first embodiment, the teacher data generation device 100 is provided with the data processing unit 103 (interpolation unit 1031 and thinning unit 1032), but the interpolation unit 1031 and the thinning unit 1032 are not essential.
For example, if the time width for the camera 200 to capture the image for generating teacher data and the time width for the mobile information transmitting device to transmit the moving body information are the same, and there is no need to interpolate the moving body information, the teacher data is generated. The device 100 may be configured not to include the interpolation unit 1031.
Further, if it is not necessary to thin out the mobile information, for example, when the range in which the mobile information transmitting device transmits the mobile information and the shooting range in which the camera 200 captures the image for generating teacher data are the same, the teacher data The generation device 100 may be configured not to include the thinning unit 1032.

また、以上の実施の形態１では、教師データ生成装置１００は、教師データ出力部１１２を備えるものとしたが、教師データ出力部１１２は必須ではない。
例えば、教師データ生成部１１１が、生成した教師データを、教師データ生成装置１００に記憶させておくようにする場合、教師データ生成装置１００は、教師データ出力部１１２を備えない構成としてもよい。Further, in the above-described first embodiment, the teacher data generation device 100 is provided with the teacher data output unit 112, but the teacher data output unit 112 is not essential.
For example, when the teacher data generation unit 111 stores the generated teacher data in the teacher data generation device 100, the teacher data generation device 100 may not include the teacher data output unit 112.

また、以上の実施の形態１では、カメラ２００、記憶装置３００、および、カメラ較正装置４００は、データ収集装置１に備えられるものとしたが、これに限らない。カメラ２００、記憶装置３００、および、カメラ較正装置４００は、データ収集装置１の外部の、データ収集装置１からアクセスが可能な場所に備えられるようになっていてもよい。
カメラ２００がデータ収集装置１の外部に備えられる場合、カメラ２００が移動体を撮影可能な場所に設置されるようになっていればよく、データ収集装置１が、移動体を撮影可能な場所に設置される必要はない。
例えば、図８に示すように、データ収集装置１と、カメラ２００と、記憶装置３００と、カメラ較正装置４００とがネットワークで接続されたデータ収集システムを構成するようにしてもよい。なお、図８に示すようなデータ収集システムにおいても、カメラ２００と記憶装置３００を一体型としてもよいし、当該一体型のカメラ２００にカメラ較正装置４００がさらに含まれるようにしてもよい。Further, in the above-described first embodiment, the camera 200, the storage device 300, and the camera calibration device 400 are provided in the data collection device 1, but the present invention is not limited to this. The camera 200, the storage device 300, and the camera calibration device 400 may be provided in a place accessible from the data collection device 1 outside the data collection device 1.
When the camera 200 is provided outside the data collection device 1, it is sufficient that the camera 200 is installed in a place where the moving body can be photographed, and the data collection device 1 is located in a place where the moving body can be photographed. It does not need to be installed.
For example, as shown in FIG. 8, a data collection system may be configured in which the data collection device 1, the camera 200, the storage device 300, and the camera calibration device 400 are connected by a network. In the data collection system as shown in FIG. 8, the camera 200 and the storage device 300 may be integrated, or the integrated camera 200 may further include the camera calibration device 400.

また、以上の実施の形態１では、移動体は、船舶であるものとしたが、これは一例に過ぎない。例えば、移動体は、車であってもよい。また、例えば、移動体は、自己位置等の情報を発信可能なデバイスを携帯している人、または、自己位置等の情報を発信可能なデバイスを装着させられている動物であってもよい。 Further, in the above-described first embodiment, the moving body is assumed to be a ship, but this is only an example. For example, the moving body may be a car. Further, for example, the moving body may be a person carrying a device capable of transmitting information such as self-position, or an animal equipped with a device capable of transmitting information such as self-position.

また、以上の実施の形態１では、カメラ２００は、可視光カメラを前提とするが、これに限らず、カメラ２００は、ＩＲカメラ等としてもよい。カメラ２００をＩＲカメラとすることで、夜間でも船舶の観測が可能となり、例えば、２４時間分の撮影画像を用いて教師データを生成することができる。 Further, in the above-described first embodiment, the camera 200 is premised on a visible light camera, but the camera 200 is not limited to this, and the camera 200 may be an IR camera or the like. By using the camera 200 as an IR camera, it is possible to observe a ship even at night, and for example, teacher data can be generated using images taken for 24 hours.

また、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。 Further, in the present invention, within the scope of the invention, it is possible to modify any component of the embodiment or omit any component of the embodiment.

この発明に係る教師データ生成装置は、画像処理に依存することなく、信頼性の高い教師データを生成することができるように構成したため、画像中の移動体の位置を検出するための教師データを生成する教師データ生成装置に適用することができる。 Since the teacher data generation device according to the present invention is configured to be able to generate highly reliable teacher data without depending on image processing, teacher data for detecting the position of a moving object in an image can be generated. It can be applied to the teacher data generator to be generated.

１ データ収集装置、１００ 教師データ生成装置、１０１ 移動体情報取得部、１０２ 記憶部、１０３ データ処理部、１０３１ 補間部、１０３２ 間引き部、１０４ 画像取得部、１０４１ 撮影時刻取得部、１０５ 立方体領域設定部、１０６ 座標変換部、１０７ 最小矩形計算部、１０８ 背景画像生成部、１０８１ マスク設定部、１０９ 差分計算部、１１０ 高さ計算部、１１１ 教師データ生成部、１１２ 教師データ出力部、２００ カメラ、３００ 記憶装置、４００ カメラ較正装置、５００ 移動体情報受信アンテナ、６００ 移動体情報受信機、７０１ 処理回路、７０２ ＨＤＤ、７０３ 入力インタフェース装置、７０４ 出力インタフェース装置、７０５ 撮影装置、７０６ ＣＰＵ、７０７ メモリ。 1 data acquisition device, 100 teacher data generator, 101 mobile information acquisition unit, 102 storage unit, 103 data processing unit, 1031 interpolation unit, 1032 thinning unit, 104 image acquisition unit, 1041 shooting time acquisition unit, 105 cubic area setting Unit, 106 Coordinate conversion unit, 107 Minimum rectangle calculation unit, 108 Background image generation unit, 1081 Mask setting unit, 109 Difference calculation unit, 110 Height calculation unit, 111 Teacher data generation unit, 112 Teacher data output unit, 200 Cameras, 300 storage device, 400 camera calibrator, 500 mobile information receiver antenna, 600 mobile information receiver, 701 processing circuit, 702 HDD, 703 input interface device, 704 output interface device, 705 imaging device, 706 CPU, 707 memory.

Claims (7)

判定対象画像中の移動体の位置を検出するための機械学習モデルを構築する際に使用される教師データを生成する、教師データ生成装置であって、
前記移動体が撮影された教師データ生成用画像を取得する画像取得部と、
前記移動体の属性情報と当該移動体の位置情報とを含む移動体情報を発信する移動体情報発信装置から発信された、当該移動体に関する前記移動体情報を取得する移動体情報取得部と、
前記画像取得部が取得した前記教師データ生成用画像と、前記移動体情報取得部が取得した前記移動体情報に含まれる、前記移動体の前記属性情報及び前記移動体の前記位置情報の両情報とに基づき、前記教師データを生成する教師データ生成部
とを備えた教師データ生成装置。 A teacher data generator that generates teacher data used when constructing a machine learning model for detecting the position of a moving object in a judgment target image.
An image acquisition unit that acquires an image for generating teacher data in which the moving body is photographed, and an image acquisition unit.
A mobile information acquisition unit that acquires the mobile information related to the mobile, which is transmitted from a mobile information transmitting device that transmits the mobile information including the attribute information of the mobile and the position information of the mobile.
Both the attribute information of the moving body and the position information of the moving body included in the teacher data generation image acquired by the image acquisition unit and the moving body information acquired by the moving body information acquisition unit. A teacher data generation device including a teacher data generation unit that generates the teacher data based on the above. 前記画像取得部によって取得された、互いに異なる時刻で撮影された複数の前記教師データ生成用画像にそれぞれ対応する前記移動体情報が存在するよう、前記移動体情報取得部が取得した前記移動体情報の時間補間を行う補間部を備え、
前記教師データ生成部は、前記補間部が前記時間補間を行った後の前記移動体情報に基づき、前記教師データを生成する
ことを特徴とする請求項１記載の教師データ生成装置。 The mobile information acquired by the mobile information acquisition unit so that the mobile information corresponding to each of the plurality of teacher data generation images acquired by the image acquisition unit at different times exists. Equipped with an interpolation section that performs time interpolation of
The teacher data generation device according to claim 1, wherein the teacher data generation unit generates the teacher data based on the moving body information after the interpolation unit performs the time interpolation. 前記移動体情報取得部が取得した前記移動体情報について、当該移動体情報で示される移動体の存在位置が、前記教師データ生成用画像の撮影範囲外となる場合、当該撮影範囲外となる当該移動体情報を、前記教師データ生成部が前記教師データを生成するための前記移動体情報から除外する間引き部を備えた
ことを特徴とする請求項１記載の教師データ生成装置。 Regarding the moving body information acquired by the moving body information acquisition unit, when the existing position of the moving body indicated by the moving body information is outside the shooting range of the teacher data generation image, the moving body information is out of the shooting range. The teacher data generation device according to claim 1, wherein the teacher data generation unit includes a thinning unit for excluding the mobile information from the mobile information for generating the teacher data. 前記画像取得部が取得した前記教師データ生成用画像毎に、当該教師データ生成用画像に対応する前記移動体情報に基づき、当該移動体情報で示される移動体の位置を表わす立方体の座標を、地球中心座標系にて設定する立方体領域設定部と、
前記立方体領域設定部が設定した地球中心座標系の前記立方体の座標を、前記教師データ生成用画像上の座標系に変換し、変換後座標を生成する座標変換部と、
前記座標変換部が生成した前記変換後座標に基づき、前記教師データ生成用画像上で、前記変換後座標を含む最小矩形を計算する最小矩形計算部を備え、
前記教師データ生成部は、
前記最小矩形計算部が計算した最小矩形の情報を含む前記教師データを生成する
ことを特徴とする請求項１記載の教師データ生成装置。 For each of the teacher data generation images acquired by the image acquisition unit, based on the moving body information corresponding to the teacher data generation image, the coordinates of the cube representing the position of the moving body indicated by the moving body information are set. Cube area setting unit set in the global coordinate system and
A coordinate conversion unit that converts the coordinates of the cube in the earth center coordinate system set by the cube area setting unit into a coordinate system on the image for generating teacher data and generates coordinates after conversion.
A minimum rectangle calculation unit for calculating the minimum rectangle including the converted coordinates on the teacher data generation image based on the converted coordinates generated by the coordinate conversion unit is provided.
The teacher data generation unit
The teacher data generation device according to claim 1, wherein the teacher data including the information of the minimum rectangle calculated by the minimum rectangle calculation unit is generated. 前記移動体は船舶であり、前記移動体情報発信装置は船舶自動識別装置であって、
前記教師データ生成用画像毎に、当該教師データ生成用画像上に前記船舶が存在しない場合の合成背景画像を生成する背景画像生成部と、
前記教師データ生成用画像と、当該教師データ生成用画像に対応付けられている前記合成背景画像との差分を計算し、差分画像を生成する差分計算部と、
前記教師データ生成用画像に対応付けられている前記差分画像に基づき、前記教師データ生成用画像上の前記船舶の高さを計算する高さ計算部を備え、
前記教師データ生成部は、
前記高さ計算部が計算した前記船舶の高さの情報を含む前記教師データを生成する
ことを特徴とする請求項１記載の教師データ生成装置。 The moving body is a ship, and the moving body information transmitting device is a ship automatic identification system.
For each of the teacher data generation images, a background image generation unit that generates a composite background image when the ship does not exist on the teacher data generation image, and a background image generation unit.
A difference calculation unit that calculates the difference between the teacher data generation image and the composite background image associated with the teacher data generation image and generates a difference image.
A height calculation unit for calculating the height of the ship on the teacher data generation image based on the difference image associated with the teacher data generation image is provided.
The teacher data generation unit
The teacher data generation device according to claim 1, wherein the teacher data including information on the height of the ship calculated by the height calculation unit is generated. 判定対象画像中の移動体の位置を検出するための機械学習モデルを構築する際に使用される教師データを生成する、教師データ生成方法であって、
画像取得部が、前記移動体が撮影された教師データ生成用画像を取得するステップと、
移動体情報取得部が、前記移動体の属性情報と当該移動体の位置情報とを含む移動体情報を発信する移動体情報発信装置から発信された、当該移動体に関する前記移動体情報を取得するステップと、
教師データ生成部が、前記画像取得部が取得した前記教師データ生成用画像と、前記移動体情報取得部が取得した前記移動体情報含まれる、前記移動体の前記属性情報及び前記移動体の前記位置情報の両情報とに基づき、前記教師データを生成するステップ
とを備えた教師データ生成方法。 It is a teacher data generation method that generates teacher data used when constructing a machine learning model for detecting the position of a moving object in a judgment target image.
A step in which the image acquisition unit acquires an image for generating teacher data in which the moving body is photographed, and
The mobile information acquisition unit acquires the mobile information related to the mobile, which is transmitted from the mobile information transmitting device that transmits the mobile information including the attribute information of the mobile and the position information of the mobile. Steps and
The teacher data generation unit includes the teacher data generation image acquired by the image acquisition unit, the moving body information acquired by the moving body information acquisition unit , the attribute information of the moving body, and the moving body. A teacher data generation method including a step of generating the teacher data based on both position information. 判定対象画像中の移動体の位置を検出するための機械学習モデルを構築する際に使用される教師データを生成する、教師データ生成システムであって、
前記移動体が撮影された教師データ生成用画像を取得する画像取得部と、
前記移動体の属性情報と当該移動体の位置情報とを含む移動体情報を発信する移動体情報発信装置から発信された、当該移動体に関する前記移動体情報を取得する移動体情報取得部と、
前記画像取得部が取得した前記教師データ生成用画像と、前記移動体情報取得部が取得した前記移動体情報含まれる、前記移動体の前記属性情報及び前記移動体の前記位置情報の両情報とに基づき、前記教師データを生成する教師データ生成部とを備えた教師データ生成装置と、
前記移動体を撮影する撮影装置とを有する教師データ生成システム。 A teacher data generation system that generates teacher data used when constructing a machine learning model for detecting the position of a moving object in a judgment target image.
An image acquisition unit that acquires an image for generating teacher data in which the moving body is photographed, and an image acquisition unit.
A mobile information acquisition unit that acquires the mobile information related to the mobile, which is transmitted from a mobile information transmitting device that transmits the mobile information including the attribute information of the mobile and the position information of the mobile.
Both the teacher data generation image acquired by the image acquisition unit and the attribute information of the moving body and the position information of the moving body included in the moving body information acquired by the moving body information acquisition unit. A teacher data generation device including a teacher data generation unit that generates the teacher data based on the above.
A teacher data generation system including a photographing device for photographing the moving object.
JP2020540899A 2018-09-04 2018-09-04 Teacher data generator, teacher data generation method, and teacher data generation system Active JP6869440B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/032756 WO2020049634A1 (en) 2018-09-04 2018-09-04 Teacher data generation device, teacher data generation method, and teacher data generation system

Publications (2)

Publication Number Publication Date
JPWO2020049634A1 JPWO2020049634A1 (en) 2020-12-17
JP6869440B2 true JP6869440B2 (en) 2021-05-12

Family

ID=69723034

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020540899A Active JP6869440B2 (en) 2018-09-04 2018-09-04 Teacher data generator, teacher data generation method, and teacher data generation system

Country Status (2)

Country Link
JP (1) JP6869440B2 (en)
WO (1) WO2020049634A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639624B (en) * 2020-06-10 2023-09-29 深圳市时海科技有限公司 Classroom teaching timely reinforcement capability assessment method and system based on artificial intelligence
WO2022014220A1 (en) * 2020-07-13 2022-01-20 古野電気株式会社 Training data collection system, training data collection method, data collection device, program, trained model generation method, training device, and inference device
JP2023124260A (en) * 2022-02-25 2023-09-06 古野電気株式会社 Target monitoring system, target monitoring method, and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104660994B (en) * 2015-02-09 2018-03-16 武汉理工大学 Maritime affairs dedicated video camera and maritime affairs intelligent control method
JP6721846B2 (en) * 2016-12-09 2020-07-15 富士通株式会社 Teacher data candidate extraction program, teacher data candidate extraction device, and teacher data candidate extraction method
CN106650705B (en) * 2017-01-17 2020-04-24 深圳地平线机器人科技有限公司 Region labeling method and device and electronic equipment

Also Published As

Publication number Publication date
JPWO2020049634A1 (en) 2020-12-17
WO2020049634A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
US10495756B2 (en) Multi-camera laser scanner
EP3457683B1 (en) Dynamic generation of image of a scene based on removal of undesired object present in the scene
JP6869440B2 (en) Teacher data generator, teacher data generation method, and teacher data generation system
US20230087330A1 (en) Object tracking
ES2869438T3 (en) Tracker-Assisted Image Capture
JP5663352B2 (en) Image processing apparatus, image processing method, and image processing program
CN110248097B (en) Focus tracking method and device, terminal equipment and computer readable storage medium
CN109005334B (en) Imaging method, device, terminal and storage medium
JP6045378B2 (en) Information processing apparatus, information processing method, and program
CN112001375B (en) Flame detection method and device, electronic equipment and storage medium
EP3529978B1 (en) An image synthesis system
JP5531603B2 (en) Image processing apparatus and method, and program
KR20150126768A (en) Method for composing image and electronic device thereof
JP7118934B2 (en) Object number estimation device, object number estimation method, and object number estimation program
KR20200095888A (en) Method for context awareness of unmanned ship system and apparatus for the same
GB2562037A (en) Three-dimensional scene reconstruction
CN110991385A (en) Method and device for identifying ship driving track and electronic equipment
JPWO2014103731A1 (en) Image processing apparatus and method, and program
JP7196999B2 (en) Object detection and tracking device, method and program
JP2009058255A (en) Laser isolation measuring system
JP2020140497A (en) Calculation device, and parallax calculation method
JP6532370B2 (en) Imaging system, composition setting device, and composition setting program
JP4686773B2 (en) Moving object recognition method and moving object recognition apparatus
US20230290061A1 (en) Efficient texture mapping of a 3-d mesh
JP2015005200A (en) Information processing apparatus, information processing system, information processing method, program, and memory medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200909

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200909

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210413

R150 Certificate of patent or registration of utility model

Ref document number: 6869440

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250