WO2020049634A1 - 教師データ生成装置、教師データ生成方法、および、教師データ生成システム - Google Patents

教師データ生成装置、教師データ生成方法、および、教師データ生成システム Download PDF

Info

Publication number
WO2020049634A1
WO2020049634A1 PCT/JP2018/032756 JP2018032756W WO2020049634A1 WO 2020049634 A1 WO2020049634 A1 WO 2020049634A1 JP 2018032756 W JP2018032756 W JP 2018032756W WO 2020049634 A1 WO2020049634 A1 WO 2020049634A1
Authority
WO
WIPO (PCT)
Prior art keywords
teacher data
data generation
image
unit
information
Prior art date
Application number
PCT/JP2018/032756
Other languages
English (en)
French (fr)
Inventor
百代 日野
秀明 前原
遼雅 鈴木
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2020540899A priority Critical patent/JP6869440B2/ja
Priority to PCT/JP2018/032756 priority patent/WO2020049634A1/ja
Publication of WO2020049634A1 publication Critical patent/WO2020049634A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a teacher data generation device that generates teacher data used when constructing a machine learning model.
  • the present invention has been made to solve the above-described problem, and has as its object to provide a teacher data generation device capable of generating highly reliable teacher data.
  • a teacher data generation device is a teacher data generation device that generates teacher data used when constructing a machine learning model for detecting a position of a moving object in an image to be determined.
  • An image acquisition unit that acquires an image for teacher data generation in which the body is photographed; and a mobile information transmission device that transmits mobile information including attribute information of the mobile and position information of the mobile.
  • a moving body information acquiring unit for acquiring moving body information on the moving body, a teacher for generating teacher data based on the teacher data generation image acquired by the image acquiring unit, and the moving body information acquired by the moving body information acquiring unit; And a data generation unit.
  • FIG. 2 is a diagram illustrating a configuration example of a teacher data generation device according to the first embodiment.
  • FIG. 7 is a diagram illustrating an example of an image of a time interpolation process performed by an interpolation unit according to the first embodiment.
  • FIG. 5 is a diagram illustrating an example of an image of a thinning process performed by a thinning unit according to the first embodiment.
  • 4A is a diagram for describing a definition of a coordinate system used in the first embodiment.
  • FIG. 4A is a diagram for describing a definition of an earth center coordinate system
  • FIG. 4B is a diagram for describing a definition of a camera coordinate system.
  • FIG. 7 is a diagram showing an image of processing performed by the teacher data generation device to generate a background image for calculating the height information of a ship and to actually calculate the height of the ship in the first embodiment.
  • 5A is a diagram illustrating an image of an image of a ship taken
  • FIG. 5B is a diagram illustrating an image of a background image generation process
  • FIG. 5C is a diagram illustrating a process of calculating the height of the ship in the image. It is a figure showing an image.
  • 5 is a flowchart for explaining an operation of the data collection device including the teacher data generation device according to the first embodiment.
  • 5 is a flowchart for explaining an operation of the data collection device including the teacher data generation device according to the first embodiment.
  • FIG. 7A and 7B are diagrams illustrating an example of a hardware configuration of a data collection device including the teacher data generation device according to the first embodiment.
  • FIG. 2 is a diagram for describing a configuration example of a data collection system including a teacher data generation device, a camera, a storage device, and a camera calibration device according to the first embodiment.
  • a machine learning model is a pattern of feature amounts of a plurality of images obtained as a result of learning and predicting a plurality of images.
  • the determination target image is an unknown image that is a target for detecting a moving object reflected on the image using a machine learning model.
  • the moving object is a marine vessel
  • the teacher data generation device acquires a teacher data generation image in which the marine vessel is photographed, and generates a teacher data based on the acquired teacher data generation image. Data shall be generated.
  • the teacher data generation device according to the first embodiment is provided in a data collection device described later.
  • FIG. 1 is a diagram illustrating a configuration example of a data collection device 1 including a teacher data generation device 100 according to the first embodiment.
  • the data collection device 1 includes a camera 200, a storage device 300, a camera calibration device 400, a mobile information receiving antenna 500, and a mobile information receiver 600, in addition to the teacher data generating device 100.
  • the camera 200 is assumed to be a visible light camera, and photographs an ocean where a ship may exist. In the first embodiment, it is assumed that the camera 200 shoots at a frame rate of 1 FPS (Frame Per Second).
  • the camera 200 stores the captured image in the storage device 300. In the first embodiment, it is assumed that the camera 200 stores images of a predetermined number of frames in the storage device 300. The number of frames of images to be stored can be determined as appropriate by the user, but the user stores at least one frame of images.
  • the image captured by the camera 200 and stored in the storage device 300 is the teacher data generation image. Hereinafter, when referring to the number of images, it means the number of frame units.
  • the data collection device 1 is installed at a place where the camera 200 can photograph the sea.
  • the data collection device 1 includes the camera 200, but the data collection device 1 may include a sensor capable of acquiring a two-dimensional image instead of the camera 200.
  • the data collection device 1 only needs to be able to acquire images at sea.
  • the storage device 300 stores an image for generating teacher data, which is an image captured by the camera 200.
  • the storage device 300 may be included in the camera 200.
  • the camera calibration device 400 calibrates the camera 200 and stores internal parameters and external parameters of the camera 200.
  • the internal parameters of the camera 200 include information on the focal length of the camera 200.
  • the external parameters of the camera 200 include information on the position or orientation of the camera 200.
  • the camera calibration device 400 outputs internal parameters and external parameters of the camera 200 to the teacher data generation device 100. Note that the camera calibration device 400 may be included in the camera 200.
  • the mobile information receiving antenna 500 receives a radio wave emitted by a device for transmitting information on a mobile (hereinafter, referred to as a “mobile information transmitting device”, not shown).
  • the mobile object information transmission device transmits various information regarding the mobile object.
  • the information on the moving object (hereinafter, referred to as “moving object information”) transmitted by the moving object information transmitting device includes at least attribute information of the moving object and position information of the moving object.
  • the attribute information of the moving object includes information such as the size of the moving object as well as information unique to the specific moving object such as the name of the moving object.
  • the position information of the moving object includes information such as the speed of the moving object in addition to the current position of the moving object.
  • the mobile object information transmitting device is an AIS (Automatic Identification System: automatic ship identification device).
  • the AIS is mounted on a ship, and various information related to the ship, such as information on the name of the ship on which the AIS is mounted, the size of the ship, the current position of the ship, the speed of the ship, the type of ship, or the course, etc. Disseminate important information. However, the information transmitted by the AIS does not include the height information of the vessel.
  • the mobile information receiver 600 receives the above-mentioned mobile information via the mobile information receiving antenna 500, and outputs the mobile information to the teacher data generation device 100.
  • the teacher data generation device 100 generates teacher data based on the teacher data generation image obtained from the storage device 300 and the mobile object information obtained from the mobile object information receiver 600.
  • the teacher data generation device 100 includes a moving body information acquisition unit 101, a storage unit 102, a data processing unit 103, an image acquisition unit 104, a cubic region setting unit 105, a coordinate conversion unit 106, and a minimum rectangle calculation unit 107. , A background image generation unit 108, a difference calculation unit 109, a height calculation unit 110, a teacher data generation unit 111, and a teacher data output unit 112.
  • the data processing unit 103 includes an interpolation unit 1031 and a thinning unit 1032.
  • the image acquisition unit 104 includes a shooting time acquisition unit 1041.
  • the background image generation unit 108 includes a mask setting unit 1081.
  • the mobile information acquisition unit 101 obtains mobile information transmitted from the mobile information transmitting device.
  • mobile information obtaining section 101 obtains mobile information transmitted from a mobile information transmitting device via mobile information receiving antenna 500 and mobile information receiver 600.
  • the moving body information acquired by the moving body information acquiring unit 101 is, specifically, information on a ship.
  • the moving object information acquired by the moving object information acquiring unit 101 is encoded, for example, the moving object information acquiring unit 101 includes a decoding unit (not shown), and the decoding unit transmits the acquired moving object information. Decode.
  • the decoding unit is not provided in the mobile unit information acquisition unit 101, but is provided, for example, in a location outside the mobile unit information acquisition unit 101 and can be referred to by the mobile unit information acquisition unit 101, and decodes the decoded mobile unit information.
  • the moving object information acquiring unit 101 may acquire the decoded moving object information stored by the decoding unit. It is only necessary that the mobile object information acquisition unit 101 can acquire the mobile object information after decoding.
  • the moving body information acquisition unit 101 causes the storage unit 102 to store the moving body information acquired from the moving body information receiver 600.
  • the mobile unit information acquisition unit 101 causes the storage unit 102 to store the mobile unit information decoded by the decoding unit.
  • the moving body information includes at least information on the ship and information on the date and time of receiving the moving body information.
  • the storage unit 102 stores mobile object information.
  • the storage unit 102 is provided in the teacher data generation device 100.
  • the device 100 may be provided in a location where it can be referred to.
  • the data processing unit 103 performs a time interpolation process and a thinning process on the moving object information stored in the storage unit 102 using the internal parameters and the external parameters of the camera 200 output from the camera calibration device 400.
  • the data processing unit 103 performs the time interpolation process and the thinning process in units of the moving object information relating to the same ship. . That is, the data processing unit 103 performs, for each ship, the time interpolation process and the thinning process of the moving object information on the ship.
  • the interpolating unit 1031 of the data processing unit 103 operates such that the moving object information acquiring unit acquires the moving object information corresponding to the plurality of teacher data generation images acquired at different times and acquired by the image acquiring unit 104.
  • the time interpolation is performed on the moving object information acquired by 101.
  • the teacher data generation image captured by camera 200 is 1 FPS.
  • the mobile information transmitting device is AIS.
  • the AIS transmits mobile information at regular intervals, but does not necessarily transmit the mobile information every second. Therefore, in the first embodiment, the interpolation unit 1031 performs time interpolation of the moving object information so that there is moving object information every second corresponding to the teacher data generation image photographed every second.
  • the interpolation unit 1031 performs time interpolation of the moving body information by interpolating the speed information of the ship indicated by the moving body information acquired by the moving body information acquiring unit 101 and then interpolating the position information of the ship. .
  • FIG. 2 is a diagram illustrating an example of an image of the time interpolation processing by the interpolation unit 1031 according to the first embodiment.
  • the interpolation unit 1031 performs the interpolation of the moving body information by interpolating the speed information of the ship and then interpolating the position information of the ship. Therefore, as illustrated in FIG. Are not necessarily equally spaced.
  • the interpolation unit 1031 causes the storage unit 102 to store the moving object information newly generated by the time interpolation processing.
  • the thinning unit 1032 of the data processing unit 103 calculates the shooting range of the camera 200 on the map based on the internal parameters and the external parameters of the camera 200 output from the camera calibration device 400. Then, the thinning unit 1032 excludes the moving body information in which the position of the ship indicated by the moving body information is outside the calculated imaging range from the target of the subsequent processing for generating the teacher data. Specifically, for example, the thinning unit 1032 assigns a non-target flag to moving body information in which the position of the ship indicated by the moving body information is outside the shooting range. As a result, thinning of the mobile object information is performed.
  • the thinning processing by the thinning unit 1032 may be performed on the moving body information after the interpolation unit 1031 has performed the time interpolation processing, or may be performed on the moving body information before the interpolation unit 1031 performs the time interpolation processing. It may be performed for the user. Since the moving body information is information that can be acquired for a moving body located in a range wider than the photographing range of the camera 200, the thinning unit 1032 thins out unnecessary moving body information, thereby reducing the subsequent processing. .
  • FIG. 3 is a diagram illustrating an example of an image of a thinning process performed by the thinning unit 1032 according to the first embodiment.
  • a range indicated by 301 is a shooting range of the camera 200.
  • the thinning unit 1032 calculates the shooting range based on the internal parameters and the external parameters of the camera 200 output from the camera calibration device 400.
  • circles indicated by 302 indicate the locations of the respective ships based on the moving body information.
  • the thinning unit 1032 thins out the moving body information indicating that the existing position of the ship is outside the imaging range 301. Specifically, the thinning unit 1032 gives a non-target flag to the moving object information indicating that the position of the ship is outside the imaging range 301 so that the moving object information is not used in subsequent processing. I do.
  • the image acquisition unit 104 acquires an image for teacher data generation, which is captured by the camera 200 and stored in the storage device 300.
  • the image acquisition unit 104 acquires the teacher data generation image in frame units. When a plurality of frames of teacher data generation images are stored in the storage device 300, the image acquisition unit 104 sequentially acquires the stored teacher data generation images.
  • the teacher data generation image acquired by the image acquisition unit 104 from the storage device 300 is also referred to as a “specific teacher data generation image”.
  • the shooting time obtaining unit 1041 of the image obtaining unit 104 obtains the shooting time of the specific teacher data generation image obtained from the storage device 300.
  • the shooting time acquisition unit 1041 may determine the shooting time of the specific teacher data generation image based on, for example, the number of frames from the shooting start time.
  • the shooting start time is stored in the storage device 300, for example.
  • the shooting time acquisition unit 1041 determines the shooting time from the superimposed characters. May be obtained.
  • the image acquisition unit 104 refers to the storage unit 102 and extracts the moving body information corresponding to the specific teacher data generation image from the storage unit 102.
  • the moving body information corresponding to the specific teacher data generation image refers to moving body information in which the shooting time of the specific teacher data generation image matches the reception time of the moving body information included in the moving body information.
  • the moving object information extracted by the image acquisition unit 104 is the moving object information after interpolation and thinning have been performed by the data processing unit 103. Further, in the first embodiment, the fact that the imaging time of the specific teacher data generation image and the reception time of the moving object information coincide with each other does not have to be strictly identical.
  • the image acquiring unit 104 is configured to execute the processing when the specific teacher data generation image is captured, such as when the difference between the imaging time of the specific teacher data generation image and the reception time of the moving object information is within a range set as an allowable range in advance. In the case of the moving body information in which the position of the moving body can be known to some extent, the reception time of the moving body information is regarded as coincident with the imaging time of the specific teacher data generation image.
  • the image obtaining unit 104 outputs the extracted moving object information to the cubic region setting unit 105 in association with the specific teacher data generation image.
  • the image acquisition unit 104 extracts all the moving object information. For example, when a plurality of ships exist in the shooting range of the specific teacher data generation image at the same time, there are a plurality of pieces of moving object information associated with the specific teacher data generation image.
  • the cubic region setting unit 105 adds the specific teacher data generation image output from the image acquisition unit 104 to the ship indicated by the mobile unit information based on the mobile unit information associated with the specific teacher data generation image.
  • the cubic region setting unit 105 specifies the width, length, and angle of the ship based on the moving object information, and forms a cube surrounding the ship (hereinafter, referred to as “moving object surrounding cube”).
  • moving object surrounding cube sets the coordinates.
  • the coordinates of the moving object surrounding cube set by the cube area setting unit 105 are the coordinates of the eight vertices of the moving object surrounding cube.
  • FIG. 4 is a diagram for describing the definition of the coordinate system used in the first embodiment.
  • FIG. 4A is a diagram for explaining the definition of the earth center coordinate system (quoted from the homepage of the Navigation Science Laboratory, Toyama National College of Technology), and
  • FIG. 4B is a diagram for explaining the definition of the camera coordinate system.
  • the width of the moving object surrounding cube set by the cube area setting unit 105 is the ship width, and the length of the moving object surrounding cube is the length of the hull of the ship.
  • the cube area setting unit 105 sets a temporary value for the height of the moving object surrounding cube.
  • the temporary value is, for example, a value that is assumed to be sufficiently larger than the actual height of the ship, and can be set in advance by a user or the like.
  • the cubic region setting unit 105 sets the height of the moving object surrounding cube to a value that is twice the ship width.
  • the cubic region setting unit 105 determines all the moving objects associated with the specific teacher data generation image. For all ships indicated by the information, a moving object surrounding cube surrounding the ships is set. The cubic region setting unit 105 adds each set cubic coordinate to the corresponding moving object information of the image for generating specific teacher data, and outputs it to the coordinate conversion unit 106. When a plurality of specific teacher data generation images are output from the image acquisition unit 104, the cubic region setting unit 105 determines, for each specific teacher data generation image, the movement associated with the specific teacher data generation image. A moving body azimuth cube surrounding a ship indicated by body information is set.
  • the coordinate conversion unit 106 uses the internal parameters and the external parameters of the camera 200 output from the camera calibration device 400 to move the moving object associated with the specific teacher data generation image output from the cubic region setting unit 105.
  • the cubic coordinates given to the information are converted into a camera coordinate system (see FIG. 4B).
  • the 3 ⁇ 3 internal matrix that can be set by the internal parameters of the camera 200 and the 4 ⁇ 3 external matrix that can be calculated from the information on the rotation angle of the camera 200 and the position of the camera 200 can be used to calculate the earth center coordinate system. Transformation of coordinates between camera coordinate systems is possible.
  • the coordinate conversion unit 106 converts the cubic coordinates into the camera coordinate system according to the following equation (1).
  • U shown in equation (1) corresponds to the x coordinate in the camera coordinate system
  • v shown in equation (1) corresponds to the y coordinate in the camera coordinate system.
  • fx and fy are focal lengths (unit: pixel).
  • the cubic region setting unit 105 sets the cubic coordinates (X, Y, Z), and the coordinate conversion unit 106 calculates the cubic coordinates (X, Y, Z) set by the cubic region setting unit 105 using Expression (1).
  • the technique of converting coordinates between the earth center coordinate system and the camera coordinate system is a known technique.
  • the coordinate conversion unit 106 determines all the moving objects associated with the specific teacher data generation image.
  • the cubic coordinates given to the information are each converted into a camera coordinate system.
  • the coordinate conversion unit 106 adds the converted cubic coordinates (hereinafter, referred to as “converted coordinates”) converted to the camera coordinate system to the corresponding moving object information of the specific teacher data generation image, and Output to the rectangle calculation unit 107.
  • the coordinate conversion unit 106 determines, for each specific teacher data generation image, Each cubic coordinate assigned to the moving object information is converted into a camera coordinate system.
  • the minimum rectangle calculation unit 107 calculates the converted coordinates of the moving object information associated with the specific teacher data generation image output from the coordinate conversion unit 106 based on the converted coordinates given to the moving object information. Compute the minimum rectangle that contains everything. Specifically, the minimum rectangle calculation unit 107 determines the minimum value of the x coordinates of all (eight) converted coordinates associated with the moving object information and the minimum value of the y coordinates of all camera coordinates. The minimum value is defined as the upper left coordinate of the minimum rectangular frame corresponding to the ship indicated by the moving object information.
  • the minimum rectangle calculation unit 107 calculates the maximum value of the x coordinates of all the camera coordinates and the maximum value of the y coordinates of all the camera coordinates as the minimum rectangle corresponding to the ship indicating the moving object information. Is defined as the lower right coordinate of the frame. The minimum rectangle calculation unit 107 adds the calculated coordinates of the minimum rectangle to the corresponding moving object information of the specific teacher data generation image. If there is a plurality of pieces of moving object information associated with the specific teacher data generation image output from the coordinate conversion unit 106, the minimum rectangle calculation unit 107 determines all the moving objects associated with the specific teacher data generation image. Calculate the minimum rectangle for the information.
  • the minimum rectangle calculation unit 107 determines, for each specific teacher data generation image, each of the images associated with the specific teacher data generation image. A minimum rectangle is calculated for the moving object information.
  • the minimum rectangle calculation unit 107 stores the specific teacher data generation image in which the minimum rectangle coordinates are added to the moving object information in a time series, for example, in the storage unit 102 or a storage area provided inside the teacher data generation device 100. Store it temporarily.
  • the background image generation unit 108 generates, for each specific teacher data generation image, a composite background image when no ship exists on the specific teacher data generation image. A procedure in which the background image generation unit 108 generates a composite background image will be described.
  • the mask setting unit 1081 of the background image generation unit 108 determines, for each specific teacher data generation image temporarily stored by the minimum rectangle calculation unit 107, a moving object associated with the specific teacher data generation image. Based on the information, an image in which a mask is set on the specific teacher data generation image is generated. In the first embodiment, an image in which a mask is set on the specific teacher data generation image generated by the mask setting unit 1081 is referred to as a “mask setting image”.
  • the mask setting unit 1081 calculates the width of the mask based on information on the length of the ship and the rotation angle of the ship indicated by the moving object information. Then, the mask setting unit 1081 sets the vertical width of the specific teacher data generation image as the vertical width of the mask, and determines an area including the vertical width and the calculated horizontal width as the mask. The mask setting unit 1081 generates a mask setting image in which the determined mask is set on the specific teacher data generation image. The mask setting unit 1081 adds the generated mask setting image to the corresponding moving object information of the temporarily stored specific teacher data generation image.
  • the mask setting unit 1081 determines the moving object information for all the moving object information associated with the specific teacher data generation image.
  • a mask setting image in which a mask is set based on the moving object information is generated. For example, assuming that there are three pieces of moving object information associated with a certain specific teacher data generation image, a mask setting image is generated by the mask setting unit 1081 for each of the three pieces of moving object information and added to the moving object information. Is done.
  • the background image generation unit 108 When a mask setting image is generated for each temporarily stored specific teacher data generation image and added to the moving object information associated with the specific teacher data generation image, the background image generation unit 108 is temporarily stored. A specific teacher data generation image for which a composite background image is to be generated is determined from the specific teacher data generation image. Note that the specific teacher data generation image for which the synthetic background image is to be generated is, in other words, a teacher data generation image for which teacher data is to be generated in the subsequent processing (details will be described later). Hereinafter, the specific teacher data generation image determined by the background image generation unit 108 will be described as also being referred to as “post-determination teacher data generation image”.
  • the background image generation unit 108 may determine the temporarily stored specific teacher data generation images in a time series order as the determined teacher data generation images. Specifically, first, the background image generation unit 108 determines, with respect to the image for generating teacher data after determination, a mask area set in the mask setting image added to the moving object information (hereinafter, referred to as a “mask area of interest”). ), And confirms temporarily stored images for generating specific teacher data before and after the image for generating teacher data after determination (hereinafter referred to as “images for generating teacher data to be compared”). A specific teacher data generation image (hereinafter, referred to as a “synthesis image”) that does not include a ship is searched.
  • synthesis image a specific teacher data generation image
  • the absence of a ship in the area of the mask means that no mask is set in an area corresponding to the target mask area in the image for generating teacher data for comparison.
  • the background image generation unit 108 may determine whether a mask is set in an area corresponding to the target mask area from the mask setting image added to the moving object information of the comparison target teacher data generation image. . In other words, the background image generation unit 108 generates the comparison target teacher data unless the mask setting image in which the mask is set in the same region as the target mask region is added to the moving object information of the comparison target teacher data generation image.
  • the image for use is determined to be an image for synthesis in which no ship is in the area of the mask.
  • the background image generating unit 108 sets the specific teacher data generating image in which no ship is included in the mask area as the synthesizing image.
  • the synthesizing image is
  • it is not essential that the image is a specific teacher data generation image in which no ship is included in the area corresponding to the mask area.
  • the background image generation unit 108 may use a specific teacher data generation image in which some ships are included in the mask area, or may use the specific teacher data generation image as a synthesis image.
  • the background image generation unit 108 repeats the search until it finds the image for synthesis in a predetermined number of frames. In the first embodiment, as an example, the preset number of frames is five.
  • the background image generation unit 108 averages the determined teacher data generation image and the found synthesis image to generate a synthesized background image. At this time, the background image generation unit 108 does not perform addition for the target mask area.
  • the background image generation unit 108 may generate the composite background image by simply averaging the post-decision teacher data generation image and the composite image.
  • the composite background image may be generated by a weighted average in which the combined images to be added are weighted in consideration of the time difference as viewed from the posterior teacher data generation image.
  • the background image generation unit 108 adds the generated synthesized background image to the corresponding moving body information of the image for generating teacher data after determination, and outputs the resultant to the difference calculation unit 109.
  • the background image generation unit 108 generates a synthesized background image for each of the sequentially determined determined teacher data generation images.
  • the background image generation unit 108 sequentially determines the post-decision teacher data generation images and generates the synthesized background image for each post-decision teacher data generation image as much as possible after each post-decision teacher data generation. This is for obtaining a combined background image in a time zone close to the image for use.
  • the background image generation unit 108 When there is a plurality of pieces of moving object information associated with a certain post-decision teacher data generation image, the background image generation unit 108 performs Based on the mask setting image added to the moving body information, the image for synthesis is searched to generate a synthesized background image.
  • the difference calculator 109 calculates the difference between the determined teacher data generation image output from the background image generator 108 and the combined background image associated with the determined teacher data generation image, A difference image is generated in which an area where there is a change is white and an area where there is no change equal to or more than the threshold value is black. More specifically, the difference calculation unit 109 assigns the post-determination teacher data generation image output from the background image generation unit 108 and the mobile object information associated with the post-determination teacher data generation image. Calculate the difference from the synthesized background image. In order to generate a binary difference image, it is necessary to appropriately set a threshold.
  • the difference calculation unit 109 performs a labeling process after the binarization, and removes noise having a small area that occurs in a region other than the target region.
  • the target area is an area where there is a change equal to or more than a threshold
  • the area is an area where a ship exists.
  • the difference calculation unit 109 may generate a difference image by determining an area of the wavefront glitter or the like as an area having a change equal to or more than a threshold value due to the wavefront glitter or the like.
  • the glittering wavefront is not an area where the ship exists.
  • the difference calculation unit 109 removes noise having a small area other than the maximum region that can be determined to be a region where a ship exists. Note that this is only an example, and the difference calculation unit 109 does not necessarily need to remove noise having a small area. For example, the difference calculation unit 109 may not perform noise removal for a region whose area is so small that it can be clearly determined that the region does not include a ship.
  • the difference calculation unit 109 adds the generated difference image to the corresponding moving object information of the image for generating teacher data after determination, and outputs it to the height calculation unit 110.
  • the difference calculation unit 109 When a plurality of post-decision teacher data generation images are output from the background image generation unit 108, the difference calculation unit 109 generates a difference image for each post-decision teacher data generation image. When there is a plurality of pieces of moving object information associated with a certain post-decision teacher data generation image, the difference calculation unit 109 is assigned to all the moving object information associated with the post-decision teacher data generation image. For each of the combined background images, a difference image from the determined teacher data generation image is generated and added to the moving object information.
  • the height calculation unit 110 calculates the height of the ship on the determined teacher data generation image based on the difference image associated with the determined teacher data generation image. More specifically, the height calculation unit 110 determines the height of the ship on the determined teacher data generation image based on the difference image added to the moving object information associated with the determined teacher data generation image. Calculate the Specifically, the height calculation unit 110 calculates the maximum value and the minimum value of the y-coordinate of the white region determined by the difference calculation unit 109 as having a difference, thereby obtaining the upper and lower ends of the minimum rectangle indicating the ship. Calculate the y coordinate.
  • the height calculator 110 updates the information on the upper and lower ends of the minimum rectangle frame calculated by the minimum rectangle calculation unit 107 and added to the moving object information.
  • the height calculation unit 110 outputs the determined teacher data generation image on which the updated minimum rectangle information is reflected to the teacher data generation unit 111.
  • the height calculation unit 110 outputs, for each post-decision teacher data generation image, each ship on the post-decision teacher data generation image.
  • the height calculation unit 110 assigns the moving body information to all the moving body information associated with the post-decision teacher data generation image. Based on the difference image, the information of the upper end and the lower end of the minimum rectangular frame added to the moving object information is updated.
  • the teacher data generation unit 111 is added to the moving object information of the determined teacher data based on the determined teacher data generation image on which the updated minimum rectangle information output from the height calculation unit 110 is reflected.
  • the information on the minimum rectangle is replaced with the information on the minimum rectangle given to the moving object information of the image for generating specific teacher data temporarily stored.
  • the teacher data generation unit 111 uses the updated minimum rectangle information reflected in the post-decision teacher data generation image as the specific teacher data generation image determined by the background image generation unit 108 as the post-decision teacher data generation image. Replace with the information of the minimum rectangle added to the moving object information. Further, the teacher data generation unit 111 generates teacher data based on the determined teacher data generation image output from the height calculation unit 110 and reflecting the updated minimum rectangle information.
  • the teacher data generation unit 111 associates the determined teacher data generation image with the information of the minimum rectangle updated by the height calculation unit 110 to generate teacher data.
  • the teacher data generation unit 111 causes the information included in the moving body information, such as the type of the ship, to be included in the teacher data in addition to the information on the minimum rectangle.
  • the format of the teacher data generated by the teacher data generation unit 111 is, for example, a JSON (JavaScript Object Notation) (JavaScript is a registered trademark) such as Pascal VOC (Visual Object Classes).
  • the information on the minimum rectangle is, for example, information in which a plurality of pieces of information on the coordinates of the upper left and lower right of the minimum rectangle are collected.
  • the teacher data generation unit 111 may generate, as the teacher data, an image in which a minimum rectangle is superimposed on the determined teacher data generation image. Specifically, for example, the teacher data generation unit 111 may generate, as teacher data, an image in which the position of the ship in the image for generating teacher data after determination is surrounded by a rectangle. In addition, the teacher data generation unit 111 may include, in addition to the minimum rectangle, information about the ship itself, which is transmitted by the ship represented by the minimum rectangle, in the teacher data. The ship's own information transmitted by the ship includes information such as the direction of the ship, ship name, speed, ship type, ship width, hull length, ship identification number, state, and draft position. It is.
  • the teacher data generation unit 111 By including such information in the teacher data by the teacher data generation unit 111, for example, it is possible to generate a machine learning data set capable of classifying a type as well as detecting a ship, and Image recognition can be enabled. Further, the teacher data generation unit 111 does not superimpose the minimum rectangle on the determined teacher data generation image, but, for example, associates the path around the difference image with the determined teacher data generation image as vector information. Teacher data may be generated.
  • the teacher data generation unit 111 outputs the generated teacher data to the teacher data output unit 112.
  • the teacher data generation unit 111 outputs the temporarily stored specific teacher data generation images for each determined teacher data generation image. Is performed, and teacher data is generated for each teacher data generation image after determination.
  • the teacher data generation unit 111 assigns the moving body information to all the moving body information associated with the post-decision teacher data generation image. The information of the minimum rectangle is replaced with the information of the minimum rectangle given to the moving object information of the image for generating specific teacher data temporarily stored.
  • the teacher data generation unit 111 outputs only the moving object information corresponding to the post-decision teacher data generation image.
  • the teacher data is generated based on the determined teacher data generation image in which the updated minimum rectangle information added to the movement information is reflected.
  • the teacher data output unit 112 outputs the teacher data generated by the teacher data generation unit 111.
  • FIG. 5 is a diagram showing an image of a process in which the teacher data generation device 100 generates a background image for calculating the height information of a ship and then actually calculates the height of the ship in the first embodiment. It is.
  • the background image generation unit 108 generates a mask setting image in which a mask is set, adds the determined teacher data generation image and the synthesis target image, and averages the sum.
  • a background image is generated (FIG. 5B).
  • the background image generation unit 108 shows the background.
  • the preceding and subsequent specific teacher data generation images are sequentially searched so that the synthesis target image includes at least five frames.
  • the difference calculator 109 calculates a difference between the determined teacher data generation image and the background image
  • the height calculator 110 updates the height of each ship in the determined teacher data generation image (FIG. 5C).
  • FIGS. 6A and 6B are flowcharts for explaining the operation of the data collection device 1 including the teacher data generation device 100 according to the first embodiment.
  • Camera 200 captures an image of the sea where a ship may exist, and stores the captured teacher data generation image in storage device 300 (step ST601). In the data collection device 1, the camera 200 performs the operation of step ST601 until a predetermined number of frames of images are captured.
  • Mobile information receiver 600 receives the mobile information via mobile information receiving antenna 500, and outputs the information to teacher data generating apparatus 100 (step ST602).
  • the mobile unit information acquisition unit 101 obtains the mobile unit information output from the mobile unit information receiver 600 in step ST602.
  • moving body information acquiring section 101 causes moving body information acquired from moving body information receiver 600 to be stored in storage section 102 (step ST603).
  • the interpolating unit 1031 of the data processing unit 103 operates such that the moving object information acquiring unit acquires the moving object information corresponding to the plurality of teacher data generation images acquired at different times and acquired by the image acquiring unit 104. Time interpolation is performed on the moving object information acquired by 101, and the newly generated moving object information is stored in storage unit 102 (step ST604).
  • the thinning unit 1032 of the data processing unit 103 calculates the shooting range of the camera 200 on the map on the map based on the internal parameters and the external parameters of the camera 200 output from the camera calibration device 400. Then, the decimation unit 1032 performs decimation by excluding the moving object information in which the position of the ship indicated by the moving object information is outside the calculated shooting range from the target of the subsequent processing for generating the teacher data. Perform (Step ST605).
  • step ST601 when the camera 200 captures an image of a predetermined number of frames, the process proceeds to step ST606 and subsequent steps.
  • the image acquiring unit 104 acquires an image for generating specific teacher data. Then, photographing time acquiring section 1041 of image acquiring section 104 acquires the photographing time of the specific teacher data generation image acquired from storage device 300 (step ST606).
  • Image acquiring section 104 refers to storage section 102 and extracts, from storage section 102, moving body information corresponding to the specific teacher data generation image (step ST607).
  • the image obtaining unit 104 outputs the extracted moving object information to the cubic region setting unit 105 in association with the specific teacher data generation image.
  • the cubic region setting unit 105 adds the specific teacher data generation image output from the image acquisition unit 104 in step ST607 to the specific teacher data generation image based on the mobile object information associated with the specific teacher data generation image.
  • cubic region setting section 105 specifies the width, length, and angle of the ship based on the moving object information, and sets the coordinates of the moving object surrounding cube surrounding the ship (step ST608).
  • the cubic region setting unit 105 adds the set cubic coordinates to the corresponding moving object information of the specific teacher data generation image, and outputs it to the coordinate conversion unit 106.
  • Coordinate conversion section 106 is associated with the specific teacher data generation image output from cubic region setting section 105 in step ST608 using the internal parameters and external parameters of camera 200 output from camera calibration apparatus 400.
  • the cubic coordinates assigned to the moving object information are converted to coordinates after conversion (step ST609).
  • the coordinate conversion unit 106 adds the converted coordinates to the corresponding moving object information of the specific teacher data generation image, and outputs the result to the minimum rectangle calculation unit 107.
  • the minimum rectangle calculation unit 107 determines, based on the converted coordinates given to the moving object information, the moving object information associated with the specific teacher data generation image output from the coordinate conversion unit 106 in step ST609. A minimum rectangle including all the coordinates after the conversion is calculated (step ST610). The minimum rectangle calculation unit 107 adds the calculated coordinates of the minimum rectangle to the corresponding moving object information of the specific teacher data generation image. The minimum rectangle calculation unit 107 stores the specific teacher data generation image in which the minimum rectangle coordinates are added to the moving object information in a time series, for example, in the storage unit 102 or a storage area provided inside the teacher data generation device 100. Store it temporarily.
  • steps ST606 to ST610 are performed for each specific teacher data generation image.
  • steps ST608 to ST610 are repeated for the associated moving object information.
  • the mask setting unit 1081 of the background image generation unit 108 specifies the specific teacher data generation image temporarily stored in step ST610 based on the moving object information associated with the specific teacher data generation image.
  • a mask setting image in which a mask is set on the teacher data generation image is generated (step ST611).
  • the background image generation unit 108 sequentially determines the determined teacher data generation image from the temporarily stored specific teacher data generation image, and generates a composite background image of the determined teacher data generation image ( Step ST612).
  • the background image generation unit 108 outputs the generated composite background image to the difference calculation unit 109 in association with the determined teacher data generation image.
  • the difference calculation unit 109 calculates the difference between the determined teacher data generation image output from the background image generation unit 108 in step ST612 and the combined background image associated with the determined teacher data generation image. Then, a difference image is generated in which an area having a change equal to or more than the threshold is white and an area having no change equal to or more than the threshold is black (step ST613).
  • the difference calculation unit 109 outputs the generated difference image to the height calculation unit 110 in association with the determined teacher data generation image.
  • Height calculating section 110 calculates the height of the ship on the determined teacher data generation image based on the difference image associated with the determined teacher data generation image (step ST614).
  • the height calculation unit 110 outputs the determined teacher data generation image on which the updated minimum rectangle information is reflected to the teacher data generation unit 111.
  • the teacher data generation unit 111 generates teacher data based on the determined teacher data generation image reflecting the updated minimum rectangle information output from the height calculation unit 110 in step ST614 (step ST615). ).
  • the teacher data generation unit 111 outputs the generated teacher data to the teacher data output unit 112.
  • the teacher data generation unit 111 performs the post-decision teacher data generation image based on the post-decision teacher data generation image that reflects the updated minimum rectangle information output from the height calculation unit 110 in step ST614.
  • the information of the minimum rectangle given to the moving body information of the teacher data is replaced with the information of the smallest rectangle given to the moving body information of the specific teacher data generation image temporarily stored.
  • the teacher data output unit 112 outputs the teacher data generated by the teacher data generation unit 111 in step ST615 (step ST616).
  • steps ST612 to ST616 are performed for each image for generating teacher data after determination. Further, when a plurality of pieces of moving object information are associated with one frame of the determined teacher data generation image, the operations of steps ST612 to ST616 are repeated for the associated moving object information.
  • the control unit (not shown) deletes the image stored in the storage device 300 and the temporarily stored image for generating the teacher data. The control unit may add a processed flag to the image, the image for generating teacher data, and the like.
  • the teacher data generation device 100 sets the height of the ship on the teacher data generation image for each teacher data generation image (the determined teacher data generation image).
  • the teacher data is generated and output every time the calculation is performed, but this is only an example.
  • the teacher data generation device 100 calculates the height of the ship on all the teacher data generation images to generate teacher data, and outputs the generated teacher data collectively. You may make it.
  • FIG. 7A and 7B are diagrams illustrating an example of a hardware configuration of the data collection device 1 including the teacher data generation device 100 according to the first embodiment.
  • the functions of 108, the difference calculator 109, the height calculator 110, the teacher data generator 111, and the teacher data output unit 112 are realized by the processing circuit 701. That is, the data collection device 1 includes a processing circuit 701 for controlling generation of teacher data for detecting a moving object.
  • the processing circuit 701 may be dedicated hardware as shown in FIG. 7A, or may be a CPU (Central Processing Unit) 706 that executes a program stored in the memory 707 as shown in FIG. 7B.
  • CPU Central Processing Unit
  • the processing circuit 701 includes, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), and an FPGA (Field-Programmable). Gate @ Array) or a combination thereof.
  • the processing circuit 701 is the CPU 706, the moving body information acquisition unit 101, the data processing unit 103, the image acquisition unit 104, the cubic region setting unit 105, the coordinate conversion unit 106, the minimum rectangle calculation unit 107, the background image
  • the functions of the generation unit 108, the difference calculation unit 109, the height calculation unit 110, the teacher data generation unit 111, and the teacher data output unit 112 are realized by software, firmware, or a combination of software and firmware. .
  • the calculation unit 109, the height calculation unit 110, the teacher data generation unit 111, and the teacher data output unit 112 include a HDD (Hard Disk Drive) 702, a CPU 706 that executes a program stored in a memory 707, or the like, or a system LSI. (Large-Scale @ Integration) or the like.
  • the program stored in the HDD 702 or the memory 707 includes a moving body information acquisition unit 101, a data processing unit 103, an image acquisition unit 104, a cubic region setting unit 105, a coordinate conversion unit 106, a minimum rectangle It may be a computer that executes the procedures and methods of the calculation unit 107, the background image generation unit 108, the difference calculation unit 109, the height calculation unit 110, the teacher data generation unit 111, and the teacher data output unit 112. I can say.
  • the memory 707 is, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Memory Only), an EEPROM (Electrical Memory, etc.).
  • a volatile or volatile semiconductor memory a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), or the like is applicable.
  • the functions of the calculation unit 109, the height calculation unit 110, the teacher data generation unit 111, and the teacher data output unit 112 are realized by dedicated hardware, and some are realized by software or firmware. You may.
  • the function of the moving object information acquisition unit 101 is realized by a processing circuit 701 as dedicated hardware, and the data processing unit 103, the image acquisition unit 104, the cubic region setting unit 105, the coordinate conversion unit 106, Processing circuits for the minimum rectangle calculation unit 107, the background image generation unit 108, the difference calculation unit 109, the height calculation unit 110, the teacher data generation unit 111, and the teacher data output unit 112 are stored in the memory 707.
  • the function can be realized by reading and executing the read program.
  • the storage device 300 and the storage unit 102 use the memory 707. Note that this is merely an example, and the storage device 300 and the storage unit 102 may be configured by an HDD 702, an SSD (Solid State Drive), a DVD, or the like.
  • the data collection device 1 has an input interface device 703 and an output interface device 704 for communicating with a mobile information transmitting device and the like. Further, the data collection device 1 includes a mobile object information receiving antenna 500, a mobile object information receiver 600, a camera calibration device 400, and a photographing device 705 such as the camera 200.
  • the teacher data generation device 100 includes the image acquisition unit 104 that acquires the teacher data generation image obtained by capturing the moving object, the attribute information of the moving object, and the A moving body information acquiring unit 101 for acquiring moving body information relating to the moving body transmitted from a moving body information transmitting apparatus for transmitting moving body information including position information; It is configured to include a teacher data generation unit 111 that generates teacher data based on an image and mobile object information acquired by the mobile object information acquisition unit 101. Therefore, unlike the related art, it is possible to reduce the influence of the processing accuracy of the image recognition designed in advance and generate highly reliable teacher data. In addition, since teacher data is generated based on information transmitted from an existing mobile information transmission device such as AIS, it is not necessary to perform heavy image processing as in the related art, and it is possible to save labor in generating teacher data. Become.
  • the teacher data generation device 100 controls the moving object information acquisition unit 101 so that there are moving object information corresponding to a plurality of teacher data generation images acquired at different times and acquired by the image acquisition unit 104.
  • the teacher data generation device 100 may determine that the location of the moving body indicated by the moving body information is outside the imaging range of the teacher data generation image.
  • a thinning unit 1032 is provided for excluding the moving object information outside the imaging range from the moving object information for generating the teacher data by the teacher data generating unit 111. Therefore, unnecessary data can be thinned out, and processing for generating teacher data can be reduced.
  • the teacher data generation device 100 outputs the teacher data generation image for each teacher data generation image (post-decision teacher data generation image).
  • the data generation unit 111 generates teacher data including information on the height of the ship calculated by the height calculation unit 110. Therefore, even if the information on the height of the ship is not obtained from the AIS, the information on the height of the ship can be set.
  • the mobile information transmitting device is AIS, and information on the height of the ship cannot be obtained from the information received from the AIS. Was calculated and reflected in the teacher data.
  • the teacher data generating apparatus 100 calculates information about the mobile such as the height of the mobile. do not have to.
  • the minimum rectangle calculation unit 107 may set the minimum rectangle according to the height of the moving object.
  • the teacher data generation device 100 can be configured not to include the background image generation unit 108, the difference calculation unit 109, and the height calculation unit 110.
  • the teacher data generation device 100 includes the data processing unit 103 (the interpolation unit 1031 and the thinning unit 1032).
  • the interpolation unit 1031 and the thinning unit 1032 are not essential. For example, if there is no need to interpolate the moving object information, such as when the time period during which the camera 200 shoots the image for generating the teacher data and the time period during which the moving object information transmitting device transmits the moving object information are the same, the teacher data generation is performed.
  • the device 100 may not include the interpolation unit 1031.
  • the teacher data The generation device 100 may be configured not to include the thinning unit 1032.
  • the teacher data generating device 100 includes the teacher data output unit 112.
  • the teacher data output unit 112 is not essential.
  • the teacher data generation unit 111 stores the generated teacher data in the teacher data generation device 100
  • the teacher data generation device 100 may not include the teacher data output unit 112.
  • the camera 200, the storage device 300, and the camera calibration device 400 are provided in the data collection device 1.
  • the camera 200, the storage device 300, and the camera calibration device 400 may be provided at a location outside the data collection device 1 and accessible from the data collection device 1.
  • the camera 200 only needs to be installed at a place where the moving body can be photographed. It does not need to be installed.
  • a data collection system in which the data collection device 1, the camera 200, the storage device 300, and the camera calibration device 400 are connected via a network may be configured.
  • the camera 200 and the storage device 300 may be integrated, or the integrated camera 200 may further include a camera calibration device 400.
  • the moving object is a ship, but this is merely an example.
  • the moving object may be a car.
  • the moving object may be a person carrying a device capable of transmitting information such as a self-position, or an animal equipped with a device capable of transmitting information such as a self-position.
  • the camera 200 is assumed to be a visible light camera, but is not limited to this, and the camera 200 may be an IR camera or the like.
  • the camera 200 By using the camera 200 as an IR camera, it is possible to observe the ship even at night, and for example, teacher data can be generated using captured images for 24 hours.
  • the teacher data generation device is configured to be able to generate highly reliable teacher data without depending on image processing, teacher data for detecting the position of a moving object in an image is used.
  • the present invention can be applied to a teacher data generation device that generates the data.
  • Reference Signs List 1 data collection device 100 teacher data generation device, 101 moving object information acquisition unit, 102 storage unit, 103 data processing unit, 1031 interpolation unit, 1032 decimation unit, 104 image acquisition unit, 1041 shooting time acquisition unit, 105 cube area setting Unit, 106 coordinate conversion unit, 107 minimum rectangle calculation unit, 108 background image generation unit, 1081 mask setting unit, 109 difference calculation unit, 110 height calculation unit, 111 teacher data generation unit, 112 teacher data output unit, 200 camera, 300 storage device, 400 camera calibration device, 500 mobile information receiving antenna, 600 mobile information receiver, 701 processing circuit, 702 HDD, 703 input interface device, 704 output interface device, 705 imaging device, 706 CPU, 707 memory Li.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

移動体が撮影された教師データ生成用画像を取得する画像取得部（１０４）と、移動体の属性情報と当該移動体の位置情報とを含む移動体情報を発信する移動体情報発信装置から発信された、当該移動体に関する移動体情報を取得する移動体情報取得部（１０１）と、画像取得部（１０４）が取得した教師データ生成用画像と、移動体情報取得部（１０１）が取得した移動体情報とに基づき、教師データを生成する教師データ生成部（１１１）とを備えた。

Description

教師データ生成装置、教師データ生成方法、および、教師データ生成システム
　この発明は、機械学習モデルを構築する際に使用される教師データを生成する教師データ生成装置に関する。
　従来、機械学習を用いた、画像についての様々な活用方法が知られている。
　従来知られているような画像の活用方法では、例えば、画像に写っている特定の物体の画像中での位置を出力するアプリケーションが使用され、当該アプリケーションを構築する際に、機械学習が用いられる。
　一般に、人手によって、１枚または複数枚の画像から、当該画像中の物体の位置または大きさに関する、機械学習のための教師データを生成するためには、多大な労力を必要とする。
　そこで、教師データを容易に生成する技術として、例えば、特許文献１には、予め用意された背景画像から抽出した領域に該当する画像に、複数の人物に関係する、人物の状態の指示情報に従って決定された、群集の人物状態に該当する人物の画像を合成して、群集状態画像を生成し、当該群集状態画像に対する教師ラベルを特定することで、群集画像の教師データを生成する教師データ生成装置に関する技術が開示されている。
国際公開第２０１４／００２６７０号
　特許文献１に開示されている技術に代表される従来技術では、背景とする画像の抽出、人物の画像の切り出し、および、背景とする画像と人物の画像の合成等、教師データを生成するにあたって、画像処理に依存する部分が多い。しかし、画像は外界の明るさの変化等で輝度が安定せず、背景とする画像の抽出、または、人物の画像の切り出しを安定的に行える保証がない。また、背景とする画像と人物の画像を合成して教師データを生成しているため、実際に起こり得るシーンが再現されていない可能性がある。
　その結果、特許文献１に開示されている技術に代表される従来技術では、教師データとしての信頼性に疑問があるという課題があった。
　この発明は上記のような課題を解決するためになされたもので、信頼性の高い教師データを生成することが可能な教師データ生成装置を提供することを目的とする。
　この発明に係る教師データ生成装置は、判定対象画像中の移動体の位置を検出するための機械学習モデルを構築する際に使用される教師データを生成する、教師データ生成装置であって、移動体が撮影された教師データ生成用画像を取得する画像取得部と、移動体の属性情報と当該移動体の位置情報とを含む移動体情報を発信する移動体情報発信装置から発信された、当該移動体に関する移動体情報を取得する移動体情報取得部と、画像取得部が取得した教師データ生成用画像と、移動体情報取得部が取得した移動体情報とに基づき、教師データを生成する教師データ生成部とを備えたものである。
　この発明によれば、信頼性の高い教師データを生成することができる。
実施の形態１に係る教師データ生成装置の構成例を示す図である。 実施の形態１における、補間部による時間補間処理のイメージの一例を示す図である。 実施の形態１における、間引き部による間引き処理のイメージの一例を示す図である。 実施の形態１で用いる座標系の定義について説明するための図であって、図４Ａは、地球中心座標系の定義を説明するための図であり、図４Ｂは、カメラ座標系の定義を説明するための図である。 実施の形態１において、教師データ生成装置が、船舶の高さ情報を計算するための背景画像を生成し、実際に船舶の高さを計算するまでの処理のイメージを示す図であって、図５Ａは、船舶が撮影された画像のイメージを示す図であり、図５Ｂは、背景画像の生成処理のイメージを示す図であり、図５Ｃは、画像中の船舶の高さを計算する処理のイメージを示す図である。 実施の形態１に係る教師データ生成装置を備えるデータ収集装置の動作を説明するためのフローチャートである。 実施の形態１に係る教師データ生成装置を備えるデータ収集装置の動作を説明するためのフローチャートである。 図７Ａ，図７Ｂは、実施の形態１に係る教師データ生成装置を備えるデータ収集装置のハードウェア構成の一例を示す図である。 実施の形態１に係る教師データ生成装置と、カメラと、記憶装置と、カメラ較正装置とを備えたデータ収集システムの構成例を説明するための図である。
　以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　実施の形態１に係る教師データ生成装置は、移動体が撮影された判定対象画像における当該移動体の位置を検出するための機械学習モデルを構築する際に使用される教師データを生成する。実施の形態１において、機械学習モデルとは、複数の画像を学習し予測した結果得られた、当該複数の画像の特徴量のパターンである。判定対象画像とは、機械学習モデルを用いて、その画像上に映っている移動体を検出する対象となる、未知の画像である。
　以下の説明においては、一例として、移動体は海上の船舶とし、教師データ生成装置は、海上の船舶が撮影された教師データ生成用画像を取得し、取得した教師データ生成用画像に基づき、教師データを生成するものとする。
　また、実施の形態１に係る教師データ生成装置は、後述するデータ収集装置に備えられているものとする。
　図１は、実施の形態１に係る教師データ生成装置１００を備えたデータ収集装置１の構成例を示す図である。
　データ収集装置１は、教師データ生成装置１００の他、カメラ２００と、記憶装置３００と、カメラ較正装置４００と、移動体情報受信アンテナ５００と、移動体情報受信機６００を備える。
　カメラ２００は、可視光カメラを想定しており、船舶が存在し得る海上を撮影する。実施の形態１では、カメラ２００は、１ＦＰＳ（Ｆｒａｍｅ　Ｐｅｒ　Ｓｅｃｏｎｄ）のフレームレートで撮影するものとする。
　カメラ２００は、撮影した画像を記憶装置３００に記憶させる。実施の形態１において、カメラ２００は、予め決められたフレーム数分の画像を、記憶装置３００に記憶させるものとする。何フレーム分の画像を記憶させるようにするかは、ユーザが適宜決定することができるものとするが、ユーザは、少なくとも１フレームの画像が記憶されるようにする。カメラ２００が撮影し、記憶装置３００に記憶させる画像が、教師データ生成用画像である。以下、画像の数について言及する場合、フレーム単位の数を意味するものとする。
　なお、データ収集装置１は、カメラ２００によって海上を撮影可能な場所に設置されている。また、ここでは、データ収集装置１は、カメラ２００を備えるものとするが、データ収集装置１は、カメラ２００に代えて、２次元画像を取得可能なセンサ等を備えるようにしてもよい。データ収集装置１は、海上の画像を取得することができるようになっていればよい。
　記憶装置３００は、カメラ２００が撮影した画像である教師データ生成用画像を記憶する。
　記憶装置３００は、カメラ２００が備えるものとしてもよい。
　カメラ較正装置４００は、カメラ２００の較正を行い、カメラ２００の内部パラメータおよび外部パラメータを保存する。カメラ２００の内部パラメータは、カメラ２００の焦点距離に関する情報を含む。カメラ２００の外部パラメータは、カメラ２００の位置または姿勢に関する情報を含む。
　カメラ較正装置４００は、カメラ２００の内部パラメータおよび外部パラメータを、教師データ生成装置１００に出力する。
　なお、カメラ較正装置４００は、カメラ２００が備えるものとしてもよい。
　移動体情報受信アンテナ５００は、移動体の情報を発信する装置（以下「移動体情報発信装置」という。図示省略。）が発する電波を受信する。移動体情報発信装置は、移動体に関する様々な情報を発信する。移動体情報発信装置が発信する、移動体に関する情報（以下「移動体情報」という。）には、少なくとも移動体の属性情報、および、当該移動体の位置情報が含まれる。移動体の属性情報は、移動体の名称等、特定の移動体を識別可能とする固有の情報の他、移動体の大きさ等の情報を含む。移動体の位置情報は、移動体の現在位置の他、移動体の速度等の情報を含む。
　実施の形態１では、一例として、移動体情報発信装置は、ＡＩＳ（Ａｕｔｏｍａｔｉｃ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ　Ｓｙｓｔｅｍ：船舶自動識別装置）とする。ＡＩＳは、船舶に搭載されており、当該ＡＩＳが搭載されている船舶の船名、船舶の大きさ、船舶の現在位置、船舶の速度、船舶の種類、または、針路に関する情報等、船舶に関する様々な情報を発信する。但し、ＡＩＳが発信する情報には、船舶の高さ情報は含まれていない。
　移動体情報受信機６００は、移動体情報受信アンテナ５００経由で、上述の移動体情報を受信し、当該移動体情報を教師データ生成装置１００に出力する。
　教師データ生成装置１００は、記憶装置３００から取得した教師データ生成用画像と、移動体情報受信機６００から取得した移動体情報に基づき、教師データを生成する。
　教師データ生成装置１００は、移動体情報取得部１０１と、記憶部１０２と、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２を備える。
　データ処理部１０３は、補間部１０３１と間引き部１０３２を備える。
　画像取得部１０４は、撮影時刻取得部１０４１を備える。
　背景画像生成部１０８は、マスク設定部１０８１を備える。
　移動体情報取得部１０１は、移動体情報発信装置から発信された移動体情報を取得する。実施の形態１では、移動体情報取得部１０１は、移動体情報発信装置から発信された移動体情報を、移動体情報受信アンテナ５００および移動体情報受信機６００を経由して取得する。実施の形態１では、移動体情報取得部１０１が取得する移動体情報は、具体的には、船舶に関する情報である。
　なお、移動体情報取得部１０１が取得する移動体情報がエンコードされている場合は、例えば、移動体情報取得部１０１がデコード部（図示省略）を備え、デコード部が、取得した移動体情報をデコードする。デコード部は、移動体情報取得部１０１に備えられるのではなく、例えば、移動体情報取得部１０１の外部の、移動体情報取得部１０１が参照可能な場所に備えられ、デコードした移動体情報を記憶するようにし、移動体情報取得部１０１は、デコード部が記憶した、デコード後の移動体情報を取得するようにしてもよい。移動体情報取得部１０１が、デコード後の移動体情報を取得できるようになっていればよい。
　移動体情報取得部１０１は、移動体情報受信機６００から取得した移動体情報を、記憶部１０２に記憶させる。デコード部が移動体情報をデコードするようにした場合は、移動体情報取得部１０１は、デコード部によってデコードされた後の移動体情報を、記憶部１０２に記憶させる。
　なお、移動体情報には、少なくとも、船舶に関する情報と、移動体情報の受信日時の情報が含まれる。
　記憶部１０２は、移動体情報を記憶する。
　なお、実施の形態１では、記憶部１０２は、教師データ生成装置１００に備えられるものとするが、これは一例に過ぎず、記憶部１０２は、教師データ生成装置１００の外部の、教師データ生成装置１００が参照可能な場所に備えられるようにしてもよい。
　データ処理部１０３は、カメラ較正装置４００から出力された、カメラ２００の内部パラメータおよび外部パラメータを用いて、記憶部１０２に記憶されている移動体情報に対する、時間補間処理および間引き処理を行う。記憶部１０２に記憶されている移動体情報に、複数の異なる船舶に関する移動体情報が含まれる場合、データ処理部１０３は、同一の船舶に関する移動体情報単位で、時間補間処理および間引き処理を行う。つまり、データ処理部１０３は、船舶毎に、当該船舶に関する移動体情報の、時間補間処理および間引き処理を行う。
　データ処理部１０３の補間部１０３１は、画像取得部１０４によって取得された、互いに異なる時刻で撮影された複数の教師データ生成用画像にそれぞれ対応する移動体情報が存在するよう、移動体情報取得部１０１が取得した移動体情報に対して時間補間を行う。
　実施の形態１では、カメラ２００で撮影される教師データ生成用画像は１ＦＰＳである。一方、実施の形態１では、移動体情報発信装置はＡＩＳである。ＡＩＳは、一定時間おきに移動体情報を発信するが、必ずしも毎秒、当該移動体情報を発信するわけではない。そのため、実施の形態１では、補間部１０３１が、１秒毎に撮影される教師データ生成用画像にそれぞれ対応する１秒毎の移動体情報が存在するよう、移動体情報の時間補間を行う。
　補間部１０３１は、移動体情報取得部１０１が取得した移動体情報が示す船舶の速度情報を補間した上で、当該船舶の位置情報の補間を行うことによって、当該移動体情報の時間補間を行う。
　ここで、図２は、実施の形態１における、補間部１０３１による時間補間処理のイメージの一例を示す図である。
　例えば、ある時刻Ｔ＝０（秒）およびＴ＝３（秒）の、船舶Ｘに関する移動体情報が記憶部１０２に記憶されており、Ｔ＝０（秒）およびＴ＝３（秒）における船舶Ｘの位置および速度がわかっているものとする。
　補間部１０３１は、まず、Ｔ＝１（秒）およびＴ＝２（秒）における船舶Ｘの速度Ｖを線形補間で計算する。次に、補間部１０３１は、Ｔ＝１（秒）およびＴ＝２（秒）における船舶Ｘの位置を、速度Ｖの積分で計算する。
　そして、補間部１０３１は、Ｔ＝１（秒）およびＴ＝２（秒）における船舶Ｘの位置情報および速度情報を含む移動体情報を生成する。
　このように、補間部１０３１は、時間補間処理において、船舶の速度情報を補間した上で船舶の位置情報を補間することで移動体情報の補間を行うため、図２に示すように、秒毎の船舶の位置は必ずしも等間隔にはならない。
　補間部１０３１は、時間補間処理により新たに生成した移動体情報を、記憶部１０２に記憶させる。
　データ処理部１０３の間引き部１０３２は、カメラ較正装置４００から出力された、カメラ２００の内部パラメータおよび外部パラメータに基づき、地図上における、カメラ２００の撮影範囲を計算する。そして、間引き部１０３２は、移動体情報で示される船舶の存在位置が、計算された撮影範囲の外となる移動体情報を、後段の、教師データを生成するための処理の対象外とする。具体的には、例えば、間引き部１０３２は、移動体情報で示される船舶の存在位置が、撮影範囲の外となる移動体情報に、対象外フラグを付与する。これによって、移動体情報の間引きが行われる。なお、間引き部１０３２による間引き処理は、補間部１０３１が時間補間処理を行った後の移動体情報に対して行うものとしてもよいし、補間部１０３１が時間補間処理を行う前の移動体情報に対して行うものとしてもよい。
　移動体情報は、カメラ２００による撮影範囲よりも広い範囲に位置する移動体について取得され得る情報であるため、間引き部１０３２が不要な移動体情報を間引いておくことで、後段の処理が軽くなる。
　ここで、図３は、実施の形態１における、間引き部１０３２による間引き処理のイメージの一例を示す図である。
　図３において、３０１で示す範囲が、カメラ２００の撮影範囲である。間引き部１０３２は、カメラ較正装置４００から出力された、カメラ２００の内部パラメータおよび外部パラメータに基づき、当該撮影範囲を計算する。
　また、図３において、３０２で示す丸印が、移動体情報に基づく各船舶の存在位置を示す。
　間引き部１０３２は、船舶の存在位置が撮影範囲３０１の外であることを示す移動体情報を間引く。具体的には、間引き部１０３２は、船舶の存在位置が撮影範囲３０１の外であることを示す移動体情報に、対象外フラグを付与し、後段の処理で当該移動体情報を使用しないようにする。
　画像取得部１０４は、カメラ２００が撮影し、記憶装置３００に記憶されている教師データ生成用画像を取得する。画像取得部１０４は、教師データ生成用画像を、フレーム単位で取得する。記憶装置３００に複数フレームの教師データ生成用画像が記憶されている場合、画像取得部１０４は、記憶されている教師データ生成用画像を順に取得する。以下、画像取得部１０４が記憶装置３００から取得した教師データ生成用画像を、「特定教師データ生成用画像」ともいう。
　画像取得部１０４の撮影時刻取得部１０４１は、記憶装置３００から取得した特定教師データ生成用画像について、撮影時刻を取得する。
　撮影時刻取得部１０４１は、特定教師データ生成用画像の撮影時刻を、例えば、撮影開始時刻からのフレーム数で判断すればよい。撮影開始時刻は、例えば、記憶装置３００に記憶されているものとする。また、例えば、カメラ２００が監視カメラである場合等、カメラ２００が撮影する画像に撮影時刻が文字で重畳表示されている場合、撮影時刻取得部１０４１は、重畳表示されている文字から、撮影時刻を取得するようにしてもよい。
　そして、画像取得部１０４は、記憶部１０２を参照し、記憶部１０２から、特定教師データ生成用画像と対応する移動体情報を抽出する。特定教師データ生成用画像と対応する移動体情報とは、特定教師データ生成用画像の撮影時刻と、移動体情報に含まれる、当該移動体情報の受信時刻とが一致する移動体情報をいう。なお、画像取得部１０４が抽出する移動体情報は、データ処理部１０３によって、補間および間引きが行われた後の移動体情報である。また、実施の形態１において、特定教師データ生成用画像の撮像時刻と、移動体情報の受信時刻とが一致するとは、厳密に一致していることを必須としない。画像取得部１０４は、特定教師データ生成用画像の撮像時刻と移動体情報の受信時刻との差が予め許容範囲として設定された範囲内である等、特定教師データ生成用画像が撮影された際の移動体の位置がある程度わかる移動体情報であれば、当該移動体情報の受信時刻は特定教師データ生成用画像の撮像時刻と一致しているとみなす。
　画像取得部１０４は、抽出した移動体情報を、特定教師データ生成用画像と対応付けて、立方体領域設定部１０５に出力する。
　また、画像取得部１０４は、特定教師データ生成用画像の撮像時刻と一致する受信時刻の複数の移動体情報が存在する場合、全ての移動体情報を抽出する。例えば、同一時刻に複数の船舶が特定教師データ生成用画像の撮影範囲に存在する場合、当該特定教師データ生成用画像と対応付けられる移動体情報は複数存在することになる。
　立方体領域設定部１０５は、画像取得部１０４から出力された特定教師データ生成用画像に、当該特定教師データ生成用画像に対応付けられている移動体情報に基づき、移動体情報で示される船舶の位置を表わす立方体を設定する。
　実施の形態１では、立方体領域設定部１０５は、移動体情報に基づき、船舶の幅、長さ、および、角度を特定し、当該船舶を囲む立方体（以下「移動体包囲立方体」という。）の座標を設定する。なお、立方体領域設定部１０５が設定する移動体包囲立方体の座標は、移動体包囲立方体の８つの頂点の座標である。以下、立方体領域設定部１０５が設定する、移動体包囲立方体の各頂点の座標を、立方体座標という。
　このとき、立方体領域設定部１０５は、立方体座標を、地球中心座標系で設定する。
　ここで、図４は、実施の形態１で用いる座標系の定義について説明するための図である。図４Ａは、地球中心座標系の定義を説明するための図（富山高等専門学校　航海科学研究室ホームページより引用）であり、図４Ｂは、カメラ座標系の定義を説明するための図である。
　カメラ２００の内部パラメータによって設定可能な３×３の内部行列と、カメラ２００の回転角およびカメラ２００の位置の情報から計算可能な４×３の外部行列により、地球中心座標系とカメラ座標系の間の座標の変換が可能である。
　立方体領域設定部１０５が設定する移動体包囲立方体の幅は船舶幅であり、移動体包囲立方体の長さは船舶の船体の長さである。上述のとおり、ＡＩＳが発信する情報に船舶の高さ情報は含まれていないため、移動体情報にも船舶の高さ情報は含まれていない。したがって、立方体領域設定部１０５は、移動体包囲立方体の高さについては、仮の値を設定する。仮の値とは、例えば、実際の船舶の高さより十分に大きいと想定される値であり、ユーザ等が予め設定可能とする。実施の形態１では、一例として、立方体領域設定部１０５は、移動体包囲立方体の高さには、船舶幅の２倍の値を設定するものとする。
　画像取得部１０４から出力された特定教師データ生成用画像に対応付けられている移動体情報が複数ある場合、立方体領域設定部１０５は、特定教師データ生成用画像に対応付けられた全ての移動体情報で示される全ての船舶に対して、当該船舶を囲む移動体包囲立方体を設定する。
　立方体領域設定部１０５は、設定した各立方体座標を、特定教師データ生成用画像の、対応する移動体情報に付与して、座標変換部１０６に出力する。
　なお、画像取得部１０４から特定教師データ生成用画像が複数出力される場合、立方体領域設定部１０５は、特定教師データ生成用画像毎に、当該特定教師データ生成用画像に対応付けられている移動体情報で示される船舶を囲む移動体方位立方体を設定する。
　座標変換部１０６は、カメラ較正装置４００から出力される、カメラ２００の内部パラメータおよび外部パラメータを用いて、立方体領域設定部１０５から出力された特定教師データ生成用画像に対応付けられている移動体情報に付与された立方体座標を、カメラ座標系（図４Ｂ参照）に変換する。
　上述のとおり、カメラ２００の内部パラメータによって設定可能な３×３の内部行列と、カメラ２００の回転角およびカメラ２００の位置の情報から計算可能な４×３の外部行列により、地球中心座標系とカメラ座標系の間の座標の変換が可能である。
　座標変換部１０６は、以下の式（１）によって、立方体座標を、カメラ座標系に変換する。
　式（１）に示すｕが、カメラ座標系におけるｘ座標に該当し、式（１）に示すｖが、カメラ座標系におけるｙ座標に該当する。
Figure JPOXMLDOC01-appb-I000001
　式（１）において、ｆｘおよびｆｙは焦点距離（単位：ピクセル）である。
　立方体領域設定部１０５が立方体座標（Ｘ，Ｙ，Ｚ）を設定し、座標変換部１０６は、立方体領域設定部１０５が設定した立方体座標（Ｘ，Ｙ，Ｚ）を、式（１）を用いてカメラ座標系の座標（ｕ，ｖ）に変換する。なお、地球中心座標系とカメラ座標系の間の座標の変換の技術は、既知の技術である。
　立方体領域設定部１０５から出力された特定教師データ生成用画像に対応付けられている移動体情報が複数ある場合、座標変換部１０６は、特定教師データ生成用画像に対応付けられた全ての移動体情報に付与された立方体座標を、それぞれ、カメラ座標系に変換する。
　座標変換部１０６は、カメラ座標系に変換した、変換後の各立方体座標（以下「変換後座標」という。）を、特定教師データ生成用画像の、対応する移動体情報に付与して、最小矩形計算部１０７に出力する。
　なお、立方体領域設定部１０５から特定教師データ生成用画像が複数出力される場合、座標変換部１０６は、特定教師データ生成用画像毎に、当該特定教師データ生成用画像に対応付けられている各移動体情報に付与された各立方体座標を、カメラ座標系に変換する。
　最小矩形計算部１０７は、座標変換部１０６から出力された特定教師データ生成用画像に対応付けられている移動体情報について、当該移動体情報に付与された変換後座標に基づき、当該変換後座標全てを含む最小矩形を計算する。
　具体的には、最小矩形計算部１０７は、移動体情報に対応付けられている全て（８つ）の変換後座標のｘ座標のうちの最小値と、全てのカメラ座標のｙ座標のうちの最小値を、当該移動体情報で示される船舶に対応する最小矩形の枠の左上の座標として定義する。また、最小矩形計算部１０７は、全てのカメラ座標のｘ座標のうちの最大値と、全てのカメラ座標のｙ座標のうちの最大値を、当該移動体情報を示される船舶に対応する最小矩形の枠の右下の座標として定義する。
　最小矩形計算部１０７は、計算した最小矩形の座標を、特定教師データ生成用画像の、対応する移動体情報に付与する。
　座標変換部１０６から出力された特定教師データ生成用画像に対応付けられている移動体情報が複数ある場合、最小矩形計算部１０７は、特定教師データ生成用画像に対応付けられた全ての移動体情報について、最小矩形を計算する。
　なお、座標変換部１０６から特定教師データ生成用画像が複数出力される場合、最小矩形計算部１０７は、特定教師データ生成用画像毎に、当該特定教師データ生成用画像に対応付けられている各移動体情報について、最小矩形を計算する。
　最小矩形計算部１０７は、移動体情報に最小矩形の座標を付与した特定教師データ生成用画像を、時系列で、例えば、記憶部１０２、または、教師データ生成装置１００が内部に備える記憶領域に一時記憶させる。
　背景画像生成部１０８は、特定教師データ生成用画像毎に、当該特定教師データ生成用画像上に船舶が存在しない場合の合成背景画像を生成する。
　背景画像生成部１０８が合成背景画像を生成する手順について説明する。
　まず、背景画像生成部１０８のマスク設定部１０８１は、最小矩形計算部１０７によって一時記憶されている特定教師データ生成用画像について、それぞれ、当該特定教師データ生成用画像に対応付けられている移動体情報に基づき、特定教師データ生成用画像上にマスクを設定した画像を生成する。実施の形態１において、マスク設定部１０８１が生成した、特定教師データ生成用画像にマスクを設定した画像を、「マスク設定画像」というものとする。具体的には、マスク設定部１０８１は、移動体情報で示される、船舶の長さ、および、船舶の回転角の情報に基づき、マスクの横幅を計算する。そして、マスク設定部１０８１は、特定教師データ生成用画像の縦幅をマスクの縦幅とし、当該縦幅と計算した横幅とからなる領域を、マスクに決定する。マスク設定部１０８１は、特定教師データ生成用画像上に決定したマスクが設定されたマスク設定画像を生成する。
　マスク設定部１０８１は、生成したマスク設定画像を、一時記憶されている特定教師データ生成用画像の、対応する移動体情報に付与する。
　一時記憶されている特定教師データ生成用画像に対応付けられている移動体情報が複数ある場合、マスク設定部１０８１は、特定教師データ生成用画像に対応付けられた全ての移動体情報について、当該移動体情報に基づいてマスクを設定したマスク設定画像を生成する。例えば、ある特定教師データ生成用画像に対応付けられている移動体情報が３つあるとすると、当該３つそれぞれに対して、マスク設定部１０８１によってマスク設定画像が生成され、移動体情報に付与される。
　一時記憶されている各特定教師データ生成用画像について、マスク設定画像を生成し、特定教師データ生成用画像に対応付けられた移動体情報に付与すると、背景画像生成部１０８は、一時記憶されている特定教師データ生成用画像から、合成背景画像を生成する対象とする特定教師データ生成用画像を決定する。なお、合成背景画像を生成する対象とする特定教師データ生成用画像は、すなわち、後段の処理（詳細は後述する）で教師データを生成する対象となる教師データ生成用画像である。以下、背景画像生成部１０８によって決定された特定教師データ生成用画像を、「決定後教師データ生成用画像」ともいうものとして説明する。背景画像生成部１０８は、例えば、一時記憶されている特定教師データ生成用画像を時系列で順番に、決定後教師データ生成用画像に決定するようにすればよい。
　具体的には、まず、背景画像生成部１０８は、決定後教師データ生成用画像について、移動体情報に付与されたマスク設定画像に設定されているマスクの領域（以下「注目マスク領域」という。）を切り出し、一時記憶されている、当該決定後教師データ生成用画像の前後の特定教師データ生成用画像（以下「比較対象教師データ生成用画像」という。）を確認して、マスクの領域内に船舶が入っていない特定教師データ生成用画像（以下「合成用画像」という。）を検索する。マスクの領域内に船舶が入っていないとは、比較対象教師データ生成用画像の、注目マスク領域に対応する領域に、マスクが設定されていないことをいう。背景画像生成部１０８は、比較対象教師データ生成用画像の移動体情報に付与されているマスク設定画像から、注目マスク領域に対応する領域に、マスクが設定されているか否かを判断すればよい。つまり、背景画像生成部１０８は、比較対象教師データ生成用画像の移動体情報に、注目マスク領域と同じ領域にマスクが設定されたマスク設定画像が付与されていなければ、当該比較対象教師データ生成用画像は、マスクの領域内に船舶が入っていない合成用画像と判断する。
　なお、ここでは、背景画像生成部１０８は、マスクの領域内に船舶が入っていない特定教師データ生成用画像を合成用画像とするものとするが、これは一例に過ぎず、合成用画像は、必ずしもマスクの領域に対応する領域内に船舶が入っていない特定教師データ生成用画像であることを必須としない。例えば、背景画像生成部１０８は、マスクの領域内に多少船舶が入っている特定教師データ生成用画像であっても、合成用画像とするようにしてもよい。
　背景画像生成部１０８は、当該検索を、合成用画像を予め設定されたフレーム数見つけるまで反復する。実施の形態１では、一例として、予め設定されたフレーム数は５フレームとする。
　そして、予め設定されたフレーム数、合成用画像を見つけると、背景画像生成部１０８は、決定後教師データ生成用画像と、見つけた合成用画像の平均をとり、合成背景画像を生成する。このとき、背景画像生成部１０８は、注目マスク領域については、足し合わせを行わないようにする。
　背景画像生成部１０８は、合成背景画像を生成する際には、決定後教師データ生成用画像と合成用画像とを、単純に平均することで合成背景画像を生成してもよいし、当該決定後教師データ生成用画像からみた時差を考慮して、足し合わせる合成用画像に重み付けを行った加重平均によって、合成背景画像を生成するようにしてもよい。
　背景画像生成部１０８は、生成した合成背景画像を、決定後教師データ生成用画像の、対応する移動体情報に付与して、差分計算部１０９に出力する。
　なお、複数の特定教師データ生成用画像をそれぞれ決定後教師データ生成用画像とする場合、背景画像生成部１０８は、順次決定した決定後教師データ生成用画像毎に、合成背景画像を生成する。このように、背景画像生成部１０８が、順次、決定後教師データ生成用画像を決定して、決定後教師データ生成用画像毎に合成背景画像を生成するのは、できるだけ各決定後教師データ生成用画像に近い時間帯の合成背景画像を取得するためである。
　ある決定後教師データ生成用画像において、対応付けられている移動体情報が複数ある場合、背景画像生成部１０８は、決定後教師データ生成用画像に対応付けられた全ての移動体情報について、当該移動体情報に付与されているマスク設定画像に基づき、合成用画像を検索して合成背景画像を生成する。
　差分計算部１０９は、背景画像生成部１０８から出力された決定後教師データ生成用画像と、当該決定後教師データ生成用画像に対応付けられている合成背景画像との差分を計算し、閾値以上の変化がある領域を白、閾値以上の変化がない領域を黒とした差分画像を生成する。より詳細には、差分計算部１０９は、背景画像生成部１０８から出力された決定後教師データ生成用画像と、当該決定後教師データ生成用画像に対応付けられている移動体情報に付与された合成背景画像との差分を計算する。
　二値の差分画像を生成するためには、閾値を適切に設定する必要がある。船舶のない領域については、事前にＡＩＳで取得した情報があるため、ユーザ等は、予め、船舶のない領域が確実に差分なしに分類されるような閾値を設定する。また、差分計算部１０９は、二値化後にラベリング処理を行い、対象となる領域以外に発生している、面積の小さいノイズを除去する。対象となる領域とは、閾値以上の変化がある領域のことであり、当該領域は、船舶が存在する領域である。例えば、波面のきらめき等によって、差分計算部１０９は、当該波面のきらめき等の領域を閾値以上の変化がある領域と判断して差分画像を生成する場合がある。しかし、波面のきらめき等は船舶が存在する領域ではない。そこで、差分計算部１０９は、船舶が存在する領域と判断できる最大領域以外の、面積の小さいノイズを除去する。なお、これは一例に過ぎず、差分計算部１０９は、当該面積の小さいノイズの除去を行うことを必須とはしない。例えば、差分計算部１０９は、明らかに船舶が存在する領域ではないと判断できる程度に面積の小さい領域については、ノイズの除去を行わないようにしてもよい。
　差分計算部１０９は、生成した差分画像を、決定後教師データ生成用画像の、対応する移動体情報に付与して、高さ計算部１１０に出力する。
　背景画像生成部１０８から決定後教師データ生成用画像が複数出力される場合、差分計算部１０９は、決定後教師データ生成用画像毎に、差分画像を生成する。
　ある決定後教師データ生成用画像に対応付けられている移動体情報が複数ある場合、差分計算部１０９は、決定後教師データ生成用画像に対応付けられた全ての移動体情報に付与されている合成背景画像について、それぞれ、決定後教師データ生成用画像との差分画像を生成し、移動体情報に付与する。
　高さ計算部１１０は、決定後教師データ生成用画像に対応付けられている差分画像に基づき、当該決定後教師データ生成用画像上の船舶の高さを計算する。より詳細には、高さ計算部１１０は、決定後教師データ生成用画像に対応付けられている移動体情報に付与された差分画像に基づき、当該決定後教師データ生成用画像上の船舶の高さを計算する。具体的には、高さ計算部１１０は、差分計算部１０９が差分ありと判定した白の領域のｙ座標の最大値および最小値を計算することで、船舶を示す最小矩形の上端および下端のｙ座標を計算する。計算したｙ座標の情報に基づき、高さ計算部１１０は、最小矩形計算部１０７が計算し、移動体情報に付与した最小矩形の枠の上端および下端の情報を更新する。
　高さ計算部１１０は、更新後の最小矩形の情報が反映された決定後教師用データ生成用画像を、教師データ生成部１１１に出力する。
　なお、差分計算部１０９から決定後教師データ生成用画像が複数出力される場合、高さ計算部１１０は、決定後教師データ生成用画像毎に、当該決定後教師データ生成用画像上の各船舶の高さを計算する。
　ある決定後教師データ生成用画像に対応付けられている移動体情報が複数ある場合、高さ計算部１１０は、決定後教師データ生成用画像に対応付けられた全ての移動体情報に付与されている差分画像に基づき、それぞれ、移動体情報に付与されている最小矩形の枠の上端および下端の情報を更新する。
　教師データ生成部１１１は、高さ計算部１１０から出力された、更新後の最小矩形の情報が反映された決定後教師データ生成用画像に基づき、当該決定後教師データの移動体情報に付与された最小矩形の情報を、一時記憶されている特定教師データ生成用画像の移動体情報に付与された最小矩形の情報と置き換える。教師データ生成部１１１は、決定後教師データ生成用画像に反映された更新後の最小矩形の情報を、背景画像生成部１０８が決定後教師データ生成用画像に決定した特定教師データ生成用画像の移動体情報に付与された最小矩形の情報と置き換える。
　また、教師データ生成部１１１は、高さ計算部１１０から出力された、更新後の最小矩形の情報が反映された決定後教師データ生成用画像に基づき、教師データを生成する。
　具体的には、教師データ生成部１１１は、決定後教師データ生成用画像と、高さ計算部１１０が更新した最小矩形の情報とを対応付けて教師データとする。このとき、教師データ生成部１１１は、最小矩形の情報に加えて、船舶の種別等、移動体情報に含まれる情報も、教師データに含めるようにする。教師データ生成部１１１が生成する教師データのフォーマットは、例えば、Ｐａｓｃａｌ　ＶＯＣ（Ｖｉｓｕａｌ　Ｏｂｊｅｃｔ　Ｃｌａｓｓｅｓ）のようなｊｓｏｎ（ＪａｖａＳｃｒｉｐｔ　Ｏｂｊｅｃｔ　Ｎｏｔａｔｉｏｎ）（ＪａｖａＳｃｒｉｐｔは登録商標）形式等が想定される。なお、最小矩形の情報は、例えば、最小矩形の左上と右下の座標の情報を複数まとめた情報である。
　教師データ生成部１１１は、教師データとして、決定後教師データ生成用画像上に最小矩形を重畳表示させた画像を生成してもよい。具体的には、例えば、教師データ生成部１１１は、決定後教師データ生成用画像中の船舶の位置を矩形で囲った画像を、教師データとして生成してもよい。また、教師データ生成部１１１は、最小矩形の他に、当該最小矩形で表される船舶が発信している、当該船舶の自己の情報を、教師データに含めるようにしてもよい。船舶が発信している当該船舶の自己の情報とは、自船の進行方向、船名、速度、船種、船幅、船体の長さ、船舶識別番号、状態、または、喫水位置等の情報である。教師データ生成部１１１がこれらの情報を教師データに含めるようにすることで、例えば、船舶の検出だけでなく、種別の分類が可能な機械学習用データセットを生成することができ、更に詳細な画像認識を可能とすることができる。
　また、教師データ生成部１１１は、決定後教師データ生成用画像上に最小矩形を重畳させるのではなく、例えば、差分画像の周囲のパスをベクトル情報として決定後教師データ生成用画像と対応付けた教師データを生成するようにしてもよい。
　教師データ生成部１１１は、生成した教師データを、教師データ出力部１１２に出力する。
　なお、高さ計算部１１０から決定後教師データ生成用画像が複数出力される場合、教師データ生成部１１１は、決定後教師データ生成用画像毎に、一時記憶されている特定教師データ生成用画像との置換えを行い、決定後教師データ生成用画像毎に、教師データを生成する。
　ある決定後教師データ生成用画像に対応付けられている移動体情報が複数ある場合、教師データ生成部１１１は、決定後教師データ生成用画像に対応付けられた全ての移動体情報に付与されている最小矩形の情報を、一時記憶されている特定教師データ生成用画像の移動体情報に付与された最小矩形の情報と置き換える。また、ある決定後教師データ生成用画像に対応付けられている移動体情報が複数ある場合、教師データ生成部１１１は、決定後教師データ生成用画像に対応付けられた各移動体情報の分だけ、移動情報に付与された更新後の最小矩形の情報が反映された決定後教師データ生成用画像に基づき、教師データを生成する。
　教師データ出力部１１２は、教師データ生成部１１１が生成した教師データを出力する。
　図５は、実施の形態１において、教師データ生成装置１００が、船舶の高さ情報を計算するための背景画像を生成し、実際に船舶の高さを計算するまでの処理のイメージを示す図である。
　図５Ａに示すように、カメラ２００が撮影した画像中の船舶について、ＡＩＳから得られる移動体情報によれば、当該船舶の船体の長さの情報は得られるが、船舶の高さの情報は得られない。
　そこで、教師データ生成装置１００において、背景画像生成部１０８が、マスクを設定したマスク設定画像を生成した上で決定後教師データ生成用画像および合成対象画像を複数枚足し合わせて平均することで、背景画像を生成する（図５Ｂ）。なお、図５Ｂでは、説明の簡単のため、背景画像を生成するもととなる画像を３フレームのみ図示しているが、実施の形態１では、背景画像生成部１０８は、背景が写っている合成対象画像が最低限５フレーム含まれるように、前後の特定教師データ生成用画像を順に検索する。
　そして、差分計算部１０９が、決定後教師データ生成用画像と背景画像との差分を計算し、高さ計算部１１０が決定後教師データ生成用画像中の各船舶の高さを更新する（図５Ｃ）。
　次に、実施の形態１に係る教師データ生成装置１００を備えるデータ収集装置１の動作について説明する。
　図６Ａ，図６Ｂは、実施の形態１に係る教師データ生成装置１００を備えるデータ収集装置１の動作を説明するためのフローチャートである。
　カメラ２００は、船舶が存在し得る海上を撮影し、撮影した教師データ生成用画像を記憶装置３００に記憶させる（ステップＳＴ６０１）。
　なお、データ収集装置１において、カメラ２００は、所定のフレーム数の画像を撮影するまで、ステップＳＴ６０１の動作を行う。
　移動体情報受信機６００は、移動体情報受信アンテナ５００経由で、移動体情報を受信し、教師データ生成装置１００に出力する（ステップＳＴ６０２）。
　移動体情報取得部１０１は、ステップＳＴ６０２にて移動体情報受信機６００から出力された移動体情報を取得する。そして、移動体情報取得部１０１は、移動体情報受信機６００から取得した移動体情報を、記憶部１０２に記憶させる（ステップＳＴ６０３）。
　データ処理部１０３の補間部１０３１は、画像取得部１０４によって取得された、互いに異なる時刻で撮影された複数の教師データ生成用画像にそれぞれ対応する移動体情報が存在するよう、移動体情報取得部１０１が取得した移動体情報に対して時間補間を行い、新たに生成した移動体情報を、記憶部１０２に記憶させる（ステップＳＴ６０４）。
　データ処理部１０３の間引き部１０３２は、カメラ較正装置４００から出力された、カメラ２００の内部パラメータおよび外部パラメータに基づき、地図上における、カメラ２００の撮影範囲を地図上で計算する。そして、間引き部１０３２は、移動体情報で示される船舶の存在位置が、計算した撮影範囲の外となる移動体情報を、後段の、教師データを生成するための処理の対象外とする間引きを行う（ステップＳＴ６０５）。
　ステップＳＴ６０１にて、カメラ２００が所定のフレーム数の画像を撮影すると、ステップＳＴ６０６以降の処理に進む。
　画像取得部１０４は、特定教師データ生成用画像を取得する。そして、画像取得部１０４の撮影時刻取得部１０４１は、記憶装置３００から取得した特定教師データ生成用画像について、撮影時刻を取得する（ステップＳＴ６０６）。
　画像取得部１０４は、記憶部１０２を参照し、記憶部１０２から、特定教師データ生成用画像と対応する移動体情報を抽出する（ステップＳＴ６０７）。
　画像取得部１０４は、抽出した移動体情報を、特定教師データ生成用画像と対応付けて、立方体領域設定部１０５に出力する。
　立方体領域設定部１０５は、ステップＳＴ６０７にて画像取得部１０４から出力された特定教師データ生成用画像に、当該特定教師データ生成用画像に対応付けられている移動体情報に基づき、移動体情報で示される船舶の位置を表わす立方体を設定する。具体的には、立方体領域設定部１０５は、移動体情報に基づき、船舶の幅、長さ、および、角度を特定し、当該船舶を囲む移動体包囲立方体の座標を設定する（ステップＳＴ６０８）。
　立方体領域設定部１０５は、設定した立方体座標を、特定教師データ生成用画像の、対応する移動体情報に付与して、座標変換部１０６に出力する。
　座標変換部１０６は、カメラ較正装置４００から出力される、カメラ２００の内部パラメータおよび外部パラメータを用いて、ステップＳＴ６０８にて立方体領域設定部１０５から出力された特定教師データ生成用画像に対応付けられている移動体情報に付与された立方体座標を、変換後座標に変換する（ステップＳＴ６０９）。
　座標変換部１０６は、変換後座標を、特定教師データ生成用画像の、対応する移動体情報に付与して、最小矩形計算部１０７に出力する。
　最小矩形計算部１０７は、ステップＳＴ６０９にて座標変換部１０６から出力された特定教師データ生成用画像に対応付けられている移動体情報について、当該移動体情報に付与された変換後座標に基づき、当該変換後座標全てを含む最小矩形を計算する（ステップＳＴ６１０）。
　最小矩形計算部１０７は、計算した最小矩形の座標を、特定教師データ生成用画像の、対応する移動体情報に付与する。
　最小矩形計算部１０７は、移動体情報に最小矩形の座標を付与した特定教師データ生成用画像を、時系列で、例えば、記憶部１０２、または、教師データ生成装置１００が内部に備える記憶領域に一時記憶させる。
　ステップＳＴ６０６～ステップＳＴ６１０の動作は、特定教師データ生成用画像毎に行われる。また、１フレームの特定教師データ生成用画像に、複数の移動体情報が対応付けられている場合、対応付けられた移動体情報の分だけ、ステップＳＴ６０８～ステップＳＴ６１０の動作が繰り返される。
　背景画像生成部１０８のマスク設定部１０８１は、ステップＳＴ６１０にて一時記憶された特定教師データ生成用画像について、それぞれ、当該特定教師データ生成用画像に対応付けられている移動体情報に基づき、特定教師データ生成用画像上にマスクを設定したマスク設定画像を生成する（ステップＳＴ６１１）。
　そして、背景画像生成部１０８は、一時記憶されている特定教師データ生成用画像から、順に決定後教師データ生成用画像を決定し、当該決定後教師データ生成用画像の合成背景画像を生成する（ステップＳＴ６１２）。
　背景画像生成部１０８は、生成した合成背景画像を、決定後教師データ生成用画像と対応付けて、差分計算部１０９に出力する。
　差分計算部１０９は、ステップＳＴ６１２にて背景画像生成部１０８から出力された決定後教師データ生成用画像と、当該決定後教師データ生成用画像に対応付けられている合成背景画像との差分を計算し、閾値以上の変化がある領域を白、閾値以上の変化がない領域を黒とした差分画像を生成する（ステップＳＴ６１３）。
　差分計算部１０９は、生成した差分画像を、決定後教師データ生成用画像と対応付けて、高さ計算部１１０に出力する。
　高さ計算部１１０は、決定後教師データ生成用画像に対応付けられている差分画像に基づき、当該決定後教師データ生成用画像上の船舶の高さを計算する（ステップＳＴ６１４）。
　高さ計算部１１０は、更新後の最小矩形の情報が反映された決定後教師用データ生成用画像を、教師データ生成部１１１に出力する。
　教師データ生成部１１１は、ステップＳＴ６１４にて高さ計算部１１０から出力された、更新後の最小矩形の情報が反映された決定後教師データ生成用画像に基づき、教師データを生成する（ステップＳＴ６１５）。教師データ生成部１１１は、生成した教師データを、教師データ出力部１１２に出力する。
　なお、このとき、教師データ生成部１１１は、ステップＳＴ６１４にて高さ計算部１１０から出力された、更新後の最小矩形の情報が反映された決定後教師データ生成用画像に基づき、当該決定後教師データの移動体情報に付与された最小矩形の情報を、一時記憶されている特定教師データ生成用画像の移動体情報に付与された最小矩形の情報と置き換える。
　教師データ出力部１１２は、ステップＳＴ６１５にて教師データ生成部１１１が生成した教師データを出力する（ステップＳＴ６１６）。
　ステップＳＴ６１２～ステップＳＴ６１６の動作は、決定後教師データ生成用画像毎に行われる。また、１フレームの決定後教師データ生成用画像に、複数の移動体情報が対応付けられている場合、対応付けられた移動体情報の分だけ、ステップＳＴ６１２～ステップＳＴ６１６の動作が繰り返される。
　教師データ出力部１１２が教師データを出力すると、制御部（図示省略）が、記憶装置３００に記憶されている画像、および、一時記憶させている教師データ生成用画像等を削除する。制御部は、画像および教師データ生成用画像等に、処理済フラグを付与する等してもよい。
　なお、実施の形態１では、上述のように、教師データ生成装置１００は、教師データ生成用画像（決定後教師データ生成用画像）毎に、当該教師データ生成用画像上の船舶の高さを計算する都度、教師データを生成し、出力するようにしているが、これは一例に過ぎない。
　例えば、教師データ生成装置１００は、全ての教師データ生成用画像について、当該全ての教師データ生成用画像上の船舶の高さを計算して教師データを生成し、生成した教師データをまとめて出力するようにしてもよい。
　図７Ａ，図７Ｂは、実施の形態１に係る教師データ生成装置１００を備えるデータ収集装置１のハードウェア構成の一例を示す図である。
　実施の形態１において、移動体情報取得部１０１と、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２の機能は、処理回路７０１により実現される。すなわち、データ収集装置１は、移動体を検出するための教師データを生成する制御を行うための処理回路７０１を備える。
　処理回路７０１は、図７Ａに示すように専用のハードウェアであっても、図７Ｂに示すようにメモリ７０７に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）７０６であってもよい。
　処理回路７０１が専用のハードウェアである場合、処理回路７０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
　処理回路７０１がＣＰＵ７０６の場合、移動体情報取得部１０１と、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、移動体情報取得部１０１と、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）７０２、メモリ７０７等に記憶されたプログラムを実行するＣＰＵ７０６、またはシステムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ７０２、またはメモリ７０７等に記憶されたプログラムは、移動体情報取得部１０１と、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ７０７とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、移動体情報取得部１０１と、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、移動体情報取得部１０１については専用のハードウェアとしての処理回路７０１でその機能を実現し、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２については処理回路がメモリ７０７に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　また、記憶装置３００および記憶部１０２は、メモリ７０７を使用する。なお、これは一例であって、記憶装置３００および記憶部１０２は、ＨＤＤ７０２、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、または、ＤＶＤ等によって構成されるものであってもよい。
　また、データ収集装置１は、移動体情報発信装置等との通信を行う、入力インタフェース装置７０３、および、出力インタフェース装置７０４を有する。
　また、データ収集装置１は、移動体情報受信アンテナ５００、移動体情報受信機６００、カメラ較正装置４００、および、カメラ２００等の撮影装置７０５を備える。
　以上のように、実施の形態１によれば、教師データ生成装置１００は、移動体が撮影された教師データ生成用画像を取得する画像取得部１０４と、移動体の属性情報と当該移動体の位置情報とを含む移動体情報を発信する移動体情報発信装置から発信された、当該移動体に関する移動体情報を取得する移動体情報取得部１０１と、画像取得部１０４が取得した教師データ生成用画像と、移動体情報取得部１０１が取得した移動体情報とに基づき、教師データを生成する教師データ生成部１１１とを備えるように構成した。そのため、従来のように、事前に設計された画像認識の処理精度の影響を受けることを低減し、信頼性の高い教師データを生成することができる。
　また、既存の、ＡＩＳ等の移動体情報発信装置から発信される情報をもとに教師データを生成するため、従来のような重い画像処理を必要とせず、教師データ生成の省力化が可能となる。
　また、教師データ生成装置１００は、画像取得部１０４によって取得された、互いに異なる時刻で撮影された複数の教師データ生成用画像にそれぞれ対応する移動体情報が存在するよう、移動体情報取得部１０１が取得した移動体情報の時間補間を行う補間部１０３１を備え、教師データ生成部１１１は、補間部１０３１が時間補間を行った後の移動体情報に基づき、教師データを生成するようにした。そのため、教師データ生成用画像の取得タイミングと、移動体情報の取得タイミングが異なる場合であっても、教師データ生成用画像と対応する移動体情報を生成し、当該教師データ生成用画像と当該移動体情報に基づいて教師データを生成することができる。
　また、教師データ生成装置１００は、移動体情報取得部１０１が取得した移動体情報について、当該移動体情報で示される移動体の存在位置が、教師データ生成用画像の撮影範囲外となる場合、当該撮影範囲外となる当該移動体情報を、教師データ生成部１１１が教師データを生成するための移動体情報から除外する間引き部１０３２を備えるようにした。そのため、不要なデータを間引き、教師データ生成のための処理を軽くすることができる。
　また、移動体が船舶であり、移動体情報発信装置がＡＩＳである場合、教師データ生成装置１００は、教師データ生成用画像（決定後教師データ生成用画像）毎に、当該教師データ生成用画像上に船舶が存在しない場合の合成背景画像を生成する背景画像生成部１０８と、教師データ生成用画像と、当該教師データ生成用画像に対応付けられている合成背景画像との差分を計算し、差分画像を生成する差分計算部１０９と、教師データ生成用画像に対応付けられている差分画像に基づき、教師データ生成用画像上の船舶の高さを計算する高さ計算部１１０を備え、教師データ生成部１１１は、高さ計算部１１０が計算した船舶の高さの情報を含む教師データを生成するようにした。そのため、ＡＩＳから船舶の高さの情報が得られなくても、当該船舶の高さの情報を設定できる。
　なお、以上の実施の形態１では、移動体情報発信装置をＡＩＳとし、ＡＩＳから受信する情報からでは、船舶の高さの情報は得られないため、教師データ生成装置１００にて船舶の高さを計算し、教師データに反映するようにした。しかし、これに限らず、移動体情報発信装置から、教師データの生成に必要な情報を過不足なく得られる場合、教師データ生成装置１００は、移動体の高さ等、移動体に関する情報を計算する必要はない。この場合、教師データ生成装置１００において、最小矩形計算部１０７は、移動体の高さに応じた最小矩形を設定するようにすればよい。また、この場合、教師データ生成装置１００は、背景画像生成部１０８、差分計算部１０９、および、高さ計算部１１０を備えない構成とすることができる。
　また、以上の実施の形態１では、教師データ生成装置１００は、データ処理部１０３（補間部１０３１および間引き部１０３２）を備えるものとしたが、補間部１０３１および間引き部１０３２は必須ではない。
　例えば、カメラ２００が教師データ生成用画像を撮影する時間幅と、移動体情報発信装置が移動体情報を発信する時間幅が同じ場合等、移動体情報を補間する必要がなければ、教師データ生成装置１００は、補間部１０３１を備えない構成としてもよい。
　また、例えば、移動体情報発信装置が移動体情報を発信する範囲と、カメラ２００が教師データ生成用画像を撮影する撮影範囲とが同じ場合等、移動体情報を間引く必要がなければ、教師データ生成装置１００は、間引き部１０３２を備えない構成としてもよい。
　また、以上の実施の形態１では、教師データ生成装置１００は、教師データ出力部１１２を備えるものとしたが、教師データ出力部１１２は必須ではない。
　例えば、教師データ生成部１１１が、生成した教師データを、教師データ生成装置１００に記憶させておくようにする場合、教師データ生成装置１００は、教師データ出力部１１２を備えない構成としてもよい。
　また、以上の実施の形態１では、カメラ２００、記憶装置３００、および、カメラ較正装置４００は、データ収集装置１に備えられるものとしたが、これに限らない。カメラ２００、記憶装置３００、および、カメラ較正装置４００は、データ収集装置１の外部の、データ収集装置１からアクセスが可能な場所に備えられるようになっていてもよい。
　カメラ２００がデータ収集装置１の外部に備えられる場合、カメラ２００が移動体を撮影可能な場所に設置されるようになっていればよく、データ収集装置１が、移動体を撮影可能な場所に設置される必要はない。
　例えば、図８に示すように、データ収集装置１と、カメラ２００と、記憶装置３００と、カメラ較正装置４００とがネットワークで接続されたデータ収集システムを構成するようにしてもよい。なお、図８に示すようなデータ収集システムにおいても、カメラ２００と記憶装置３００を一体型としてもよいし、当該一体型のカメラ２００にカメラ較正装置４００がさらに含まれるようにしてもよい。
　また、以上の実施の形態１では、移動体は、船舶であるものとしたが、これは一例に過ぎない。例えば、移動体は、車であってもよい。また、例えば、移動体は、自己位置等の情報を発信可能なデバイスを携帯している人、または、自己位置等の情報を発信可能なデバイスを装着させられている動物であってもよい。
　また、以上の実施の形態１では、カメラ２００は、可視光カメラを前提とするが、これに限らず、カメラ２００は、ＩＲカメラ等としてもよい。カメラ２００をＩＲカメラとすることで、夜間でも船舶の観測が可能となり、例えば、２４時間分の撮影画像を用いて教師データを生成することができる。
　また、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　この発明に係る教師データ生成装置は、画像処理に依存することなく、信頼性の高い教師データを生成することができるように構成したため、画像中の移動体の位置を検出するための教師データを生成する教師データ生成装置に適用することができる。
　１　データ収集装置、１００　教師データ生成装置、１０１　移動体情報取得部、１０２　記憶部、１０３　データ処理部、１０３１　補間部、１０３２　間引き部、１０４　画像取得部、１０４１　撮影時刻取得部、１０５　立方体領域設定部、１０６　座標変換部、１０７　最小矩形計算部、１０８　背景画像生成部、１０８１　マスク設定部、１０９　差分計算部、１１０　高さ計算部、１１１　教師データ生成部、１１２　教師データ出力部、２００　カメラ、３００　記憶装置、４００　カメラ較正装置、５００　移動体情報受信アンテナ、６００　移動体情報受信機、７０１　処理回路、７０２　ＨＤＤ、７０３　入力インタフェース装置、７０４　出力インタフェース装置、７０５　撮影装置、７０６　ＣＰＵ、７０７　メモリ。

Claims (7)

  1. 　判定対象画像中の移動体の位置を検出するための機械学習モデルを構築する際に使用される教師データを生成する、教師データ生成装置であって、
    　前記移動体が撮影された教師データ生成用画像を取得する画像取得部と、
    　前記移動体の属性情報と当該移動体の位置情報とを含む移動体情報を発信する移動体情報発信装置から発信された、当該移動体に関する前記移動体情報を取得する移動体情報取得部と、
    　前記画像取得部が取得した前記教師データ生成用画像と、前記移動体情報取得部が取得した前記移動体情報とに基づき、前記教師データを生成する教師データ生成部
    　とを備えた教師データ生成装置。
  2. 　前記画像取得部によって取得された、互いに異なる時刻で撮影された複数の前記教師データ生成用画像にそれぞれ対応する前記移動体情報が存在するよう、前記移動体情報取得部が取得した前記移動体情報の時間補間を行う補間部を備え、
    　前記教師データ生成部は、前記補間部が前記時間補間を行った後の前記移動体情報に基づき、前記教師データを生成する
    　ことを特徴とする請求項１記載の教師データ生成装置。
  3. 　前記移動体情報取得部が取得した前記移動体情報について、当該移動体情報で示される移動体の存在位置が、前記教師データ生成用画像の撮影範囲外となる場合、当該撮影範囲外となる当該移動体情報を、前記教師データ生成部が前記教師データを生成するための前記移動体情報から除外する間引き部を備えた
    　ことを特徴とする請求項１記載の教師データ生成装置。
  4. 　前記画像取得部が取得した前記教師データ生成用画像毎に、当該教師データ生成用画像に対応する前記移動体情報に基づき、当該移動体情報で示される移動体の位置を表わす立方体の座標を、地球中心座標系にて設定する立方体領域設定部と、
    　前記立方体領域設定部が設定した地球中心座標系の前記立方体の座標を、前記教師データ生成用画像上の座標系に変換し、変換後座標を生成する座標変換部と、
    　前記座標変換部が生成した前記変換後座標に基づき、前記教師データ生成用画像上で、前記変換後座標を含む最小矩形を計算する最小矩形計算部を備え、
    　前記教師データ生成部は、
    　前記最小矩形計算部が計算した最小矩形の情報を含む前記教師データを生成する
    　ことを特徴とする請求項１記載の教師データ生成装置。
  5. 　前記移動体は船舶であり、前記移動体情報発信装置は船舶自動識別装置であって、
    　前記教師データ生成用画像毎に、当該教師データ生成用画像上に前記船舶が存在しない場合の合成背景画像を生成する背景画像生成部と、
    　前記教師データ生成用画像と、当該教師データ生成用画像に対応付けられている前記合成背景画像との差分を計算し、差分画像を生成する差分計算部と、
    　前記教師データ生成用画像に対応付けられている前記差分画像に基づき、前記教師データ生成用画像上の前記船舶の高さを計算する高さ計算部を備え、
    　前記教師データ生成部は、
    　前記高さ計算部が計算した前記船舶の高さの情報を含む前記教師データを生成する
    　ことを特徴とする請求項１記載の教師データ生成装置。
  6. 　判定対象画像中の移動体の位置を検出するための機械学習モデルを構築する際に使用される教師データを生成する、教師データ生成方法であって、
    　画像取得部が、前記移動体が撮影された教師データ生成用画像を取得するステップと、
    　移動体情報取得部が、前記移動体の属性情報と当該移動体の位置情報とを含む移動体情報を発信する移動体情報発信装置から発信された、当該移動体に関する前記移動体情報を取得するステップと、
    　教師データ生成部が、前記画像取得部が取得した前記教師データ生成用画像と、前記移動体情報取得部が取得した前記移動体情報とに基づき、前記教師データを生成するステップ
    　とを備えた教師データ生成方法。
  7. 　判定対象画像中の移動体の位置を検出するための機械学習モデルを構築する際に使用される教師データを生成する、教師データ生成装置であって、
    　前記移動体が撮影された教師データ生成用画像を取得する画像取得部と、
    　前記移動体の属性情報と当該移動体の位置情報とを含む移動体情報を発信する移動体情報発信装置から発信された、当該移動体に関する前記移動体情報を取得する移動体情報取得部と、
    　前記画像取得部が取得した前記教師データ生成用画像と、前記移動体情報取得部が取得した前記移動体情報とに基づき、前記教師データを生成する教師データ生成部とを備えた教師データ生成装置と、
    　前記移動体を撮影する撮影装置とを有する教師データ生成システム。
PCT/JP2018/032756 2018-09-04 2018-09-04 教師データ生成装置、教師データ生成方法、および、教師データ生成システム WO2020049634A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020540899A JP6869440B2 (ja) 2018-09-04 2018-09-04 教師データ生成装置、教師データ生成方法、および、教師データ生成システム
PCT/JP2018/032756 WO2020049634A1 (ja) 2018-09-04 2018-09-04 教師データ生成装置、教師データ生成方法、および、教師データ生成システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/032756 WO2020049634A1 (ja) 2018-09-04 2018-09-04 教師データ生成装置、教師データ生成方法、および、教師データ生成システム

Publications (1)

Publication Number Publication Date
WO2020049634A1 true WO2020049634A1 (ja) 2020-03-12

Family

ID=69723034

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/032756 WO2020049634A1 (ja) 2018-09-04 2018-09-04 教師データ生成装置、教師データ生成方法、および、教師データ生成システム

Country Status (2)

Country Link
JP (1) JP6869440B2 (ja)
WO (1) WO2020049634A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639624A (zh) * 2020-06-10 2020-09-08 深圳市时海科技有限公司 一种基于人工智能的课堂教学及时强化能力评估方法及***
WO2022014220A1 (ja) * 2020-07-13 2022-01-20 古野電気株式会社 学習用データ収集システム、学習用データ収集方法、データ収集装置、プログラム、学習済みモデルの生成方法、学習装置、及び推定装置
WO2023162562A1 (ja) * 2022-02-25 2023-08-31 古野電気株式会社 物標監視システム、物標監視方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104660994A (zh) * 2015-02-09 2015-05-27 武汉理工大学 海事专用摄像机及海事智能监控方法
WO2018105122A1 (ja) * 2016-12-09 2018-06-14 富士通株式会社 教師データ候補抽出プログラム、教師データ候補抽出装置、及び教師データ候補抽出方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650705B (zh) * 2017-01-17 2020-04-24 深圳地平线机器人科技有限公司 区域标注方法、装置和电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104660994A (zh) * 2015-02-09 2015-05-27 武汉理工大学 海事专用摄像机及海事智能监控方法
WO2018105122A1 (ja) * 2016-12-09 2018-06-14 富士通株式会社 教師データ候補抽出プログラム、教師データ候補抽出装置、及び教師データ候補抽出方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639624A (zh) * 2020-06-10 2020-09-08 深圳市时海科技有限公司 一种基于人工智能的课堂教学及时强化能力评估方法及***
CN111639624B (zh) * 2020-06-10 2023-09-29 深圳市时海科技有限公司 一种基于人工智能的课堂教学及时强化能力评估方法及***
WO2022014220A1 (ja) * 2020-07-13 2022-01-20 古野電気株式会社 学習用データ収集システム、学習用データ収集方法、データ収集装置、プログラム、学習済みモデルの生成方法、学習装置、及び推定装置
WO2023162562A1 (ja) * 2022-02-25 2023-08-31 古野電気株式会社 物標監視システム、物標監視方法、及びプログラム

Also Published As

Publication number Publication date
JP6869440B2 (ja) 2021-05-12
JPWO2020049634A1 (ja) 2020-12-17

Similar Documents

Publication Publication Date Title
CN108335353B (zh) 动态场景的三维重建方法、装置和***、服务器、介质
US11887318B2 (en) Object tracking
JP5663352B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2020049634A1 (ja) 教師データ生成装置、教師データ生成方法、および、教師データ生成システム
CN112435338B (zh) 电子地图的兴趣点的位置获取方法、装置及电子设备
JP2018022360A (ja) 画像解析装置、画像解析方法およびプログラム
JP6045378B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7334432B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
EP3813024A1 (en) Image processing device and image processing method
JP5531603B2 (ja) 画像処理装置および方法、並びにプログラム
CN115226406A (zh) 图像生成装置、图像生成方法、记录介质生成方法、学习模型生成装置、学习模型生成方法、学习模型、数据处理装置、数据处理方法、推断方法、电子装置、生成方法、程序和非暂时性计算机可读介质
US20210319234A1 (en) Systems and methods for video surveillance
KR20160078724A (ko) 카메라 감시 영역 표시 방법 및 장치
Placitelli et al. Low-cost augmented reality systems via 3D point cloud sensors
WO2022076655A1 (en) Real-time cross-spectral object association and depth estimation
CN113378867A (zh) 一种异步数据融合的方法、装置、存储介质及电子设备
Ozcan et al. A novel fusion method with thermal and RGB-D sensor data for human detection
US20230290061A1 (en) Efficient texture mapping of a 3-d mesh
CN108335329B (zh) 应用于飞行器中的位置检测方法和装置、飞行器
JP6272685B2 (ja) 全方向画像データを処理するための方法，システム及びロボット
JP2010199713A (ja) オブジェクト検出装置及びオブジェクト検出方法
CN115439328A (zh) 一种图像拼接方法、装置、电子设备及存储介质
JP6218237B2 (ja) 撮影画像を平行化する画像変換プログラム、装置及び方法
JP2020057182A (ja) 画像処理装置、画像処理方法及びプログラム
WO2021253189A1 (en) Electric device, scanning method of controlling electric device, and computer readable storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18932727

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020540899

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18932727

Country of ref document: EP

Kind code of ref document: A1