WO2023176078A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2023176078A1
WO2023176078A1 PCT/JP2022/046733 JP2022046733W WO2023176078A1 WO 2023176078 A1 WO2023176078 A1 WO 2023176078A1 JP 2022046733 W JP2022046733 W JP 2022046733W WO 2023176078 A1 WO2023176078 A1 WO 2023176078A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
target
feature information
imaging
generation
Prior art date
Application number
PCT/JP2022/046733
Other languages
English (en)
French (fr)
Inventor
康彦 金子
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2023176078A1 publication Critical patent/WO2023176078A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the technology of the present disclosure relates to an image processing device, an image processing method, and a program.
  • JP-A-8-131403 describes a medical image processing device.
  • the medical image processing apparatus includes a storage means for storing first three-dimensional image data and second three-dimensional image data regarding the same subject and the same site, and a storage means for storing first three-dimensional image data and second three-dimensional image data.
  • Feature point extraction means extracts at least three feature points from each piece of data, and the coordinates of the feature points of the first three-dimensional image data are approximate to the coordinates of the feature points of the corresponding second three-dimensional image data.
  • the present invention is characterized by comprising a coordinate transformation means for coordinate transformation of at least one of the first three-dimensional image data and the second three-dimensional image data.
  • the image processing device includes a restoration processing unit that restores an input image using a restoration filter using a blur parameter.
  • the image processing device includes an image analysis unit that calculates edge strength for each pixel of an input image, extracts points where the edge strength exceeds a pre-processing threshold as feature points, and other points as non-feature points, and a blur parameter.
  • a blur parameter determination unit that determines a blur parameter that minimizes the number of non-feature points whose edge strength is equal to or higher than a post-processing threshold after restoration filter processing by changing the value of . shall be.
  • An imaging device is described in JP-A-2007-206738.
  • An imaging device includes an optical system formed so that the amount of out-of-focus is approximately constant at a focal point and the distance before and after the focal point, an imaging device that captures an image of a subject that has passed through the optical system, and an image from the imaging device.
  • the image forming apparatus includes a converting means for generating a restored image signal by correcting the defocus of the image, and a digital filter according to subject conditions used in the converting means. When the captured subject image has feature points of the information code, the conversion means selects a digital filter that is adapted to the feature points and performs blur restoration processing.
  • One embodiment of the technology of the present disclosure provides an image processing device, an image processing method, and a program that can suppress failure of a composite image when a composite image is generated.
  • a first aspect of the technology of the present disclosure includes a processor, and the processor selects a generation target image to be used for generating a composite image from among a plurality of images obtained by capturing images of an imaging target from a plurality of positions. It is determined whether the feature information included and required for generation satisfies predetermined conditions, and if the feature information satisfies the predetermined conditions, frequency enhancement processing is performed on the image to be generated.
  • This is an image processing device that performs
  • the processor further determines whether the feature information satisfies a predetermined condition based on the imaging target information that is information regarding the characteristics of the imaging target.
  • 1 is an image processing device according to a first embodiment
  • a third aspect according to the technology of the present disclosure is the image processing device according to the second aspect, in which the imaging target information includes information indicating the type, color, material, and/or surface state of the imaging target.
  • the feature information is set to any one of the first to third aspects, wherein the feature information includes a first value based on the number of feature points included in the image to be generated.
  • This is an image processing device.
  • the first value is the number of feature points included in an image indicating an overlap region, which is a region where imaging targets partially overlap in the generation target image, or
  • a sixth aspect of the technology of the present disclosure is the fourth aspect or fifth aspect, wherein the predetermined condition is that the first value is equal to or less than a second value, which is a predetermined value.
  • 1 is an image processing device according to an embodiment.
  • a seventh aspect according to the technology of the present disclosure is the image processing device according to the sixth aspect, in which the second value is determined depending on the imaging target.
  • An eighth aspect according to the technology of the present disclosure is the image processing device according to any one of the first to seventh aspects, wherein the frequency enhancement process is a process including a convolution operation using a mask filter.
  • a ninth aspect of the technology of the present disclosure is that the frequency emphasis process is a process that includes performing Fourier transform and performing inverse Fourier transform on data obtained by removing noise from the result of the Fourier transform.
  • An image processing apparatus according to any one of the first to eighth aspects.
  • a tenth aspect according to the technology of the present disclosure is the image processing apparatus according to any one of the first to ninth aspects, wherein parameters used for frequency emphasis processing are set according to an imaging target. be.
  • the processor determines whether the feature information satisfies a predetermined condition on the condition that a signal indicating a start instruction is input, and the start instruction is: An image processing device according to any one of the first to tenth aspects, which is accepted by a reception device.
  • a twelfth aspect according to the technology of the present disclosure is the image processing device according to any one of the first to eleventh aspects, wherein the composite image includes a two-dimensional image and/or a three-dimensional image.
  • a thirteenth aspect according to the technology of the present disclosure is that the imaging target is included in a generation target image used for generating a composite image from among a plurality of images obtained by imaging from a plurality of positions, and Determining whether the feature information required for generation satisfies predetermined conditions, and performing frequency enhancement processing on the generation target image when the feature information satisfies the predetermined conditions.
  • This is an image processing method including.
  • a fourteenth aspect of the technology of the present disclosure is that the computer includes a target image that is included in a generation target image used to generate a composite image among a plurality of images obtained by capturing an image target from a plurality of positions. , and determining whether the feature information required for generation satisfies a predetermined condition, and performing frequency enhancement processing on the generation target image when the feature information satisfies the predetermined condition.
  • This is a program that executes processing including.
  • FIG. 1 is a perspective view showing an example of a flight imaging device.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of an imaging device.
  • FIG. 1 is a block diagram showing an example of a functional configuration of an imaging device.
  • FIG. 2 is an explanatory diagram illustrating an example of imaging processing in a processor.
  • FIG. 2 is an explanatory diagram illustrating an example of imaging processing in a processor.
  • FIG. 3 is an explanatory diagram illustrating an example of feature determination processing in a processor.
  • FIG. 2 is an explanatory diagram illustrating an example of frequency emphasis processing in a processor.
  • FIG. 2 is an explanatory diagram illustrating an example of image synthesis processing in a processor.
  • 3 is a flowchart illustrating an example of the flow of image processing.
  • FIG. 7 is an explanatory diagram illustrating an example of a composite image according to a fourth modification.
  • FIG. 7 is an explanatory diagram illustrating an example of image composition processing according to a modified example.
  • I/F is an abbreviation for "Interface”.
  • RAM is an abbreviation for "Random Access Memory.”
  • EEPROM is an abbreviation for "Electrically Erasable Programmable Read-Only Memory.”
  • CPU is an abbreviation for "Central Processing Unit.”
  • HDD is an abbreviation for “Hard Disk Drive.”
  • SSD is an abbreviation for “Solid State Drive.”
  • DRAM is an abbreviation for "Dynamic Random Access Memory.”
  • SRAM is an abbreviation for "Static Random Access Memory.”
  • CMOS is an abbreviation for "Complementary Metal Oxide Semiconductor.”
  • GPU is an abbreviation for “Graphics Processing Unit.”
  • TPU is an abbreviation for "Tensor Processing Unit”.
  • USB is an abbreviation for “Universal Serial Bus.”
  • ASIC is an abbreviation for “Application Specific Integrated Circuit.”
  • FPGA is an abbreviation for “Field-Programmable Gate Array.”
  • PLD is an abbreviation for “Programmable Logic Device”.
  • SoC is an abbreviation for "System-on-a-chip.”
  • IC is an abbreviation for "Integrated Circuit.”
  • AI is an abbreviation for “Artificial Intelligence.”
  • perpendicular refers to an error that is generally allowed in the technical field to which the technology of the present disclosure belongs, in addition to being perfectly perpendicular, to the extent that it does not go against the spirit of the technology of the present disclosure. It refers to vertical in the sense of including the error of.
  • match refers to not only a perfect match, but also an error that is generally allowed in the technical field to which the technology of the present disclosure belongs, and to the extent that it does not go against the spirit of the technology of the present disclosure. Refers to agreement in the sense of including errors.
  • “equivalent” refers to not only complete equality but also an error that is generally allowed in the technical field to which the technology of the present disclosure belongs, and to the extent that it does not go against the spirit of the technology of the present disclosure. Refers to equality in the sense of including the error of.
  • the term “horizontal direction” refers to an error that is generally allowed in the technical field to which the technology of the present disclosure belongs, in addition to a completely horizontal direction, and is contrary to the spirit of the technology of the present disclosure. Refers to the horizontal direction, including a certain degree of error.
  • vertical direction refers to an error that is generally allowed in the technical field to which the technology of the present disclosure belongs, in addition to a perfect vertical direction, and is contrary to the spirit of the technology of the present disclosure. Refers to the vertical direction with a certain degree of error.
  • the flight imaging device 1 has a flight function and an imaging function, and images the wall surface 2A of the imaging target 2 while flying.
  • the concept of "flight” includes not only the meaning that the flying imaging device 1 moves in the air, but also the meaning that the flying imaging device 1 stands still in the air.
  • the imaging target 2 is an example of an "imaging target” according to the technology of the present disclosure.
  • the wall surface 2A is, for example, a flat surface.
  • a plane refers to a two-dimensional surface (that is, a surface along a two-dimensional direction).
  • the concept of "plane" does not include the meaning of mirror surface.
  • the wall surface 2A is a plane defined in the horizontal direction and the vertical direction (that is, a surface extending in the horizontal direction and the vertical direction).
  • the imaging target 2 having the wall surface 2A is a pier provided on a bridge.
  • the piers are made of reinforced concrete, for example.
  • a bridge pier is cited as an example of the imaging target 2, but the imaging target 2 may be an object other than a bridge pier (for example, a tunnel or a dam).
  • the flight function (hereinafter also simply referred to as "flight function") of the flight imaging device 1 is a function in which the flight imaging device 1 flies based on a flight instruction signal.
  • the flight instruction signal refers to a signal that instructs the flight imaging device 1 to fly.
  • the flight instruction signal is transmitted, for example, from a transmitter 20 for controlling the flight imaging device 1.
  • the transmitter 20 is operated by a user (not shown).
  • the transmitter 20 includes a control section 22 for controlling the flight imaging device 1 and a display device 24 for displaying an image obtained by being imaged by the flight imaging device 1.
  • the display device 24 is, for example, a liquid crystal display.
  • the flight instruction signal is classified into a plurality of instruction signals including a movement instruction signal that instructs the movement and movement direction of the flight imaging device 1 and a standstill instruction signal that instructs the flight imaging device 1 to stand still.
  • a flight instruction signal is transmitted from the transmitter 20, but a flight instruction signal may also be transmitted from a base station (not shown) that sets a flight route for the flight imaging device 1. good.
  • the imaging function (hereinafter also simply referred to as "imaging function”) of the flight imaging device 1 is a function for the flight imaging device 1 to image a subject (for example, the wall surface 2A of the imaging target 2).
  • the flight imaging device 1 includes a flying object 10 and an imaging device 30.
  • the flying object 10 is, for example, an unmanned aircraft such as a drone. Flight functions are realized by the aircraft 10.
  • the flying object 10 has a plurality of propellers 12, and flies when the plurality of propellers 12 rotate.
  • the imaging device 30 is mounted on the aircraft 10.
  • An example of the imaging device 30 is a digital camera.
  • the imaging function is realized by the imaging device 30.
  • the imaging device 30 is provided at the bottom of the flying object 10.
  • an example is given in which the imaging device 30 is provided at the lower part of the aircraft 10, but the imaging device 30 may be provided at the upper part or the front part of the aircraft 10.
  • the imaging device 30 is an example of an "image processing device" according to the technology of the present disclosure.
  • the flight imaging device 1 sequentially images a plurality of regions 3 on the wall surface 2A.
  • Area 3 is an area determined by the angle of view of the flight imaging device 1.
  • a rectangular area is shown as an example of the area 3.
  • a plurality of generation target images 92 and 94 are obtained by sequentially capturing images of the plurality of regions 3 by the imaging device 30.
  • a composite image 90 is generated by combining the plurality of generation target images 92 and 94.
  • the plurality of generation target images 92 and 94 are combined so that adjacent generation target images 92 and 94 partially overlap.
  • the composite image 90 is used, for example, to inspect or survey the wall surface 2A of the imaging target 2.
  • the composite image 90 is a two-dimensional image 90A.
  • the composite image 90 is an example of a "composite image” according to the technology of the present disclosure
  • the two-dimensional image 90A is an example of a "two-dimensional image” according to the technology of the present disclosure.
  • FIG. 1 shows a mode in which each region 3 is imaged by the imaging device 30 in a state where the optical axis OA of the imaging device 30 is perpendicular to the wall surface 2A.
  • the plurality of regions 3 are imaged so that adjacent regions 3 partially overlap each other.
  • the reason why a plurality of regions 3 are imaged so that the adjacent regions 3 partially overlap each other is to create a composite image 90 corresponding to the adjacent regions 3 based on the feature points included in the overlapping portions of the adjacent regions 3. This is to generate.
  • the overlap rate is set to a rate at which the amount of feature points that can generate the composite image 90 is obtained.
  • the overlap rate is set, for example, based on the result of generating the composite image 90, within a range that does not cause failure in the composite image 90, but this is just an example.
  • the overlap rate may be set to a predetermined overlap rate (30% as an example).
  • the generation target image 92 has an overlap image area 95A that is an image area indicating the overlap area 5. Furthermore, the generation target image 94 has an overlap image area 95B that is an image area indicating the overlap area 5. A composite image 90 is generated by combining the overlapping image areas 95A and 95B.
  • the plurality of regions 3 include a region 3 that has already been imaged (i.e., a region 3 that has been imaged by the flight imaging device 1) and a region 3 that has not yet been imaged (i.e., a region 3 that has not been imaged by the flight imaging device 1). area 3).
  • an unimaged region 3 among the plurality of regions 3 will be referred to as an "imaging target region 3A”
  • an already imaged region 3 among the plurality of regions 3 will be referred to as "an imaged region 3A”.
  • the imaged area 3B is referred to as "imaged area 3B".
  • the flight imaging device 1 images a plurality of areas 3 while moving in the horizontal direction.
  • the flight imaging device 1 is configured to display a plurality of images in an order in which a part of the imaging target area 3A and a part of the imaged area 3B that was imaged immediately before (for example, one frame before) the imaging target area 3A overlap. Each region 3 is imaged.
  • FIG. 1 an example in which the flight imaging device 1 images a plurality of areas 3 by moving in the horizontal direction will be described, but this is just an example.
  • the flight imaging device 1 may image a plurality of regions 3 while moving in a zigzag pattern by alternately repeating movement in the horizontal direction and movement in the vertical direction.
  • the imaging device 30 includes a computer 32, a communication device 34, an image sensor 36, an image sensor driver 38, an imaging lens 40, an image memory 42, and an input/output I/F 44.
  • the computer 32 includes a processor 46, a storage 48, and a RAM 50.
  • the processor 46, storage 48, and RAM 50 are interconnected via a bus 52, and the bus 52 is connected to the input/output I/F 44.
  • a communication device 34, an image sensor driver 38, an imaging lens 40, and an image memory 42 are connected to the input/output I/F 44.
  • the computer 32 is an example of a "computer” according to the technology of the present disclosure.
  • the processor 46 is an example of a "processor" according to the technology of the present disclosure.
  • the processor 46 includes, for example, a CPU, and controls the entire imaging device 30.
  • the storage 48 is a nonvolatile storage device that stores various programs, various parameters, and the like. Examples of the storage 48 include an HDD and/or a flash memory (eg, EEPROM and/or SSD).
  • the RAM 50 is a memory in which information is temporarily stored, and is used by the processor 46 as a work memory. Examples of the RAM 50 include DRAM and/or SRAM.
  • the communication device 34 is communicably connected to the transmitter 20, for example.
  • the communication device 34 is connected to the transmitter 20 for wireless communication using a predetermined wireless communication standard. Examples of the predetermined wireless communication standard include Wi-Fi (registered trademark).
  • the communication device 34 is in charge of exchanging information with the transmitter 20. For example, communication device 34 transmits information to transmitter 20 in response to a request from processor 46 .
  • the communication device 34 also receives information transmitted from the transmitter 20 and outputs the received information to the processor 46 via the bus 52.
  • the communication device 34 may be communicably connected to the transmitter 20 and/or the aircraft 10. .
  • the image sensor 36 is connected to an image sensor driver 38.
  • Image sensor driver 38 controls image sensor 36 according to instructions from processor 46 .
  • the image sensor 36 is, for example, a CMOS image sensor. Note that although a CMOS image sensor is exemplified here as the image sensor 36, the technology of the present disclosure is not limited to this, and other image sensors may be used.
  • the image sensor 36 captures an image of a subject (for example, the wall surface 2A of the image capture target 2) under the control of the image sensor driver 38, and outputs image data obtained by capturing the image.
  • the imaging lens 40 is arranged closer to the subject (for example, on the object side) than the image sensor 36.
  • the imaging lens 40 captures subject light that is reflected light from the subject, and forms an image of the captured subject light on the imaging surface of the image sensor 36 .
  • the imaging lens 40 includes a plurality of optical elements (not shown) such as a focus lens, a zoom lens, and an aperture.
  • the imaging lens 40 is connected to the computer 32 via an input/output I/F 44.
  • the plurality of optical elements included in the imaging lens 40 are connected to the input/output I/F 44 via a drive mechanism (not shown) having a power source.
  • a plurality of optical elements included in the imaging lens 40 operate under the control of the computer 32. In the imaging device 30, by operating a plurality of optical elements included in the imaging lens 40, focus, optical zoom, adjustment of shutter speed, etc. are realized.
  • Image data generated by the image sensor 36 is temporarily stored in the image memory 42.
  • the processor 46 acquires image data 39 from the image memory 42 and executes various processes using the acquired image data 39.
  • the composite image 90 when the composite image 90 is generated, it is generated based on the feature points included in the overlapping portion of the adjacent regions 3 (that is, the overlap region 5).
  • the imaging target 2 there are cases where there are few irregularities and/or color changes in the plane that is the imaging target (for example, a flat wall surface of a white pier, etc.). In such a case, the amount of features required to generate the composite image 90 decreases, so the generated composite image 90 may fail.
  • image processing is performed by the processor 46, as shown in FIG. 3 as an example.
  • An image processing program 60 is stored in the storage 48 .
  • the image processing program 60 is an example of a "program" according to the technology of the present disclosure.
  • the processor 46 reads the image processing program 60 from the storage 48 and executes the read image processing program 60 on the RAM 50.
  • the processor 46 performs image processing to generate the composite image 90 without failure according to the image processing program 60 executed on the RAM 50.
  • the processor 46 operates as an imaging control section 62, a feature information generation section 64, an acquisition section 65, a determination section 66, an emphasis processing section 68, a composite image generation section 70, and an output section 72 according to an image processing program 60. This is achieved by
  • the flying object 10 receives a movement instruction signal transmitted from the transmitter 20 in response to a user's operation, and moves to an imaging position based on the received movement instruction signal.
  • the flying object 10 also receives a standstill instruction signal transmitted from the transmitter 20 in response to a user's operation, and stands still at the imaging position based on the received standstill instruction signal.
  • the imaging device 30 receives the imaging start signal transmitted from the transmitter 20 in response to the user's operation, the imaging device 30 executes the imaging process described below.
  • the flying object 10 receives the imaging target information 80 transmitted from the transmitter 20 in response to a user's operation, and stores it in the storage 48 .
  • the imaging target information 80 is information regarding the characteristics of the imaging target 2.
  • the imaging target information 80 is information indicating the type of the imaging target 2 (for example, that the imaging target 2 is a bridge pier).
  • the imaging target information 80 is an example of "imaging target information" according to the technology of the present disclosure.
  • the imaging control unit 62 outputs a first imaging instruction signal 62A to the image sensor 36, thereby causing the image sensor 36 to image the imaging target area 3A.
  • Target image data 91 is obtained by imaging the imaging target region 3A by the image sensor 36 under the control of the imaging control unit 62.
  • the target image data 91 includes image data indicating a generation target image 92.
  • Target image data 91 is stored in storage 48 .
  • the generation target image 92 indicated by the target image data 91 shown in FIG. 4 is the first image for synthesis.
  • the generation target image 92 is an example of a “generation target image” according to the technology of the present disclosure.
  • the generation target image 92 includes feature points corresponding to irregularities and/or color changes in the imaging target area 3A.
  • the feature points 92A included in the generation target image 92 will be referred to as "first feature points 92A.”
  • the feature information generation unit 64 obtains a generation target image 92 based on the target image data 91 stored in the storage 48.
  • the feature information generation unit 64 generates first feature information 92B based on the generation target image 92.
  • the first feature information 92B is information regarding the first feature point 92A included in the generation target image 92.
  • the first feature information 92B is a value determined based on the number of first feature points 92A included in the generation target image 92.
  • the first feature information 92B is an example of "feature information" according to the technology of the present disclosure.
  • the feature information generation unit 64 extracts a first feature point 92A included in the overlap image region 95A in the generation target image 92.
  • the feature information generation unit 64 generates first feature information 92B indicating the number N1 of extracted first feature points 92A (hereinafter also simply referred to as "number of feature points N1").
  • the first feature information 92B generated by the feature information generator 64 is stored in the storage 48.
  • the first feature information 92B also includes information indicating the coordinates of the first feature point 92A.
  • the coordinates of the first feature point 92A indicated by the first feature information 92B are derived, for example, by subjecting the target image data 91 to image processing (for example, high frequency component extraction processing, etc.).
  • the coordinates of the first feature point 92A are, for example, coordinates based on any one of the four vertices of the imaging target area 3A.
  • the flying object 10 when the flying object 10 receives a movement instruction signal transmitted from the transmitter 20 in response to a user's operation, it moves based on the received movement instruction signal.
  • the flying object 10 is moving in the horizontal direction based on the movement instruction signal. Specifically, the moving direction of the flying object 10 is rightward toward the wall surface 2A. The flying object 10 continues to move based on the received movement instruction signal while receiving the movement instruction signal transmitted from the transmitter 20 in response to the user's operation.
  • the imaging control unit 62 outputs a second imaging instruction signal 62B to the image sensor 36, thereby causing the image sensor 36 to image the imaging target area 3A.
  • Target image data 91 is obtained by imaging the imaging target region 3A by the image sensor 36 under the control of the imaging control unit 62.
  • the target image data 91 includes image data indicating a generation target image 94.
  • the generation target image 94 is obtained by being captured by the imaging device 30 when the flying object 10 moves from the position where the generation target image 92 was obtained.
  • Target image data 91 is stored in storage 48 .
  • the generation target image 94 is an example of a “generation target image” according to the technology of the present disclosure.
  • the generation target image 94 includes feature points corresponding to irregularities and/or changes in color of the imaging target area 3A.
  • second feature points 94A the feature points included in the generation target image 94 will be referred to as “second feature points 94A.” Further, hereinafter, when there is no need to distinguish between the “first feature point 92A” and the “second feature point 94A", they will also be simply referred to as “feature points.”
  • the feature information generation unit 64 acquires the generation target image 94 based on the target image data 91 stored in the storage 48.
  • the second feature information 94B is information regarding the second feature point 94A included in the generation target image 94.
  • the second feature information 94B is a value determined based on the number of second feature points 94A included in the generation target image 94.
  • the second feature information 94B is an example of "feature information" according to the technology of the present disclosure.
  • the feature information generation unit 64 extracts a second feature point 94A included in the overlap image region 95B of the generation target image 94.
  • the feature information generation unit 64 generates second feature information 94B indicating the number N2 of extracted second feature points 94A (hereinafter also simply referred to as "number of feature points N2").
  • the second feature information 94B generated by the feature information generator 64 is stored in the storage 48.
  • the number N1 of 1st feature points 92A" and “the number N2 of 2nd feature points 94A” they are also simply called “the number N of feature points.”
  • the number of feature points N is an example of a "first value" according to the technology of the present disclosure.
  • the second feature information 94B also includes information indicating the coordinates of the second feature point 94A.
  • the coordinates of the second feature point 94A are derived by the same method as the coordinates of the first feature point 92A extracted by the feature information generation unit 64.
  • the acquisition unit 65 first acquires the determination start signal 65A output from the transmitter 20 by the user's operation.
  • the feature determination process is started on the condition that the determination start signal 65A is received.
  • the transmitter 20 is an example of a "reception device" according to the technology of the present disclosure.
  • the acquisition unit 65 acquires the imaging target information 80 from the storage 48 .
  • the acquisition unit 65 also acquires the threshold table 82 stored in the storage 48 in advance.
  • the threshold table 82 is a table whose input value is a numerical value indicating the type of imaging target (for example, a bridge pier, a tunnel, etc.), and whose output value is a threshold value t corresponding to the imaging target.
  • the threshold value t is, for example, a numerical value indicating the number of feature points that make it possible to generate a composite image 90 without failure.
  • the threshold value t is predetermined based on, for example, computer simulation, test results using an actual machine, and/or past generation results of the composite image 90.
  • the acquisition unit 65 uses the threshold table 82 to acquire the threshold t according to the imaging target indicated by the imaging target information 80.
  • the threshold value t is an example of a "second value" according to the technology of the present disclosure.
  • the determination unit 66 determines whether the first feature information 92B satisfies a predetermined condition by executing a feature determination process. Specifically, the determination unit 66 acquires the first feature information 92B from the storage 48. The determination unit 66 compares the threshold value t acquired by the acquisition unit 65 and the number of feature points N1 indicated by the first feature information 92B. Here, in the example shown in FIG. 6, the predetermined condition is that the number of feature points N1 is less than or equal to the threshold value t. The determination unit 66 determines that the first feature information 92B satisfies a predetermined condition when the number of feature points N1 is less than or equal to the threshold value t.
  • the determination unit 66 determines whether the second characteristic information 94B satisfies a predetermined condition by executing a characteristic determination process. Specifically, the determination unit 66 acquires the second characteristic information 94B from the storage 48. The determination unit 66 compares the threshold value t acquired by the acquisition unit 65 and the number of feature points N2 indicated by the second feature information 94B. Here, in the example shown in FIG. 6, the predetermined condition is that the number of feature points N2 is less than or equal to the threshold value t. The determination unit 66 determines that the second feature information 94B satisfies a predetermined condition when the number of feature points N2 is less than or equal to the threshold value t. If the determination unit 66 determines that the predetermined condition is satisfied, the feature determination process shifts to frequency emphasis processing by the emphasis processing unit 68.
  • the enhancement processing unit 68 performs frequency enhancement processing on an image that is subject to frequency enhancement processing as a result of the feature determination processing in the determination unit 66.
  • the frequency emphasis process a case will be described in which the frequency emphasis process is performed on the generation target image 92, but the same process is also performed on the generation target image 94.
  • the emphasis processing unit 68 acquires the generation target image 92 from the storage 48.
  • the emphasis processing unit 68 performs frequency emphasis processing on the generation target image 92.
  • Frequency enhancement processing is processing that removes low frequency components that are noise and emphasizes high frequency components that are feature points.
  • FIG. 7 shows an example in which a generation target image 93 is obtained as a result of the emphasis processing unit 68 performing convolution processing using a 3 ⁇ 3 mask filter 68A on a generation target image 92. has been done.
  • the 3 ⁇ 3 mask filter 68A is just an example, and the number of masks is not particularly limited as long as it is an N ⁇ N mask filter 68A (N is a natural number of 2 or more).
  • the emphasis processing unit 68 outputs the generation target image 93 after frequency emphasis processing to the feature information generation unit 64.
  • the feature information generation unit 64 extracts the first feature points 92A included in the generation target image 93 after frequency emphasis processing, and generates first feature information 92B indicating the coordinates and number of the extracted first feature points 92A.
  • the determination unit 66 determines whether or not the first feature information 92B satisfies a predetermined condition by comparing the number of feature points N1 indicated by the first feature information 92B with a threshold value t. If the number of feature points N1 indicated by the first feature information 92B is less than or equal to the threshold t, the determination unit 66 determines that a predetermined condition is satisfied, and the feature determination process shifts to frequency emphasis processing again. .
  • the determination unit 66 determines that the predetermined condition is not satisfied. In this case, the feature determination process shifts to image composition processing in the composite image generation section 70.
  • the composite image generation unit 70 acquires generation target images 92 and 94 from the storage 48.
  • the composite image generation unit 70 performs image composition processing on the generation target images 92 and 94.
  • the image composition process is a process of generating a composite image 90 based on the first feature information 92B and the second feature information 94B.
  • the composite image generation unit 70 generates the composite image 90 by combining the overlap image area 95A of the generation target image 92 and the overlap image area 95B of the generation target image 94 in an overlapping state.
  • the composite image generation unit 70 outputs composite image data 96 indicating the composite image 90 to the output unit 72.
  • the output unit 72 outputs the composite image data 96 input from the composite image generating unit 70 to the outside.
  • the output unit 72 outputs composite image data 96 to the transmitter 20.
  • the transmitter 20 causes the display device 24 to display a composite image 90 indicated by composite image data 96.
  • FIG. 9 shows an example of the flow of image processing according to this embodiment.
  • the flow of image processing shown in FIG. 9 is an example of an "image processing method" according to the technology of the present disclosure.
  • step ST10 the target image data 91 is obtained by capturing the target image area 3A by the image sensor 36 under the control of the image capturing control unit 62.
  • the target image data 91 includes data indicating generation target images 92 and 94.
  • Target image data 91 is stored in storage 48 .
  • step ST12 the image processing moves to step ST12.
  • step ST12 the feature information generation unit 64 generates first feature information 92B for the generation target image 92 acquired from the storage 48. After the process of step ST12 is executed, the image processing moves to step ST14.
  • step ST14 the feature information generation unit 64 generates second feature information 94B for the generation target image 94 acquired from the storage 48. After the process of step ST14 is executed, the image processing moves to step ST16.
  • step ST16 the acquisition unit 65 acquires the imaging target information 80 from the storage 48. After the process of step ST16 is executed, the image processing moves to step ST18.
  • step ST18 the acquisition unit 65 uses the threshold table 82 in the storage 48 to acquire the threshold t according to the type of imaging target indicated by the imaging target information 80. After the process of step ST18 is executed, the image processing moves to step ST20.
  • step ST20 the determination unit 66 determines whether the number N of feature points indicated by the first feature information 92B and the second feature information 94B generated in step ST12 and step ST14, respectively, satisfies the condition that the number N is less than or equal to the threshold value t. judge. If the number of feature points N is less than or equal to the threshold value t, the determination is affirmative and the image processing moves to step ST22. If the number of feature points N is greater than the threshold t, the determination is negative and the image processing moves to step ST24.
  • step ST22 the enhancement processing unit 68 performs frequency enhancement processing on the image for which the number of feature points N was determined to be less than or equal to the threshold t by the determination unit 66 in step ST20. After the process of step ST22 is executed, the image processing returns to step ST12.
  • step ST24 the composite image generation unit 70 generates the composite image 90 by combining the overlap image area 95A of the generation target image 92 and the overlap image area 95B of the generation target image 94 in an overlapping state. generate. In other words, the composite image generation unit 70 generates the composite image 90 based on the feature point 92A indicated by the first feature information 92B and the feature point 94A indicated by the second feature information 94B. After the process of step ST24 is executed, the image processing moves to step ST26.
  • step ST26 the output unit 72 outputs composite image data 96 indicating the composite image 90 generated in step ST24 to the outside. After the process of step ST26 is executed, the image processing moves to step ST28.
  • step ST28 the output unit 72 determines whether the image processing satisfies the termination conditions.
  • termination conditions include a condition that the user has given an instruction to the imaging device 30 to terminate image processing, or a condition that the number of generation target images 92 and 94 has reached the number specified by the user. It will be done.
  • step ST28 if the termination condition is not satisfied, the determination is negative and the image processing moves to step ST10.
  • step ST28 if the termination condition is satisfied, the determination is affirmative and the image processing is terminated.
  • the processor 46 determines the first feature information 92B and the second feature information 94B for the generation target images 92 and 94 used for generating the composite image 90. A determination is made as to whether or not the condition satisfies a predetermined condition. Then, when the first feature information 92B and the second feature information 94B satisfy the conditions, frequency emphasis processing is performed. By performing the frequency emphasis processing, the uneven contours or color changes included in the generation target images 92 and 94 are emphasized, and feature information increases compared to before processing.
  • the generation of the composite image 90 even if the first feature information 92B and the second feature information 94B satisfy a predetermined condition, if the frequency emphasis processing is not performed, the generation of the composite image 90 The required feature information is insufficient, and the generated composite image 90 fails.
  • the number N of feature points indicated by the first feature information 92B and the second feature information 94B increases due to the frequency emphasis processing, so the number of feature points N indicated by the first feature information 92B and the second feature information 94B increases, so the synthesis when the synthesized image 90 is generated is compared to the case where the number N of feature points does not increase. Destruction of the image 90 is suppressed.
  • the first feature information 92B and the second feature information 94B are predetermined in the processor 46 based on the imaging target information 80 that is information regarding the characteristics of the imaging target 2. A determination is made as to whether the conditions are met. Therefore, the accuracy of determination for selecting images to be subjected to frequency enhancement processing is improved. As a result, frequency emphasis processing is performed accurately. By performing the frequency emphasis processing, matching of the first feature information 92B and the second feature information 94B between the images used for generation is performed with high accuracy. Therefore, according to this configuration, in generating the composite image 90, failure of the composite image 90 is suppressed.
  • the imaging target After the information 80 is taken into consideration, a determination is made to select images to be subjected to frequency enhancement processing.
  • frequency emphasis processing is performed on images that require an increase in feature information. That is, frequency emphasis processing is performed accurately. Therefore, according to this configuration, in generating the composite image 90, failure of the composite image 90 is suppressed.
  • the imaging target information 80 includes information indicating the type of the imaging target 2 (for example, the imaging target 2 is a bridge pier).
  • the processor 46 determines whether the first feature information 92B and the second feature information 94B satisfy predetermined conditions based on the type of the imaging target 2. Therefore, the accuracy of determination for selecting images to be subjected to frequency enhancement processing is improved. As a result, frequency emphasis processing is performed accurately. By performing the frequency emphasis processing, matching of the first feature information 92B and the second feature information 94B between the images used for generation is performed with high accuracy. Therefore, according to this configuration, in generating the composite image 90, failure of the composite image 90 is suppressed.
  • frequency emphasis processing is performed based on the type of the imaging target 2.
  • a determination is made to select target images.
  • frequency emphasis processing is performed on images that require an increase in feature information. That is, frequency emphasis processing is performed accurately.
  • matching of the first feature information 92B and the second feature information 94B between the images used for generation is performed with high accuracy. Therefore, according to this configuration, in generating the composite image 90, failure of the composite image 90 is suppressed.
  • the first feature information 92B and the second feature information 94B include the number of feature points N, which is the number of feature points included in the generation target images 92 and 94, and the number of feature points A determination is made based on N. Therefore, the accuracy of determination for selecting images to be subjected to frequency enhancement processing is improved. As a result, frequency emphasis processing is performed accurately. By performing the frequency emphasis processing, matching of the first feature information 92B and the second feature information 94B between the images used for generation is performed with high accuracy. Therefore, according to this configuration, in generating the composite image 90, failure of the composite image 90 is suppressed.
  • the first feature information 92B and the second feature information 94B indicate the number N of feature points included in the overlap region 5 of the imaging target 2.
  • the composite image 90 is composed by overlapping the overlapping image regions 95A and 95B of the generation target images 92 and 94.
  • matching of the first feature information 92B and the second feature information 94B in the overlap image regions 95A and 95B between the images used for generation is performed with high accuracy. Therefore, according to this configuration, in generating the composite image 90, failure of the composite image 90 is suppressed.
  • the predetermined condition in the feature determination process in the processor 46 is that the number of feature points N is equal to or less than the threshold value t. Therefore, with this configuration, the processing speed of the feature determination process is improved compared to the case where predetermined conditions are set each time in the feature determination process.
  • the threshold value t is predetermined in the threshold table 82 according to the type of the imaging target 2. Therefore, the accuracy of determination for selecting images to be subjected to frequency enhancement processing is improved. As a result, frequency emphasis processing is performed accurately. By performing the frequency emphasis processing, matching of the first feature information 92B and the second feature information 94B between the images used for generation is performed with high accuracy. Therefore, according to this configuration, in generating the composite image 90, failure of the composite image 90 is suppressed.
  • the threshold value t is predetermined according to the type of the imaging target 2. Therefore, a determination is made to select images to be subjected to frequency enhancement processing based on the threshold value t depending on the type of the imaging target 2. That is, frequency emphasis processing is performed accurately.
  • frequency emphasis processing By performing the frequency emphasis processing, matching of the first feature information 92B and the second feature information 94B between the images used for generation is performed with high accuracy. Therefore, according to this configuration, failure of the composite image 90 during generation of the composite image 90 is suppressed.
  • the frequency emphasis processing in the emphasis processing unit 68 is a convolution calculation by the mask filter 68A. Therefore, the uneven contours and/or color changes shown by the generation target images 92 and 94 are emphasized, and the number of feature points N increases compared to before processing. As a result, matching of the first feature information 92B and the second feature information 94B between the images used for generation is performed with high accuracy. Therefore, according to this configuration, in generating the composite image 90, failure of the composite image 90 is suppressed.
  • the composite image 90 generated by the processor 46 is a two-dimensional image 90A. Therefore, according to this configuration, in generating the two-dimensional image 90A, failure of the composite image 90 is suppressed.
  • the first feature information 92B and the second feature information 94B indicate the number N of feature points included in the overlap image regions 95A and 95B, but the technology of the present disclosure is not limited to this. but not limited to.
  • the first feature information 92B and the second feature information 94B may indicate the density of feature points included in the overlapping image regions 95A and 95B.
  • first feature information 92B and the second feature information 94B may not indicate the number of feature points N itself, but may indicate values obtained using an arithmetic expression using the number of feature points N as an independent variable. Furthermore, the first feature information 92B and the second feature information 94B do not indicate the number N of feature points, but rather the arrangement of the feature points 92A and 94A (for example, the geometric positional relationship of the feature points 92A in the generation target image 92, The geometric positional relationship of the feature points 94A within the generation target image 94 may also be indicated.
  • the threshold value t is obtained in the acquisition unit 65 using the threshold value table 82, but the technology of the present disclosure is not limited to this.
  • the threshold value t may be determined using an arithmetic expression in which a numerical value indicating the imaging target 2 is used as an independent variable, and the threshold value t is used as an independent variable.
  • the frequency enhancement process includes performing Fourier transform on the target image data 91 and performing inverse Fourier transform on data obtained by removing noise from the result of the Fourier transform. be exposed.
  • the emphasis processing unit 68 performs frequency emphasis processing on the generation target image 92.
  • the emphasis processing unit 68 performs Fourier transformation on target image data 91 indicating a generation target image 92. Furthermore, low frequency components, which are noise, are removed from the Fourier transform results. Finally, an inverse Fourier transform is performed on the data from which noise has been removed. As a result, a generation target image 93 after frequency emphasis processing is obtained.
  • the emphasis processing unit 68 outputs the generation target image 93 after frequency emphasis processing to the feature information generation unit 64.
  • the feature information generation unit 64 generates first feature information 92B based on the generation target image 93. Then, the determination unit 66 determines whether the first feature information 92B satisfies a predetermined condition by comparing the number of feature points N1 indicated by the first feature information 92B with the threshold value t. When the number of feature points N1 indicated by the first feature information 92B is equal to or less than the threshold value t, the determination unit 66 determines that the predetermined condition is satisfied, and again the feature determination process (see FIG. 6) Shift to emphasis processing.
  • the determination unit 66 determines that the predetermined condition is not satisfied. In this case, the feature determination process shifts to image synthesis processing (FIG. 9) in the composite image generation section 70.
  • the frequency emphasis processing in the emphasis processing unit 68 performs Fourier transform on the target image data 91, and removes noise from the result of the Fourier transform.
  • This process includes performing an inverse Fourier transform on the removed data. Therefore, the uneven contours and/or color changes shown by the generation target images 92 and 94 are emphasized, and the number of feature points N increases compared to before processing.
  • the frequency emphasis processing matching of the first feature information 92B and the second feature information 94B between the images used for generation is performed with high accuracy. Therefore, according to this configuration, in generating the composite image 90, failure of the composite image 90 is suppressed.
  • the imaging target information 80 includes the type of the imaging target 2, and the threshold value table 82 has the threshold value t according to the imaging target 2 as an output value. but not limited to.
  • the imaging target information 80 includes information indicating the color, material, and surface state of the imaging target 2 in addition to the type of the imaging target 2.
  • the flying object 10 receives imaging target information 80 transmitted from the transmitter 20 in response to a user's operation, and stores it in the storage 48.
  • the imaging target information 80 includes the type of the imaging target 2 (for example, the imaging target 2 is a bridge pier), the color of the imaging target 2 (for example, gray), the material of the imaging target 2 (for example, concrete), and the imaging target 2 Contains information indicating the surface condition (for example, unevenness or wetness) of the surface.
  • the unevenness referred to here includes, for example, unevenness due to the material forming the wall surface 2A, as well as unevenness due to defects and/or defects.
  • the acquisition unit 65 acquires the imaging target information 80 from the storage 48.
  • the acquisition unit 65 also acquires the threshold table 84 stored in the storage 48 in advance.
  • the threshold table 84 takes as input values a numerical value indicating the type of imaging target (for example, a bridge pier), a numerical value indicating the color, a numerical value indicating the material, and a numerical value indicating the surface condition, and outputs a threshold value t according to these values. It's a table.
  • the threshold value t is, for example, a numerical value indicating the number of feature points that make it possible to generate a composite image 90 without failure.
  • the acquisition unit 65 uses the threshold value table 84 to obtain the threshold value t according to the type of the imaging target 2, the color of the imaging target 2, the material of the imaging target 2, and the surface state of the imaging target 2 indicated by the imaging target information 80. get.
  • the determination unit 66 compares the threshold t and the number N of feature points. The determination unit 66 determines that a predetermined condition is satisfied when the number of feature points N is less than or equal to the threshold value t. If the determining unit 66 determines that the predetermined condition is satisfied, the feature determining process shifts to frequency emphasis processing by the emphasis processing unit 68 (see FIG. 7).
  • the imaging target information 80 includes information indicating the type, color, material, and surface condition of the imaging target 2. Based on information indicating the type, color, material, and surface state of the imaging target 2, it is determined whether the first feature information 92B and the second feature information 94B satisfy predetermined conditions. Therefore, the accuracy of determination for selecting images to be subjected to frequency enhancement processing is improved. As a result, frequency emphasis processing is performed accurately. By performing the frequency emphasis processing, matching of the first feature information 92B and the second feature information 94B between the images used for generation is performed with high accuracy. Therefore, according to this configuration, in generating the composite image 90, failure of the composite image 90 is suppressed.
  • the imaging target information 80 is information indicating the type, color, material, and surface state of the imaging target 2. including. Therefore, a determination is made to select images to be subjected to frequency enhancement processing based on the type, color, material, and surface condition of the imaging object 2. That is, frequency emphasis processing is performed accurately.
  • frequency emphasis processing By performing the frequency emphasis processing, matching of the first feature information 92B and the second feature information 94B between the images used for generation is performed with high accuracy. Therefore, according to this configuration, in generating the composite image 90, failure of the composite image 90 is suppressed.
  • the imaging target information 80 includes information indicating the type of the imaging target 2, the color of the imaging target 2, the material of the imaging target 2, and the surface state of the imaging target 2.
  • the technology of the present disclosure is not limited to this.
  • the imaging target information 80 may be any one or a combination of any two of information indicating the type of the imaging target 2, the color of the imaging target 2, the material of the imaging target 2, and the surface condition of the imaging target 2. There may be. Further, the imaging target information 80 may be a combination of any three of the information indicating the type of the imaging target 2, the color of the imaging target 2, the material of the imaging target 2, and the surface state of the imaging target 2.
  • the emphasis processing unit 68 acquires imaging target information 80 from the storage 48.
  • the emphasis processing unit 68 sets parameters for frequency emphasis processing based on the imaging target information 80.
  • the emphasis processing unit 68 performs a convolution operation using a mask filter 68B depending on the type of the imaging target 2 indicated by the imaging target information 80.
  • the emphasis processing unit 68 sets the number of masks of the mask filter 68B according to the type of the imaging target 2. In the example shown in FIG. 12, the number of masks in the mask filter 68B is 4 ⁇ 4.
  • the parameters in the frequency emphasis processing may be calculated using, for example, an arithmetic expression in which a numerical value indicating the type of the imaging target 2 is an independent variable and a parameter is a dependent variable, or may be calculated directly by a user's operation via the transmitter 20. May be entered.
  • the number of masks of the mask filter 68B is an example of a "parameter" according to the technology of the present disclosure.
  • the emphasis processing unit 68 performs frequency emphasis processing on the generation target image 92, which is a process of removing low frequency components that are noise and emphasizing high frequency components that are feature points.
  • the emphasis processing unit 68 outputs the generation target image 93 after frequency emphasis processing to the feature information generation unit 64.
  • the feature information generation unit 64 generates first feature information 92B based on the generation target image 93. Then, the determination unit 66 determines whether the first feature information 92B satisfies a predetermined condition by comparing the number of feature points N1 indicated by the first feature information 92B with the threshold value t. When the number of feature points N1 indicated by the first feature information 92B is equal to or less than the threshold value t, the determination unit 66 determines that the predetermined condition is satisfied, and again the feature determination process (see FIG. 6) Shift to emphasis processing.
  • the determination unit 66 determines that the predetermined condition is not satisfied. In this case, the feature determination process shifts to image synthesis processing (FIG. 9) in the composite image generation section 70.
  • parameters in frequency emphasis processing are set according to the imaging target 2. Since the parameters used in the frequency enhancement process are set according to the imaging target 2, the feature information used in the feature determination process is optimized compared to before the process. Therefore, according to this configuration, failure of the composite image 90 is suppressed in generation of the composite image 90, compared to a case where the feature information is not optimized.
  • Modification 4 Although the above embodiment has been described using an example in which the composite image 90 is a two-dimensional image 90A, the technology of the present disclosure is not limited to this. In this fourth modification, the composite image 90 is a three-dimensional image 90B.
  • the flight imaging device 1 sequentially images a plurality of regions 3 on the wall surface 2A. Further, the flight imaging device 1 images a plurality of regions 3 on a wall surface 2B that is continuous with the wall surface 2A.
  • a plurality of generation target images 92, 94, and 98 are obtained by sequentially capturing images of the plurality of regions 3 by the imaging device 30.
  • a composite image 90 is generated by combining the plurality of generation target images 92, 94, and 98.
  • the composite image 90 is a three-dimensional image 90B that is a three-dimensional image showing the imaging target 2.
  • the three-dimensional image 90B is an example of a "three-dimensional image" according to the technology of the present disclosure.
  • the determination unit 66 performs feature determination processing on the generation target images 92, 94, and 98.
  • the emphasis processing unit 68 performs frequency emphasis processing on the target image among the generation target images 92, 94, and 98.
  • the composite image generation unit 70 performs image composition processing on the generation target images 92, 94, and 98. As a result, a composite image 90 is generated.
  • the composite image 90 generated by the processor 46 is the three-dimensional image 90B. Therefore, according to this configuration, in generating the three-dimensional image 90B, failure of the composite image 90 is suppressed.
  • the processor 46 of the flight imaging device 1 generates the composite image 90 based on the target image data 91 stored in the storage 48 (see FIG. 8).
  • the technology of the present disclosure is not limited to this.
  • a plurality of target image data 91 are sent from the processor 46 of the flight imaging device 1 to the processor 110 of the image processing device 100, which is communicatively connected to the flight imaging device 1 through a wired or wireless connection.
  • the processor 110 of the image processing device 100 may generate the composite image 90 based on the plurality of target image data 91 .
  • the image processing device 100 is an example of an "image processing device" according to the technology of the present disclosure
  • the processor 110 is an example of a "processor" according to the technology of the present disclosure.
  • the technology of the present disclosure is not limited to this.
  • the plurality of generation target images 92 and 94 used to generate the composite image 90 also include images that have been subjected to projective transformation.
  • the image that has been subjected to projective transformation refers to, for example, an image that has been corrected, including an image area that is distorted into a trapezoid or the like due to the attitude (for example, the angle of depression or elevation) of the imaging device 30.
  • Projective transformation means that the wall surface 2A is imaged by the imaging device 30 in a state in which the posture of the imaging device 30 is tilted with respect to the wall surface 2A (that is, in a state in which the optical axis OA of the imaging device 30 is tilted with respect to the wall surface 2A). This is the processing performed on the image obtained by.
  • Image distortion caused by the angle of depression or elevation is corrected by projective transformation.
  • an image obtained by performing imaging with the imaging device 30 in a state where the posture of the imaging device 30 is tilted with respect to the wall surface 2A is subjected to projective transformation, so that it appears as if it were from a position directly facing the wall surface 2A. It is converted into an image obtained by imaging.
  • the imaging target 2 is inputted by the user's operation, and the imaging target information 80 indicating the imaging target 2 is transmitted via the transmitter 20.
  • the technology of the present disclosure is not limited to this.
  • the imaging target 2 included in the generation target images 92 and 94 may be specified by performing image analysis on the generation target images 92 and 94 using an AI method or a pattern matching method.
  • the flight imaging device 1 was described using an example of the form in which flight and imaging are performed based on the flight instruction signal and the imaging start signal from the transmitter 20, but the technology of the present disclosure is not limited to this.
  • the flight imaging device 1 may be configured to fly and capture images according to a predetermined flight plan.
  • the imaging device 30 is mounted on the flying object 10, but the imaging device 30 may be mounted on various moving objects (for example, a gondola, an automatic transport robot, an automatic guided vehicle, or a high-speed vehicle). It may also be installed on a vehicle for inspection.
  • the moving object may be a person.
  • the person refers to, for example, a worker who surveys and/or inspects land and/or infrastructure.
  • the imaging device 30 when the moving object is a person, being equipped with the imaging device 30 means that the imaging device 30 (for example, a portable terminal with a camera function) is held by the person, and/or equipment worn by the person (for example, it includes a mode in which the imaging device 30 is attached to a helmet, work clothes, etc.).
  • the imaging device 30 for example, a portable terminal with a camera function
  • the imaging device 30 includes a mode in which the imaging device 30 is attached to a helmet, work clothes, etc.
  • the generation target images 92 and 94 are captured as separate images, but the technology of the present disclosure is not limited to this.
  • the generation target images 92 and 94 may be obtained by cutting out a moving image obtained by capturing an image of the imaging target 2 by the imaging device 30.
  • the processor 46 is illustrated, but it is also possible to use at least one other CPU, at least one GPU, and/or at least one TPU instead of the processor 46 or in addition to the processor 46. You can also do this.
  • the image processing program 60 may be stored in a portable non-transitory computer-readable storage medium (hereinafter simply referred to as a "non-transitory storage medium") such as an SSD or a USB memory.
  • a non-transitory storage medium such as an SSD or a USB memory.
  • the image processing program 60 stored in the non-temporary storage medium is installed in the computer 32 of the imaging device 30, and the processor 46 executes processing according to the image processing program 60.
  • the image processing program 60 is stored in a storage device such as another computer or a server device connected to the imaging device 30 via a network, and the image processing program 60 is downloaded in response to a request from the imaging device 30. It may be installed on computer 32.
  • image processing program 60 it is not necessary to store the entire image processing program 60 in a storage device such as another computer or a server device connected to the imaging device 30, or in the storage 48, but only a part of the image processing program 60 may be stored. You can leave it there.
  • the computer 32 is built into the imaging device 30, the technology of the present disclosure is not limited to this, and for example, the computer 32 may be provided outside the imaging device 30.
  • the computer 32 including the processor 46, the storage 48, and the RAM 50 is illustrated, but the technology of the present disclosure is not limited to this, and instead of the computer 32, an ASIC, an FPGA, and/or Alternatively, a device including a PLD may be applied. Further, instead of the computer 32, a combination of hardware configuration and software configuration may be used.
  • processors can be used as hardware resources for executing the various processes described in each of the above embodiments.
  • the processor include a CPU, which is a general-purpose processor that functions as a hardware resource that executes various processes by executing software, that is, a program.
  • the processor include a dedicated electronic circuit such as an FPGA, a PLD, or an ASIC, which is a processor having a circuit configuration specifically designed to execute a specific process.
  • Each processor has a built-in memory or is connected to it, and each processor uses the memory to perform various processes.
  • Hardware resources that execute various processes may be configured with one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of multiple FPGAs, or a CPU and FPGA). Furthermore, the hardware resource that executes various processes may be one processor.
  • one processor is configured by a combination of one or more CPUs and software, and this processor functions as a hardware resource that executes various processes.
  • a and/or B has the same meaning as “at least one of A and B.” That is, “A and/or B” means that it may be only A, only B, or a combination of A and B. Furthermore, in this specification, even when three or more items are expressed by connecting them with “and/or”, the same concept as “A and/or B" is applied.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

プロセッサを備え、プロセッサは、撮像対象が複数の位置から撮像されることによって得られた複数の画像のうちの合成画像の生成に用いる生成対象画像に含まれており、かつ、生成に要する特徴情報が予め定められた条件を満たすか否かを判定し、特徴情報が予め定められた条件を満たした場合に生成対象画像に対して周波数強調処理を行う、画像処理装置。

Description

画像処理装置、画像処理方法、及びプログラム
　本開示の技術は、画像処理装置、画像処理方法、及びプログラムに関する。
　特開平８－１３１４０３号公報には、医用画像処理装置が記載されている。医用画像処理装置は、同一被検体及び同一部位に関する第１の３次元画像データと第２の３次元画像データとを記憶する記憶手段と、第１の３次元画像データと第２の３次元画像データ各々から少なくとも３つずつ特徴点を抽出する特徴点抽出手段と、第１の３次元画像データの特徴点の座標と、対応する第２の３次元画像データの特徴点の座標とが近似するように第１の３次元画像データと第２の３次元画像データの少なくとも一方を座標変換する座標変換手段とを具備することを特徴とする。
　特開２０１１－１４１８２９号公報には、画像処理装置が記載されている。画像処理装置は、ぼけパラメータを用いた復元フィルタにより入力画像を復元する復元処理部を備える。画像処理装置は、入力画像の画素毎のエッジ強度を算出し、当該エッジ強度が処理前閾値を超えた点を特徴点、それ以外の点を非特徴点として抽出する画像解析部と、ぼけパラメータの値を変化させることにより、非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるようなぼけパラメータを判定するぼけパラメータ判定部と、を備えることを特徴とする。
　特開２００７－２０６７３８号公報には、撮像装置が記載されている。撮像装置は、合焦位置およびその前後の距離において焦点のボケ量が略一定となるように形成された光学系と、光学系を通過した被写体像を撮像する撮像素子と、撮像素子からの画像の焦点のボケを補正して復元した画像信号を生成する変換手段と、変換手段で用いる被写体条件に応じたデジタルフィルタと、を有している。変換手段は、撮像した被写体像が情報コードの特徴点を有している場合には、当該特徴点に適応するようなデジタルフィルタを選択してボケ復元処理を行う。
　本開示の技術に係る一つの実施形態は、合成画像が生成される場合の合成画像の破綻を抑制することができる画像処理装置、画像処理方法、及びプログラムを提供する。
　本開示の技術に係る第１の態様は、プロセッサを備え、プロセッサは、撮像対象が複数の位置から撮像されることによって得られた複数の画像のうちの合成画像の生成に用いる生成対象画像に含まれており、かつ、生成に要する特徴情報が予め定められた条件を満たすか否かを判定し、特徴情報が予め定められた条件を満たした場合に生成対象画像に対して周波数強調処理を行う画像処理装置である。
　本開示の技術に係る第２の態様は、プロセッサは、さらに、撮像対象の特性に関する情報である撮像対象情報に基づいて、特徴情報が予め定められた条件を満たすか否かを判定する、第１の態様に係る画像処理装置である。
　本開示の技術に係る第３の態様は、撮像対象情報は、撮像対象の種類、色彩、材料、及び／又は表面状態を示す情報を含む、第２の態様に係る画像処理装置である。
　本開示の技術に係る第４の態様は、特徴情報は、生成対象画像内に含まれる特徴点の数に基づく第１値を含む、第１の態様から第３の態様の何れか一つに係る画像処理装置である。
　本開示の技術に係る第５の態様は、第１値は、生成対象画像において撮像対象間の一部がオーバラップしている領域であるオーバラップ領域を示す像に含まれる特徴点の数又は特徴点の密度である、第４の態様に係る画像処理装置である。
　本開示の技術に係る第６の態様は、予め定められた条件は、第１値が予め定められた値である第２値以下である、という条件である、第４の態様又は第５の態様に係る画像処理装置である。
　本開示の技術に係る第７の態様は、第２値は、撮像対象に応じて定められている、第６の態様に係る画像処理装置である。
　本開示の技術に係る第８の態様は、周波数強調処理は、マスクフィルタによる畳み込み演算を含む処理である、第１の態様から第７の態様の何れか一つに係る画像処理装置である。
　本開示の技術に係る第９の態様は、周波数強調処理は、フーリエ変換を行い、かつ、フーリエ変換の結果からノイズを除去したデータに対して逆フーリエ変換を行うことを含む処理である、第１の態様から第８の態様の何れか一つに係る画像処理装置である。
　本開示の技術に係る第１０の態様は、周波数強調処理に用いられるパラメータが、撮像対象に応じて設定される、第１の態様から第９の態様の何れか一つに係る画像処理装置である。
　本開示の技術に係る第１１の態様は、プロセッサは、開始指示を示す信号が入力されたことを条件に、特徴情報が予め定められた条件を満たすか否かを判定し、開始指示は、受付装置により受け付けられる、第１の態様から第１０の態様の何れか一つに係る画像処理装置である。
　本開示の技術に係る第１２の態様は、合成画像は、２次元画像及び／又は３次元画像を含む、第１の態様から第１１の態様の何れか一つに係る画像処理装置である。
　本開示の技術に係る第１３の態様は、撮像対象が複数の位置から撮像されることによって得られた複数の画像のうちの合成画像の生成に用いる生成対象画像に含まれており、かつ、生成に要する特徴情報が予め定められた条件を満たすか否かを判定すること、及び、特徴情報が予め定められた条件を満たした場合に生成対象画像に対して周波数強調処理を行うこと、を含む画像処理方法である。
　本開示の技術に係る第１４の態様は、コンピュータに、撮像対象が複数の位置から撮像されることによって得られた複数の画像のうちの合成画像の生成に用いる生成対象画像に含まれており、かつ、生成に要する特徴情報が予め定められた条件を満たすか否かを判定すること、及び、特徴情報が予め定められた条件を満たした場合に生成対象画像に対して周波数強調処理を行うこと、を含む処理を実行させるプログラムである。
飛行撮像装置の一例を示す斜視図である。 撮像装置のハードウェア構成の一例を示すブロック図である。 撮像装置の機能的な構成の一例を示すブロック図である。 プロセッサにおける撮像処理の一例を説明する説明図である。 プロセッサにおける撮像処理の一例を説明する説明図である。 プロセッサにおける特徴判定処理の一例を説明する説明図である。 プロセッサにおける周波数強調処理の一例を説明する説明図である。 プロセッサにおける画像合成処理の一例を説明する説明図である。 画像処理の流れの一例を説明するフローチャートである。 第１変形例に係る周波数強調処理の一例を説明する説明図である。 第２変形例に係る特徴判定処理の一例を説明する説明図である。 第３変形例に係る周波数強調処理の一例を説明する説明図である。 第４変形例に係る合成画像の一例を説明する説明図である。 変形例に係る画像合成処理の一例を説明する説明図である。
　以下、添付図面に従って本開示の技術に係る画像処理装置、画像処理方法、及びプログラムの実施形態の一例について説明する。
　先ず、以下の説明で使用される文言について説明する。
　Ｉ／Ｆとは、“Interface”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable Programmable Read-Only Memory”の略称を指す。ＣＰＵとは、“Central Processing Unit”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＤＲＡＭとは、“Dynamic Random Access Memory”の略称を指す。ＳＲＡＭとは、“Static Random Access Memory”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＴＰＵとは、“Tensor Processing Unit”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。
　本明細書の説明において、「垂直」とは、完全な垂直の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの垂直を指す。本明細書の説明において、「一致」とは、完全な一致の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの一致を指す。本明細書の説明において、「均等」とは、完全な均等の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの均等を指す。本明細書の説明において、「水平方向」とは、完全な水平方向の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの水平方向を指す。本明細書の説明において、「鉛直方向」とは、完全な鉛直方向の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの鉛直方向を指す。
　一例として図１に示すように、飛行撮像装置１は、飛行機能及び撮像機能を備えており、飛行しながら撮像対象２の壁面２Ａを撮像する。本明細書の説明において、「飛行」の概念には、飛行撮像装置１が空中を移動するという意味の他に、飛行撮像装置１が空中で静止するという意味も含まれる。撮像対象２は、本開示の技術に係る「撮像対象」の一例である。
　壁面２Ａは、一例として、平面である。平面とは、二次元状の面（すなわち、二次元方向に沿う面）を指す。また、本明細書の説明において、「平面」の概念には、鏡面の意味は含まれない。本実施形態において、例えば、壁面２Ａは、水平方向及び鉛直方向で規定された平面（すなわち、水平方向及び鉛直方向に延びる面）である。一例として、壁面２Ａを有する撮像対象２は、橋梁に設けられた橋脚である。橋脚は、例えば鉄筋コンクリート製である。ここでは、撮像対象２の一例として、橋脚が挙げられているが、撮像対象２は、橋脚以外の物体（例えば、トンネル又はダム等）でもよい。
　飛行撮像装置１の飛行機能（以下、単に「飛行機能」とも称する）は、飛行指示信号に基づいて飛行撮像装置１が飛行する機能である。飛行指示信号とは、飛行撮像装置１の飛行を指示する信号を指す。飛行指示信号は、例えば飛行撮像装置１を操縦するための送信機２０から送信される。送信機２０は、ユーザ（図示省略）によって操作される。送信機２０は、飛行撮像装置１を操縦するための操縦部２２と、飛行撮像装置１によって撮像されることで得られた画像を表示するための表示装置２４とを備える。表示装置２４は、例えば液晶ディスプレイである。
　飛行指示信号は、具体的には、飛行撮像装置１の移動及び移動方向を指示する移動指示信号と、飛行撮像装置１の静止を指示する静止指示信号とを含む複数の指示信号に分類される。ここでは、飛行指示信号が送信機２０から送信される例が挙げられているが、飛行撮像装置１に対して飛行ルートを設定する基地局（図示省略）等から飛行指示信号が送信されてもよい。飛行撮像装置１の撮像機能（以下、単に「撮像機能」とも称する）は、飛行撮像装置１が被写体（一例として、撮像対象２の壁面２Ａ）を撮像する機能である。
　飛行撮像装置１は、飛行体１０及び撮像装置３０を備える。飛行体１０は、例えばドローン等の無人航空機である。飛行機能は、飛行体１０によって実現される。飛行体１０は、複数のプロペラ１２を有しており、複数のプロペラ１２が回転することによって飛行する。
　撮像装置３０は、飛行体１０に搭載されている。撮像装置３０の一例としては、デジタルカメラが挙げられる。撮像機能は、撮像装置３０によって実現される。撮像装置３０は、飛行体１０の下部に設けられている。ここでは、撮像装置３０が飛行体１０の下部に設けられている例が挙げられているが、撮像装置３０は、飛行体１０の上部又は前部等に設けられてもよい。撮像装置３０は、本開示の技術に係る「画像処理装置」の一例である。
　飛行撮像装置１は、壁面２Ａの複数の領域３を順次に撮像する。領域３は、飛行撮像装置１の画角によって定まる領域である。図１に示す例では、領域３の一例として、四角形の領域が示されている。複数の領域３が撮像装置３０によって順次に撮像されることで複数の生成対象画像９２及び９４が得られる。そして、複数の生成対象画像９２及び９４が合成されることにより合成画像９０が生成される。複数の生成対象画像９２及び９４は、隣接する生成対象画像９２及び９４の一部が重なり合うように合成される。合成画像９０は、例えば、撮像対象２の壁面２Ａを点検したり測量したりするために利用される。図１に示す例では、合成画像９０は、２次元画像９０Ａである。合成画像９０は、本開示の技術に係る「合成画像」の一例であり、２次元画像９０Ａは、本開示の技術に係る「２次元
画像」の一例である。
　図１に示す例では、壁面２Ａに対して撮像装置３０の光軸ＯＡが垂直な状態で各領域３が撮像装置３０によって撮像される態様が示されている。複数の領域３は、隣接する領域３同士の一部が重なり合うように撮像される。隣接する領域３同士の一部が重なり合うように複数の領域３を撮像するのは、隣接する領域３のうち重なり合う部分に含まれる特徴点に基づいて、隣接する領域３に対応する合成画像９０を生成するためである。
　以下、隣接する領域３同士の一部が重なり合うことをオーバラップと称し、隣接する領域３同士の重なり合った領域をオーバラップ領域５とする。また、各領域３の全体の面積に対するオーバラップ領域５の面積の割合をオーバラップ率と称する。オーバラップ率は、合成画像９０を生成し得る特徴点の量が得られる率に設定される。オーバラップ率は、例えば、合成画像９０が生成された結果に基づいて、合成画像９０に破綻が生じない範囲に設定されるが、これはあくまでも一例に過ぎない。オーバラップ率は、既定のオーバラップ率（一例として３０％）に設定されてもよい。
　生成対象画像９２は、オーバラップ領域５を示す画像領域であるオーバラップ画像領域９５Ａを有する。また、生成対象画像９４は、オーバラップ領域５を示す画像領域であるオーバラップ画像領域９５Ｂを有する。オーバラップ画像領域９５Ａ及び９５Ｂが合成されることによって合成画像９０が生成される。
　図１に示す例では、複数の領域３は、既に撮像された領域３（すなわち、飛行撮像装置１によって撮像された領域３）と、未撮像の領域３（すなわち、飛行撮像装置１によって撮像されようとしている領域３）とを含む。以下、複数の領域３を区別して説明する場合、複数の領域３のうちの未撮像の領域３を「撮像対象領域３Ａ」と称し、複数の領域３のうちの既に撮像された領域３を「撮像済み領域３Ｂ」と称する。
　飛行撮像装置１は、一例として水平方向に移動しながら、複数の領域３を撮像する。また、飛行撮像装置１は、撮像対象領域３Ａの一部と、撮像対象領域３Ａの一つ前（例えば、１フレーム前）に撮像された撮像済み領域３Ｂの一部とが重なり合う順番で複数の領域３をそれぞれ撮像する。以下、一例として図１に示すように、飛行撮像装置１が水平方向の移動を行うことにより、複数の領域３を撮像する例を前提に説明するが、これはあくまでも一例に過ぎない。飛行撮像装置１は、一例として水平方向への移動と鉛直方向への移動を交互に繰り返すことによりジグザグに移動しながら、複数の領域３を撮像してもよい。
　一例として図２に示すように、撮像装置３０は、コンピュータ３２、通信装置３４、イメージセンサ３６、イメージセンサドライバ３８、撮像レンズ４０、画像メモリ４２、及び入出力Ｉ／Ｆ４４を備える。
　コンピュータ３２は、プロセッサ４６、ストレージ４８、及びＲＡＭ５０を備える。プロセッサ４６、ストレージ４８、及びＲＡＭ５０は、バス５２を介して相互に接続されており、バス５２は、入出力Ｉ／Ｆ４４に接続されている。また、入出力Ｉ／Ｆ４４には、通信装置３４、イメージセンサドライバ３８、撮像レンズ４０、及び画像メモリ４２が接続されている。コンピュータ３２は、本開示の技術に係る「コンピュータ」の一例である。プロセッサ４６は、本開示の技術に係る「プロセッサ」の一例である。
　プロセッサ４６は、例えば、ＣＰＵを有しており、撮像装置３０の全体を制御する。ストレージ４８は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ストレージ４８としては、例えば、ＨＤＤ及び／又はフラッシュメモリ（例えば、ＥＥＰＲＯＭ及び／又はＳＳＤ）等が挙げられる。
　ＲＡＭ５０は、一時的に情報が記憶されるメモリであり、プロセッサ４６によってワークメモリとして用いられる。ＲＡＭ５０としては、例えば、ＤＲＡＭ及び／又はＳＲＡＭ等が挙げられる。
　通信装置３４は、一例として送信機２０と通信可能に接続されている。ここでは、通信装置３４が既定の無線通信規格で送信機２０と無線通信可能に接続されている。既定の無線通信規格とは、例えば、Ｗｉ－Ｆｉ（登録商標）等が挙げられる。通信装置３４は、送信機２０との間の情報の授受を司る。例えば、通信装置３４は、プロセッサ４６からの要求に応じた情報を送信機２０に送信する。また、通信装置３４は、送信機２０から送信された情報を受信し、受信した情報を、バス５２を介してプロセッサ４６に出力する。ここでは、通信装置３４が送信機２０と通信可能に接続されている例が挙げられているが、通信装置３４は、送信機２０及び／又は飛行体１０と通信可能に接続されていてもよい。
　イメージセンサ３６は、イメージセンサドライバ３８と接続されている。イメージセンサドライバ３８は、プロセッサ４６からの指示に従って、イメージセンサ３６を制御する。イメージセンサ３６は、例えば、ＣＭＯＳイメージセンサである。なお、ここでは、イメージセンサ３６としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、他のイメージセンサであってもよい。イメージセンサ３６は、イメージセンサドライバ３８の制御下で、被写体（一例として、撮像対象２の壁面２Ａ）を撮像し、撮像することで得た画像データを出力する。
　撮像レンズ４０は、イメージセンサ３６よりも被写体側（例えば、物体側）に配置されている。撮像レンズ４０は、被写体からの反射光である被写体光を取りこみ、取り込んだ被写体光をイメージセンサ３６の撮像面に結像させる。撮像レンズ４０には、フォーカスレンズ、ズームレンズ、及び絞り等の複数の光学素子（図示省略）が含まれている。撮像レンズ４０は、入出力Ｉ／Ｆ４４を介してコンピュータ３２に接続されている。具体的には、撮像レンズ４０に含まれる複数の光学素子は、動力源を有する駆動機構（図示省略）を介して入出力Ｉ／Ｆ４４に接続されている。撮像レンズ４０に含まれる複数の光学素子は、コンピュータ３２の制御下で作動する。撮像装置３０では、撮像レンズ４０に含まれる複数の光学素子を作動させることによって、フォーカス、光学ズーム、及びシャッタスピードの調節等が実現される。
　画像メモリ４２には、イメージセンサ３６によって生成された画像データが一時的に記憶される。プロセッサ４６は、画像メモリ４２から画像データ３９を取得し、取得した画像データ３９を用いて各種処理を実行する。
　ところで、上述したように、合成画像９０が生成される場合には、隣接する領域３のうち重なり合う部分（すなわち、オーバラップ領域５）に含まれる特徴点に基づいて生成される。しかしながら、撮像対象２によっては、撮像の対象となる平面において凹凸及び／又は色彩の変化が少ない場合（例えば、白い橋脚の平坦な壁面等）がある。このような場合には、合成画像９０の生成に必要な特徴量が少なくなるため、生成後の合成画像９０が破綻することがある。
　そこで、このような事情に鑑み、本実施形態では、一例として図３に示すように、プロセッサ４６によって画像処理が行われる。ストレージ４８には、画像処理プログラム６０が記憶されている。画像処理プログラム６０は、本開示の技術に係る「プログラム」の一例である。プロセッサ４６は、ストレージ４８から画像処理プログラム６０を読み出し、読み出した画像処理プログラム６０をＲＡＭ５０上で実行する。プロセッサ４６は、ＲＡＭ５０上で実行する画像処理プログラム６０に従って、合成画像９０を破綻することなく生成するための画像処理を行う。
　画像処理は、プロセッサ４６が画像処理プログラム６０に従って、撮像制御部６２、特徴情報生成部６４、取得部６５、判定部６６、強調処理部６８、合成画像生成部７０、及び出力部７２として動作することで実現される。
　一例として図４に示すように、飛行体１０は、ユーザによる操作に応じて送信機２０から送信された移動指示信号を受信し、受信した移動指示信号に基づいて撮像位置に移動する。また、飛行体１０は、ユーザによる操作に応じて送信機２０から送信された静止指示信号を受信し、受信した静止指示信号に基づいて撮像位置で静止する。そして、撮像装置３０は、ユーザによる操作に応じて送信機２０から送信された撮像開始信号を受信した場合、以下に説明する撮像処理を実行する。また、飛行体１０は、ユーザによる操作に応じて送信機２０から送信された撮像対象情報８０を受信し、ストレージ４８に記憶させる。撮像対象情報８０は、撮像対象２の特性に関する情報である。例えば、撮像対象情報８０は、撮像対象２の種類（例えば、撮像対象２は橋脚であること）を示す情報である。撮像対象情報８０は、本開示の技術に係る「撮像対象情報」の一例である。
　撮像制御部６２は、イメージセンサ３６に対して第１撮像指示信号６２Ａを出力することにより、イメージセンサ３６に撮像対象領域３Ａを撮像させる。撮像制御部６２の制御下でイメージセンサ３６によって撮像対象領域３Ａが撮像されることにより対象画像データ９１が得られる。対象画像データ９１は、生成対象画像９２を示す画像データを含む。対象画像データ９１は、ストレージ４８に記憶される。図４に示す対象画像データ９１によって示される生成対象画像９２は、１枚目の合成用画像である。生成対象画像９２は、本開示の技術に係る「生成対象画像」の一例である。生成対象画像９２には、撮像対象領域３Ａの凹凸、及び／又は色彩の変化等に対応する特徴点が含まれる。以下、生成対象画像９２に含まれる特徴点９２Ａを「第１特徴点９２Ａ」と称する。
　特徴情報生成部６４は、ストレージ４８に記憶された対象画像データ９１に基づいて生成対象画像９２を取得する。特徴情報生成部６４は、生成対象画像９２に基づいて第１特徴情報９２Ｂを生成する。第１特徴情報９２Ｂは、生成対象画像９２内に含まれる第１特徴点９２Ａに関する情報である。例えば、第１特徴情報９２Ｂは、生成対象画像９２内に含まれる第１特徴点９２Ａの数に基づいて定まる値である。第１特徴情報９２Ｂは、本開示の技術に係る「特徴情報」の一例である。
　特徴情報生成部６４は、生成対象画像９２において、オーバラップ画像領域９５Ａに含まれる第１特徴点９２Ａを抽出する。特徴情報生成部６４は、抽出した第１特徴点９２Ａの数Ｎ１（以下単に「特徴点数Ｎ１」とも称する）を示す第１特徴情報９２Ｂを生成する。特徴情報生成部６４によって生成された第１特徴情報９２Ｂは、ストレージ４８に記憶される。また、第１特徴情報９２Ｂには、第１特徴点９２Ａの座標を示す情報も含まれる。第１特徴情報９２Ｂにより示される第１特徴点９２Ａの座標は、例えば、対象画像データ９１に対して画像処理（例えば、高周波成分抽出処理等）が施されることにより導出される。第１特徴点９２Ａの座標は、例えば、撮像対象領域３Ａの４つの頂点のうちいずれか１つの頂点を基準にした座標である。
　一例として図５に示すように、飛行体１０は、ユーザによる操作に応じて送信機２０から送信された移動指示信号を受信した場合、受信した移動指示信号に基づいて移動する。図５に示す例では、飛行体１０が移動指示信号に基づいて水平方向に移動している。具体的には、飛行体１０の移動方向は、壁面２Ａに向かって右方向である。飛行体１０は、ユーザによる操作に応じて送信機２０から送信された移動指示信号を受信している間、受信した移動指示信号に基づいて移動を継続する。
　撮像制御部６２は、イメージセンサ３６に対して第２撮像指示信号６２Ｂを出力することにより、イメージセンサ３６に撮像対象領域３Ａを撮像させる。撮像制御部６２の制御下でイメージセンサ３６によって撮像対象領域３Ａが撮像されることにより対象画像データ９１が得られる。対象画像データ９１は、生成対象画像９４を示す画像データを含む。生成対象画像９４は、生成対象画像９２が得られた位置から飛行体１０が移動した場合に撮像装置３０によって撮像されることで得られる。対象画像データ９１は、ストレージ４８に記憶される。生成対象画像９４は、本開示の技術に係る「生成対象画像」の一例である。生成対象画像９４には、撮像対象領域３Ａの凹凸、及び／又は色彩の変化等に対応する特徴点が含まれる。以下、生成対象画像９４に含まれる特徴点を「第２特徴点９４Ａ」と称する。また、以下では、「第１特徴点９２Ａ」と「第２特徴点９４Ａ」とを区別して説明する必要がない場合、単に「特徴点」とも称する。
　特徴情報生成部６４は、生成対象画像９４が、生成対象画像９２の次に得られた生成対象画像である場合、ストレージ４８に記憶された対象画像データ９１に基づいて生成対象画像９４を取得する。第２特徴情報９４Ｂは、生成対象画像９４内に含まれる第２特徴点９４Ａに関する情報である。例えば、第２特徴情報９４Ｂは、生成対象画像９４内に含まれる第２特徴点９４Ａの数に基づいて定まる値である。第２特徴情報９４Ｂは、本開示の技術に係る「特徴情報」の一例である。
　特徴情報生成部６４は、生成対象画像９４のオーバラップ画像領域９５Ｂに含まれる第２特徴点９４Ａを抽出する。特徴情報生成部６４は、抽出した第２特徴点９４Ａの数Ｎ２（以下単に「特徴点数Ｎ２」とも称する）を示す第２特徴情報９４Ｂを生成する。特徴情報生成部６４によって生成された第２特徴情報９４Ｂは、ストレージ４８に記憶される。なお、以下では、「第１特徴点９２Ａの数Ｎ１」と「第２特徴点９４Ａの数Ｎ２」とを区別して説明する必要がない場合、単に「特徴点数Ｎ」とも称する。特徴点数Ｎは、本開示の技術に係る「第１値」の一例である。
　また、第２特徴情報９４Ｂには、第２特徴点９４Ａの座標を示す情報も含まれる。第２特徴点９４Ａの座標は、特徴情報生成部６４によって抽出される第１特徴点９２Ａの座標と同様の手法により導出される。
　一例として図６に示すように、取得部６５は、先ず、送信機２０からユーザの操作により出力された判定開始信号６５Ａを取得する。取得部６５において、判定開始信号６５Ａが受信されたことを条件として、特徴判定処理が開始される。送信機２０は、本開示の技術に係る「受付装置」の一例である。取得部６５は、ストレージ４８から撮像対象情報８０を取得する。また、取得部６５は、ストレージ４８に予め記憶された閾値テーブル８２を取得する。閾値テーブル８２は、撮像対象の種類（例えば、橋脚、又はトンネル等）を示す数値を入力値とし、撮像対象に応じた閾値ｔを出力値とするテーブルである。閾値ｔは、例えば、破綻のない合成画像９０の生成が可能となる特徴点の数を示す数値である。閾値ｔは、例えば、コンピュータ・シミュレーション、実機による試験結果、及び／又は過去の合成画像９０の生成結果に基づいて予め定められている。取得部６５は、閾値テーブル８２を用いて、撮像対象情報８０により示される撮像対象に応じた閾値ｔを取得する。閾値ｔは、本開示の技術に係る「第２値」の一例である。
　判定部６６は、特徴判定処理を実行することにより、第１特徴情報９２Ｂが予め定められた条件を満たすか否かを判定する。具体的には、判定部６６は、ストレージ４８から第１特徴情報９２Ｂを取得する。判定部６６は、取得部６５によって取得された閾値ｔと第１特徴情報９２Ｂにより示される特徴点数Ｎ１とを比較する。ここで、図６に示す例では、予め定められた条件として、特徴点数Ｎ１が、閾値ｔ以下であるという条件が示されている。判定部６６は、特徴点数Ｎ１が閾値ｔ以下である場合、第１特徴情報９２Ｂが予め定められた条件を満たすと判定する。
　また、判定部６６は、特徴判定処理を実行することにより、第２特徴情報９４Ｂが予め定められた条件を満たすか否かを判定する。具体的には、判定部６６は、ストレージ４８から第２特徴情報９４Ｂを取得する。判定部６６は、取得部６５によって取得された閾値ｔと第２特徴情報９４Ｂにより示される特徴点数Ｎ２とを比較する。ここで、図６に示す例では、予め定められた条件として、特徴点数Ｎ２が、閾値ｔ以下であるという条件が示されている。判定部６６は、特徴点数Ｎ２が閾値ｔ以下である場合、第２特徴情報９４Ｂが予め定められた条件を満たすと判定する。判定部６６において、予め定められた条件が満たされると判定された場合、特徴判定処理は、強調処理部６８による周波数強調処理に移行する。
　一例として図７に示すように、強調処理部６８は、判定部６６における特徴判定処理の結果、周波数強調処理の対象となった画像に対して周波数強調処理を行う。以下の周波数強調処理の説明において、生成対象画像９２に対して周波数強調処理が行われる場合を説明するが、生成対象画像９４に対しても同様の処理が行われる。
　強調処理部６８は、ストレージ４８から生成対象画像９２を取得する。強調処理部６８は、生成対象画像９２に対して周波数強調処理を行う。周波数強調処理は、ノイズである低周波成分を除去し、特徴点となる高周波成分を強調する処理である。図７に示す例では、強調処理部６８によって、生成対象画像９２に対して３×３のマスクフィルタ６８Ａを用いた畳み込み演算処理が行われた結果、生成対象画像９３が得られた例が示されている。なお、３×３のマスクフィルタ６８Ａは、あくまでも一例に過ぎず、Ｎ×Ｎのマスクフィルタ６８Ａ（Ｎは２以上の自然数）であればよく、マスク数は特に限定されない。強調処理部６８は、周波数強調処理後の生成対象画像９３を特徴情報生成部６４に出力する。
　特徴情報生成部６４は、周波数強調処理後の生成対象画像９３に含まれる第１特徴点９２Ａを抽出し、抽出した第１特徴点９２Ａの座標及び数を示す第１特徴情報９２Ｂを生成する。判定部６６は、第１特徴情報９２Ｂにより示される特徴点数Ｎ１と閾値ｔとを比較することにより、第１特徴情報９２Ｂが予め定められた条件を満たすか否かを判定する。第１特徴情報９２Ｂにより示される特徴点数Ｎ１が、閾値ｔ以下である場合、判定部６６は、予め定められた条件が満たされると判定し、再度、特徴判定処理は、周波数強調処理へ移行する。
　一方、第１特徴情報９２Ｂにより示される特徴点数Ｎ１が、閾値ｔより大きい場合、判定部６６は、予め定められた条件が満たされないと判定する。この場合、特徴判定処理は、合成画像生成部７０における画像合成処理へ移行する。
　一例として図８に示すように、合成画像生成部７０は、ストレージ４８から生成対象画像９２及び９４を取得する。合成画像生成部７０は、生成対象画像９２及び９４に対して画像合成処理を行う。画像合成処理は、第１特徴情報９２Ｂ及び第２特徴情報９４Ｂに基づいて合成画像９０を生成する処理である。合成画像生成部７０は、生成対象画像９２のオーバラップ画像領域９５Ａと、生成対象画像９４のオーバラップ画像領域９５Ｂとをオーバラップさせた状態で合成することにより、合成画像９０を生成する。合成画像生成部７０は、合成画像９０を示す合成画像データ９６を出力部７２に出力する。
　出力部７２は、合成画像生成部７０から入力された合成画像データ９６を外部へ出力する。図８に示す例では、出力部７２は、送信機２０に対して合成画像データ９６を出力する。送信機２０は、表示装置２４に対して、合成画像データ９６により示される合成画像９０を表示させる。
　次に、本実施形態に係る飛行撮像装置１の作用について図９を参照しながら説明する。図９には、本実施形態に係る画像処理の流れの一例が示されている。図９に示す画像処理の流れは、本開示の技術に係る「画像処理方法」の一例である。
　図９に示す画像処理では、先ず、ステップＳＴ１０で、撮像制御部６２の制御下でイメージセンサ３６によって撮像対象領域３Ａが撮像されることにより、対象画像データ９１が得られる。対象画像データ９１には、生成対象画像９２及び９４を示すデータが含まれる。対象画像データ９１は、ストレージ４８に記憶される。ステップＳＴ１０の処理が実行された後、画像処理は、ステップＳＴ１２に移行する。
　ステップＳＴ１２で、特徴情報生成部６４は、ストレージ４８から取得した生成対象画像９２について第１特徴情報９２Ｂを生成する。ステップＳＴ１２の処理が実行された後、画像処理は、ステップＳＴ１４に移行する。
　ステップＳＴ１４で、特徴情報生成部６４は、ストレージ４８から取得した生成対象画像９４について第２特徴情報９４Ｂを生成する。ステップＳＴ１４の処理が実行された後、画像処理は、ステップＳＴ１６に移行する。
　ステップＳＴ１６で、取得部６５は、ストレージ４８から撮像対象情報８０を取得する。ステップＳＴ１６の処理が実行された後、画像処理は、ステップＳＴ１８に移行する。
　ステップＳＴ１８で、取得部６５は、ストレージ４８内の閾値テーブル８２を用いて、撮像対象情報８０により示される撮像対象の種類に応じた閾値ｔを取得する。ステップＳＴ１８の処理が実行された後、画像処理は、ステップＳＴ２０に移行する。
　ステップＳＴ２０で、判定部６６は、ステップＳＴ１２及びステップＳＴ１４でそれぞれ生成された第１特徴情報９２Ｂ及び第２特徴情報９４Ｂにより示される特徴点数Ｎが閾値ｔ以下であるという条件を満たすか否かを判定する。特徴点数Ｎが、閾値ｔ以下である場合、判定は肯定され、画像処理は、ステップＳＴ２２に移行する。特徴点数Ｎが、閾値ｔよりも多い場合、判定は否定され、画像処理は、ステップＳＴ２４に移行する。
　ステップＳＴ２２で、強調処理部６８は、ステップＳＴ２０において判定部６６により特徴点数Ｎが閾値ｔ以下であると判定された画像に対して周波数強調処理を行う。ステップＳＴ２２の処理が実行された後、画像処理は、ステップＳＴ１２に戻る。
　ステップＳＴ２４で、合成画像生成部７０は、生成対象画像９２のオーバラップ画像領域９５Ａと、生成対象画像９４のオーバラップ画像領域９５Ｂとをオーバラップさせた状態で合成することにより、合成画像９０を生成する。換言すれば、合成画像生成部７０は、第１特徴情報９２Ｂにより示される特徴点９２Ａと、第２特徴情報９４Ｂにより示される特徴点９４Ａとに基づいて、合成画像９０を生成する。ステップＳＴ２４の処理が実行された後、画像処理は、ステップＳＴ２６に移行する。
　ステップＳＴ２６で、出力部７２は、ステップＳＴ２４で生成された合成画像９０を示す合成画像データ９６を外部へ出力する。ステップＳＴ２６の処理が実行された後、画像処理は、ステップＳＴ２８へ移行する。
　ステップＳＴ２８で、出力部７２は、画像処理が終了条件を満たしたか否かを判定する。終了条件の一例としては、ユーザが画像処理を終了させる指示を撮像装置３０に対して付与したという条件、又はユーザが指定する枚数に生成対象画像９２及び９４の枚数が達したという条件等が挙げられる。ステップＳＴ２８において、終了条件が成立していない場合には、判定が否定されて、画像処理は、ステップＳＴ１０へ移行する。ステップＳＴ２８において、終了条件が成立した場合には、判定が肯定されて、画像処理は終了する。
　以上説明したように、本実施形態に係る飛行撮像装置１では、プロセッサ４６において、合成画像９０の生成に用いられる生成対象画像９２及び９４に対して、第１特徴情報９２Ｂ及び第２特徴情報９４Ｂが予め定められた条件を満たすか否かの判定が行われる。そして、第１特徴情報９２Ｂ及び第２特徴情報９４Ｂが条件を満たした場合に周波数強調処理が行われる。周波数強調処理が行われることによって生成対象画像９２及び９４に像として含まれる凹凸の輪郭、又は色彩の変化等が強調され、処理前と比較して特徴情報が増加する。第１特徴情報９２Ｂ及び第２特徴情報９４Ｂにより示される特徴点数Ｎが増加することで、生成に用いられる画像間での第１特徴情報９２Ｂ及び第２特徴情報９４Ｂのマッチングが精度良く行われる。従って、本構成によれば、合成画像９０が生成される場合の合成画像９０の破綻を抑制することができる。
　例えば、合成画像９０の生成において、第１特徴情報９２Ｂ及び第２特徴情報９４Ｂが予め定められた条件を満たす場合であっても、周波数強調処理が行われない場合では、合成画像９０の生成に要する特徴情報が足りず、生成後の合成画像９０が破綻する。本構成では、周波数強調処理によって第１特徴情報９２Ｂ及び第２特徴情報９４Ｂにより示される特徴点数Ｎが増加するので、特徴点数Ｎが増加しない場合に比べ、合成画像９０が生成される場合の合成画像９０の破綻が抑制される。
　また、本実施形態に係る飛行撮像装置１では、プロセッサ４６において、撮像対象２の特性に関する情報である撮像対象情報８０に基づいて、第１特徴情報９２Ｂ及び第２特徴情報９４Ｂが予め定められた条件を満たすか否かの判定が行われる。このため、周波数強調処理の対象となる画像を選別するための判定の精度が向上する。この結果、周波数強調処理が正確に行われる。周波数強調処理が行われることで、生成に用いられる画像間での第１特徴情報９２Ｂ及び第２特徴情報９４Ｂのマッチングが精度良く行われる。従って、本構成によれば、合成画像９０の生成において、合成画像９０が破綻することが抑制される。
　例えば、撮像対象情報８０が考慮されずに、第１特徴情報９２Ｂ及び第２特徴情報９４Ｂが予め定められた条件を満たすか否かが判定される場合と比較して、本構成では、撮像対象情報８０が考慮された上で、周波数強調処理の対象となる画像を選別するための判定が行われる。選別の精度が向上すると、特徴情報の増加が必要な画像に対して周波数強調処理が行われる。すなわち、周波数強調処理が正確に行われる。従って、本構成によれば、合成画像９０の生成において、合成画像９０が破綻することが抑制される。
　また、本実施形態に係る飛行撮像装置１では、撮像対象情報８０には、撮像対象２の種類（例えば、撮像対象２が橋脚である）を示す情報が含まれる。プロセッサ４６において、撮像対象２の種類に基づいて、第１特徴情報９２Ｂ及び第２特徴情報９４Ｂが予め定められた条件を満たすか否かの判定が行われる。このため、周波数強調処理の対象となる画像を選別するための判定の精度が向上する。この結果、周波数強調処理が正確に行われる。周波数強調処理が行われることで、生成に用いられる画像間での第１特徴情報９２Ｂ及び第２特徴情報９４Ｂのマッチングが精度良く行われる。従って、本構成によれば、合成画像９０の生成において、合成画像９０が破綻することが抑制される。
　例えば、撮像対象情報８０に含まれる撮像対象２の種類を示す情報が考慮されずに、判定がされる場合と比較して、本構成では、撮像対象２の種類に基づいて、周波数強調処理の対象となる画像を選別するための判定が行われる。選別の精度が向上すると、特徴情報の増加が必要な画像に対して周波数強調処理が行われる。すなわち、周波数強調処理が正確に行われる。周波数強調処理が行われることで、生成に用いられる画像間での第１特徴情報９２Ｂ及び第２特徴情報９４Ｂのマッチングが精度良く行われる。従って、本構成によれば、合成画像９０の生成において、合成画像９０が破綻することが抑制される。
　また、本実施形態に係る飛行撮像装置１では、第１特徴情報９２Ｂ及び第２特徴情報９４Ｂには生成対象画像９２及び９４に含まれる特徴点の数である特徴点数Ｎが含まれ、特徴点数Ｎに基づいて判定が行われる。このため、周波数強調処理の対象となる画像を選別するための判定の精度が向上する。この結果、周波数強調処理が正確に行われる。周波数強調処理が行われることで、生成に用いられる画像間での第１特徴情報９２Ｂ及び第２特徴情報９４Ｂのマッチングが精度良く行われる。従って、本構成によれば、合成画像９０の生成において、合成画像９０が破綻することが抑制される。
　例えば、生成対象画像９２及び９４に含まれる特徴点数Ｎが考慮されずに、判定が行われる場合と比較して、本構成では、特徴点数Ｎに基づいて周波数強調処理の対象となる画像を選別するための判定が行われる。すなわち、周波数強調処理が正確に行われる。周波数強調処理が行われることで、生成に用いられる画像間での第１特徴情報９２Ｂ及び第２特徴情報９４Ｂのマッチングが精度良く行われる。従って、本構成によれば、合成画像９０の生成において、合成画像９０が破綻することが抑制される。
　また、本実施形態に係る飛行撮像装置１では、第１特徴情報９２Ｂ及び第２特徴情報９４Ｂは、撮像対象２のオーバラップ領域５に含まれる特徴点数Ｎを示す。合成画像９０は、生成対象画像９２及び９４のオーバラップ画像領域９５Ａ及び９５Ｂをオーバラップさせることにより合成される。周波数強調処理が行われることで、生成に用いられる画像間におけるオーバラップ画像領域９５Ａ及び９５Ｂにおける第１特徴情報９２Ｂ及び第２特徴情報９４Ｂのマッチングが精度良く行われる。従って、本構成によれば、合成画像９０の生成において、合成画像９０が破綻することが抑制される。
　また、本実施形態に係る飛行撮像装置１では、プロセッサ４６における特徴判定処理において、予め定められた条件は、特徴点数Ｎが閾値ｔ以下であるという条件である。従って、本構成では、特徴判定処理において、予め定められた条件がその都度設定される場合と比較して、特徴判定処理の処理速度が向上する。
　また、本実施形態に係る飛行撮像装置１では、閾値テーブル８２において、閾値ｔは、撮像対象２の種類に応じて予め定められている。このため、周波数強調処理の対象となる画像を選別するための判定の精度が向上する。この結果、周波数強調処理が正確に行われる。周波数強調処理が行われることで、生成に用いられる画像間での第１特徴情報９２Ｂ及び第２特徴情報９４Ｂのマッチングが精度良く行われる。従って、本構成によれば、合成画像９０の生成において、合成画像９０が破綻することが抑制される。
　例えば、閾値ｔが常に一定の値である場合と比較して、本構成では、閾値ｔは、撮像対象２の種類に応じて予め定められている。このため、撮像対象２の種類に応じた閾値ｔに基づいて周波数強調処理の対象となる画像を選別するための判定が行われる。すなわち、周波数強調処理が正確に行われる。周波数強調処理が行われることで、生成に用いられる画像間での第１特徴情報９２Ｂ及び第２特徴情報９４Ｂのマッチングが精度良く行われる。従って、本構成によれば、合成画像９０の生成において合成画像９０が破綻することが抑制される。
　本実施形態に係る飛行撮像装置１では、強調処理部６８における周波数強調処理がマスクフィルタ６８Ａによる畳み込み演算である。そのため、生成対象画像９２及び９４により示される凹凸の輪郭、及び／又は色彩の変化等が強調され、処理前と比較して特徴点数Ｎが増加する。この結果、生成に用いられる画像間での第１特徴情報９２Ｂ及び第２特徴情報９４Ｂのマッチングが精度良く行われる。従って、本構成によれば、合成画像９０の生成において、合成画像９０が破綻することが抑制される。
　本実施形態に係る飛行撮像装置１では、プロセッサ４６において生成される合成画像９０は、２次元画像９０Ａである。従って、本構成によれば、２次元画像９０Ａの生成において、合成画像９０が破綻することが抑制される。
　なお、上記実施形態では、第１特徴情報９２Ｂ及び第２特徴情報９４Ｂが、オーバラップ画像領域９５Ａ及び９５Ｂに含まれる特徴点数Ｎを示す形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第１特徴情報９２Ｂ及び第２特徴情報９４Ｂが、オーバラップ画像領域９５Ａ及び９５Ｂに含まれる特徴点の密度を示してもよい。
　また、第１特徴情報９２Ｂ及び第２特徴情報９４Ｂは、特徴点数Ｎそのものを示すのではなく、特徴点数Ｎを独立変数とする演算式を用いて得られる値を示してもよい。また、第１特徴情報９２Ｂ及び第２特徴情報９４Ｂは、特徴点数Ｎを示すのではなく、特徴点９２Ａ及び９４Ａの配置（例えば、生成対象画像９２内における特徴点９２Ａの幾何的位置関係、及び生成対象画像９４内における特徴点９４Ａの幾何的位置関係）を示してもよい。
　また、上記実施形態では、取得部６５において、閾値テーブル８２を用いて閾値ｔが求められる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、取得部６５において、撮像対象２を示す数値を独立変数とし、閾値ｔを独立変数とする演算式を用いて閾値ｔが求められてもよい。
　（変形例１）
　上記実施形態では、強調処理部６８における周波数強調処理として、マスクフィルタ６８Ａによる畳み込み演算が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第１変形例では、周波数強調処理として、対象画像データ９１に対してフーリエ変換を行い、かつ、フーリエ変換の結果からノイズを除去したデータに対して逆フーリエ変換を行うことを含む処理が行われる。
　一例として図１０に示すように、強調処理部６８は、生成対象画像９２に対して、周波数強調処理を行う。図１０に示す例では、強調処理部６８によって、生成対象画像９２を示す対象画像データ９１に対してフーリエ変換が行われる。さらに、フーリエ変換が行われた結果からノイズである低周波成分が除去される。最終的に、ノイズが除去されたデータに対して逆フーリエ変換が行われる。この結果、周波数強調処理後の生成対象画像９３が得られる。強調処理部６８は、周波数強調処理後の生成対象画像９３を特徴情報生成部６４に出力する。
　特徴情報生成部６４は、生成対象画像９３に基づいて第１特徴情報９２Ｂを生成する。そして、判定部６６は、第１特徴情報９２Ｂにより示される特徴点数Ｎ１と閾値ｔとを比較することにより、第１特徴情報９２Ｂが予め定められた条件を満たすか否かを判定する。第１特徴情報９２Ｂにより示される特徴点数Ｎ１が、閾値ｔ以下である場合、判定部６６は、予め定められた条件が満たされると判定し、再度、特徴判定処理（図６参照）は、周波数強調処理に移行する。
　一方、第１特徴情報９２Ｂにより示される特徴点数Ｎ１が、閾値ｔより大きい場合、判定部６６は、予め定められた条件が満たされないと判定する。この場合、特徴判定処理は、合成画像生成部７０における画像合成処理（図９）へ移行する。
　以上説明したように、本第１変形例に係る飛行撮像装置１では、強調処理部６８における周波数強調処理が、対象画像データ９１に対してフーリエ変換を行い、かつ、フーリエ変換の結果からノイズを除去したデータに対して逆フーリエ変換を行うことを含む処理である。そのため、生成対象画像９２及び９４により示される凹凸の輪郭、及び／又は色彩の変化等が強調され、処理前と比較して特徴点数Ｎが増加する。周波数強調処理が行われることで、生成に用いられる画像間での第１特徴情報９２Ｂ及び第２特徴情報９４Ｂのマッチングが精度良く行われる。従って、本構成によれば、合成画像９０の生成において、合成画像９０が破綻することが抑制される。
　（変形例２）
　上記実施形態では、撮像対象情報８０が撮像対象２の種類を含み、閾値テーブル８２が撮像対象２に応じた閾値ｔを出力値として有する形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第２変形例では、撮像対象情報８０が、撮像対象２の種類に加えて、撮像対象２の色彩、材料、及び表面状態を示す情報を含む。
　一例として図１１に示すように、飛行体１０は、ユーザによる操作に応じて送信機２０から送信された撮像対象情報８０を受信し、ストレージ４８に記憶させる。撮像対象情報８０は、撮像対象２の種類（例えば、撮像対象２は橋脚であること）、撮像対象２の色彩（例えば、灰色）、撮像対象２の材料（例えば、コンクリート）、及び撮像対象２の表面状態（例えば、凹凸、又は濡れていること）を示す情報を含む。ここで言う凹凸には、例えば、壁面２Ａを形成する材料に起因する凹凸に加えて、欠損及び／又は欠陥に伴う凹凸が含まれる。
　取得部６５は、ストレージ４８から撮像対象情報８０を取得する。また、取得部６５は、ストレージ４８に予め記憶された閾値テーブル８４を取得する。閾値テーブル８４は、撮像対象の種類（例えば、橋脚）を示す数値、色彩を示す数値、材料を示す数値、及び表面状態を示す数値を入力値とし、それらに応じた閾値ｔを出力値とするテーブルである。閾値ｔは、例えば、破綻のない合成画像９０の生成が可能となる特徴点の数を示す数値である。取得部６５は、閾値テーブル８４を用いて、撮像対象情報８０により示される撮像対象２の種類、撮像対象２の色彩、撮像対象２の材料、及び撮像対象２の表面状態に応じた閾値ｔを取得する。
　判定部６６は、閾値ｔと特徴点数Ｎとを比較する。判定部６６は、特徴点数Ｎが閾値ｔ以下である場合、予め定められた条件が満たされると判定する。判定部６６において、予め定められた条件が満たされると判定された場合、特徴判定処理は、強調処理部６８（図７参照）による周波数強調処理に移行する。
　以上説明したように、本第２変形例に係る飛行撮像装置１では、撮像対象情報８０は、撮像対象２の種類、色彩、材料、及び表面状態を示す情報を含む。撮像対象２の種類、色彩、材料、及び表面状態を示す情報を踏まえて、第１特徴情報９２Ｂ及び第２特徴情報９４Ｂが予め定められた条件を満たすか否かの判定が行われる。このため、周波数強調処理の対象となる画像を選別するための判定の精度が向上する。この結果、周波数強調処理が正確に行われる。周波数強調処理が行われることで、生成に用いられる画像間での第１特徴情報９２Ｂ及び第２特徴情報９４Ｂのマッチングが精度良く行われる。従って、本構成によれば、合成画像９０の生成において、合成画像９０が破綻することが抑制される。
　例えば、撮像対象情報８０が撮像対象２の種類のみである場合と比較して、本第２変形例では、撮像対象情報８０は、撮像対象２の種類、色彩、材料、及び表面状態を示す情報を含む。このため、撮像対象２の種類、色彩、材料、及び表面状態に基づいて周波数強調処理の対象となる画像を選別するための判定が行われる。すなわち、周波数強調処理が正確に行われる。周波数強調処理が行われることで、生成に用いられる画像間での第１特徴情報９２Ｂ及び第２特徴情報９４Ｂのマッチングが精度良く行われる。従って、本構成によれば、合成画像９０の生成において、合成画像９０が破綻することが抑制される。
　なお、本変形例において、撮像対象情報８０が、撮像対象２の種類、撮像対象２の色彩、撮像対象２の材料、及び撮像対象２の表面状態を示す情報を含む形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像対象情報８０が、撮像対象２の種類、撮像対象２の色彩、撮像対象２の材料、及び撮像対象２の表面状態を示す情報のうちの何れか一つ又は何れか二つの組み合わせであってもよい。また、撮像対象情報８０が、撮像対象２の種類、撮像対象２の色彩、撮像対象２の材料、及び撮像対象２の表面状態を示す情報のうちの何れか三つの組み合わせであってもよい。
　（変形例３）
　上記実施形態では、周波数強調処理において、周波数強調処理に用いられるパラメータが、予め定められている形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第３変形例では、周波数強調処理におけるパラメータが撮像対象２に応じて設定される。
　一例として図１２に示すように、強調処理部６８は、ストレージ４８から撮像対象情報８０を取得する。強調処理部６８は、撮像対象情報８０に基づいて周波数強調処理におけるパラメータを設定する。図１２に示す例では、強調処理部６８は、撮像対象情報８０により示される撮像対象２の種類に応じて、マスクフィルタ６８Ｂを用いた畳み込み演算を行う。強調処理部６８は、撮像対象２の種類に応じたマスクフィルタ６８Ｂのマスク数を設定する。図１２に示す例では、マスクフィルタ６８Ｂのマスク数が４×４である例が示されている。周波数強調処理におけるパラメータは、例えば、撮像対象２の種類を示す数値を独立変数としパラメータを従属変数とする演算式を用いて算出されてもよいし、送信機２０を介したユーザの操作により直接入力されてもよい。マスクフィルタ６８Ｂのマスク数は、本開示の技術に係る「パラメータ」の一例である。
　強調処理部６８は、生成対象画像９２に対して、ノイズである低周波成分を除去し、特徴点となる高周波成分を強調する処理である周波数強調処理を行う。強調処理部６８は、周波数強調処理後の生成対象画像９３を特徴情報生成部６４に出力する。
　特徴情報生成部６４は、生成対象画像９３に基づいて第１特徴情報９２Ｂを生成する。そして、判定部６６は、第１特徴情報９２Ｂにより示される特徴点数Ｎ１と閾値ｔとを比較することにより、第１特徴情報９２Ｂが予め定められた条件を満たすか否かを判定する。第１特徴情報９２Ｂにより示される特徴点数Ｎ１が、閾値ｔ以下である場合、判定部６６は、予め定められた条件が満たされると判定し、再度、特徴判定処理（図６参照）は、周波数強調処理に移行する。
　一方、第１特徴情報９２Ｂにより示される特徴点数Ｎ１が、閾値ｔより大きい場合、判定部６６は、予め定められた条件が満たされないと判定する。この場合、特徴判定処理は、合成画像生成部７０における画像合成処理（図９）へ移行する。
　以上説明したように、本第３変形例に係る飛行撮像装置１では、周波数強調処理におけるパラメータが撮像対象２に応じて設定される。周波数強調処理に用いられるパラメータが撮像対象２に応じて設定されるので、処理前と比較して、特徴判定処理に用いられる特徴情報が最適化される。従って、本構成によれば、特徴情報が最適化されてない場合に比べて、合成画像９０の生成において、合成画像９０が破綻することが抑制される。
　（変形例４）
　上記実施形態では、合成画像９０が２次元画像９０Ａである形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第４変形例では、合成画像９０は、３次元画像９０Ｂである。
　一例として図１３に示すように、飛行撮像装置１は、壁面２Ａの複数の領域３を順次に撮像する。また、飛行撮像装置１は、壁面２Ａに連続した壁面２Ｂにおいて、複数の領域３を撮像する。複数の領域３が撮像装置３０によって順次に撮像されることで複数の生成対象画像９２、９４及び９８が得られる。複数の生成対象画像９２、９４及び９８が合成されることにより合成画像９０が生成される。合成画像９０は、撮像対象２を示す立体的な画像である３次元画像９０Ｂである。３次元画像９０Ｂは、本開示の技術に係る「３次元画像」の一例である。
　合成画像９０の生成において、判定部６６（図５参照）は、生成対象画像９２、９４及び９８に対して特徴判定処理を行う。特徴判定処理において、予め定められた条件を満たすと判定された場合、強調処理部６８は、生成対象画像９２、９４及び９８の内の対象となる画像に対して周波数強調処理を行う。そして、合成画像生成部７０は、生成対象画像９２、９４及び９８に対して、画像合成処理を行う。この結果、合成画像９０が生成される。
　以上説明したように、本第４変形例に係る飛行撮像装置１では、プロセッサ４６において生成される合成画像９０は、３次元画像９０Ｂである。従って、本構成によれば、３次元画像９０Ｂの生成において、合成画像９０が破綻することが抑制される。
　なお、上記実施形態では、飛行撮像装置１のプロセッサ４６が、ストレージ４８に記憶された対象画像データ９１に基づいて、合成画像９０を生成する（図８参照）形態例を挙げて説明したが、本開示の技術はこれに限定されない。一例として図１４に示すように、飛行撮像装置１と有線接続又は無線接続により通信可能に接続された画像処理装置１００のプロセッサ１１０に、飛行撮像装置１のプロセッサ４６から複数の対象画像データ９１が入力され、画像処理装置１００のプロセッサ１１０が、複数の対象画像データ９１に基づいて合成画像９０を生成してもよい。画像処理装置１００は、本開示の技術に係る「画像処理装置」の一例であり、プロセッサ１１０は、本開示の技術に係る「プロセッサ」の一例である。
　また、上記実施形態では、光軸ＯＡが垂直な状態で撮像される形態例を挙げて説明したが、本開示の技術は、これに限定されない。例えば、合成画像９０の生成に用いられる複数の生成対象画像９２及び９４には、射影変換が施された画像も含まれている。射影変換が施された画像とは、例えば、撮像装置３０の姿勢（例えば、俯角又は仰角）に起因して台形等に歪んだ画像領域を含む画像が補正された画像を指す。射影変換は、壁面２Ａに対して撮像装置３０の姿勢が傾いた状態（すなわち、壁面２Ａに対して撮像装置３０の光軸ＯＡが傾いた状態）で撮像装置３０によって壁面２Ａが撮像されることによって得られた画像に対して行われる処理である。
　俯角又は仰角に起因して生じる画像の歪みは、射影変換が行われることによって補正される。すなわち、壁面２Ａに対して撮像装置３０の姿勢が傾いた状態で撮像装置３０によって撮像が行われることで得られた画像は、射影変換が行われることで、あたかも壁面２Ａに正対した位置から撮像が行われることによって得られた画像のように変換される。
　また、上記実施形態では、ユーザの操作により撮像対象２が入力され、送信機２０を介して撮像対象２を示す撮像対象情報８０が送信される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、生成対象画像９２及び９４に対してＡＩ方式又はパターンマッチング方式による画像解析が行われることにより、生成対象画像９２及び９４に画像として含まれる撮像対象２が特定されてもよい。
　また、上記実施形態では、飛行撮像装置１が、送信機２０から飛行指示信号及び撮像開始信号に基づいて飛行及び撮像を行う形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、飛行撮像装置１は、予め定められた飛行計画に従って飛行及び撮像を行う態様であってもよい。
　また、上記実施形態では、撮像装置３０が飛行体１０に搭載されている例が挙げられているが、撮像装置３０は、各種移動体（例えば、ゴンドラ、自動搬送ロボット、無人搬送車、又は高所点検車）等に搭載されてもよい。また、移動体は、人物であってもよい。ここで、人物とは、例えば、土地及び／又はインフラストラクチャ等に対する測量及び／又は点検を行う作業員を指す。なお、移動体が人物である場合、撮像装置３０が搭載されるとは、人物によって撮像装置３０（例えば、カメラ機能付き携帯型端末）が把持される、及び／又は人物が身に付ける装備（例えば、ヘルメット、又は作業着等）に撮像装置３０が取り付けられる態様を含む。
　また、上記実施形態では、生成対象画像９２及び９４が別々の画像として撮像される形態例を挙げて説明したが、本開示の技術は、これに限定されない。例えば、生成対象画像９２及び９４は、撮像装置３０によって撮像対象２が撮像されることにより得られた動画から切り出されることで得られてもよい。
　また、上記各実施形態では、プロセッサ４６を例示したが、プロセッサ４６に代えて、又は、プロセッサ４６と共に、他の少なくとも１つのＣＰＵ、少なくとも１つのＧＰＵ、及び／又は、少なくとも１つのＴＰＵを用いるようにしてもよい。
　また、上記各実施形態では、ストレージ４８に画像処理プログラム６０が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、画像処理プログラム６０がＳＳＤ又はＵＳＢメモリなどの可搬型の非一時的なコンピュータ読取可能な記憶媒体（以下、単に「非一時的記憶媒体」と称する）に記憶されていてもよい。非一時的記憶媒体に記憶されている画像処理プログラム６０は、撮像装置３０のコンピュータ３２にインストールされ、プロセッサ４６は、画像処理プログラム６０に従って処理を実行する。
　また、ネットワークを介して撮像装置３０に接続される他のコンピュータ又はサーバ装置等の記憶装置に画像処理プログラム６０を記憶させておき、撮像装置３０の要求に応じて画像処理プログラム６０がダウンロードされ、コンピュータ３２にインストールされてもよい。
　また、撮像装置３０に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はストレージ４８に画像処理プログラム６０の全てを記憶させておく必要はなく、画像処理プログラム６０の一部を記憶させておいてもよい。
　また、撮像装置３０には、コンピュータ３２が内蔵されているが、本開示の技術はこれに限定されず、例えば、コンピュータ３２が撮像装置３０の外部に設けられるようにしてもよい。
　また、上記各実施形態では、プロセッサ４６、ストレージ４８、及びＲＡＭ５０を含むコンピュータ３２が例示されているが、本開示の技術はこれに限定されず、コンピュータ３２に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ３２に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
　また、上記各実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電子回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで各種処理を実行する。
　各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。
　１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、各種処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電子回路を用いることができる。また、上記の視線検出処理はあくまでも一例である。したがって、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
　２０２２年３月１７日に出願された日本国特許出願２０２２－０４３０２９号の開示は、その全体が参照により本明細書に取り込まれる。

Claims (14)

  1. 　プロセッサを備え、
    　前記プロセッサは、
    　撮像対象が複数の位置から撮像されることによって得られた複数の画像のうちの合成画像の生成に用いる生成対象画像に含まれており、かつ、前記生成に要する特徴情報が予め定められた条件を満たすか否かを判定し、
    　前記特徴情報が前記予め定められた条件を満たした場合に前記生成対象画像に対して周波数強調処理を行う
    　画像処理装置。
  2. 　前記プロセッサは、さらに、前記撮像対象の特性に関する情報である撮像対象情報に基づいて、前記特徴情報が予め定められた条件を満たすか否かを判定する
    　請求項１に記載の画像処理装置。
  3. 　前記撮像対象情報は、前記撮像対象の種類、色彩、材料、及び／又は表面状態を示す情報を含む
    　請求項２に記載の画像処理装置。
  4. 　前記特徴情報は、前記生成対象画像内に含まれる特徴点の数に基づく第１値を含む
    　請求項１から請求項３の何れか一項に記載の画像処理装置。
  5. 　前記第１値は、前記生成対象画像において前記撮像対象間の一部がオーバラップしている領域であるオーバラップ領域を示す像に含まれる前記特徴点の数又は前記特徴点の密度である
    　請求項４に記載の画像処理装置。
  6. 　前記予め定められた条件は、前記第１値が予め定められた値である第２値以下である、という条件である
    　請求項４又は請求項５に記載の画像処理装置。
  7. 　前記第２値は、前記撮像対象に応じて定められている
    　請求項６に記載の画像処理装置。
  8. 　前記周波数強調処理は、マスクフィルタによる畳み込み演算を含む処理である
    　請求項１から請求項７の何れか一項に記載の画像処理装置。
  9. 　前記周波数強調処理は、フーリエ変換を行い、かつ、前記フーリエ変換の結果からノイズを除去したデータに対して逆フーリエ変換を行うことを含む処理である
    　請求項１から請求項８の何れか一項に記載の画像処理装置。
  10. 　前記周波数強調処理に用いられるパラメータが、前記撮像対象に応じて設定される
    　請求項１から請求項９の何れか一項に記載の画像処理装置。
  11. 　前記プロセッサは、開始指示を示す信号が入力されたことを条件に、前記特徴情報が前記予め定められた条件を満たすか否かを判定し、
    　前記開始指示は、受付装置により受け付けられる
    　請求項１から請求項１０の何れか一項に記載の画像処理装置。
  12. 　前記合成画像は、２次元画像及び／又は３次元画像を含む
    　請求項１から請求項１１の何れか一項に記載の画像処理装置。
  13. 　撮像対象が複数の位置から撮像されることによって得られた複数の画像のうちの合成画像の生成に用いる生成対象画像に含まれており、かつ、前記生成に要する特徴情報が予め定められた条件を満たすか否かを判定すること、及び、
    　前記特徴情報が前記予め定められた条件を満たした場合に前記生成対象画像に対して周波数強調処理を行うこと
    　を含む画像処理方法。
  14. 　コンピュータに、
    　撮像対象が複数の位置から撮像されることによって得られた複数の画像のうちの合成画像の生成に用いる生成対象画像に含まれており、かつ、前記生成に要する特徴情報が予め定められた条件を満たすか否かを判定すること、及び、
    　前記特徴情報が前記予め定められた条件を満たした場合に前記生成対象画像に対して周波数強調処理を行うこと
    　を含む処理を実行させるプログラム。
PCT/JP2022/046733 2022-03-17 2022-12-19 画像処理装置、画像処理方法、及びプログラム WO2023176078A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-043029 2022-03-17
JP2022043029 2022-03-17

Publications (1)

Publication Number Publication Date
WO2023176078A1 true WO2023176078A1 (ja) 2023-09-21

Family

ID=88022706

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/046733 WO2023176078A1 (ja) 2022-03-17 2022-12-19 画像処理装置、画像処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2023176078A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11196319A (ja) * 1997-12-26 1999-07-21 Minolta Co Ltd 撮像装置
JP2011130282A (ja) * 2009-12-18 2011-06-30 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP2012044339A (ja) * 2010-08-16 2012-03-01 Fujifilm Corp 撮像装置及びパノラマ画像データ生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11196319A (ja) * 1997-12-26 1999-07-21 Minolta Co Ltd 撮像装置
JP2011130282A (ja) * 2009-12-18 2011-06-30 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP2012044339A (ja) * 2010-08-16 2012-03-01 Fujifilm Corp 撮像装置及びパノラマ画像データ生成方法

Similar Documents

Publication Publication Date Title
US10681269B2 (en) Computer-readable recording medium, information processing method, and information processing apparatus
US10275661B2 (en) Image processing apparatus, image processing method, and computer program product
CN113125458B (zh) 钢结构涂层状态的检查与评估方法及***
CN108074267B (zh) 交点检测装置及方法、摄像头校正***及方法及记录介质
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
WO2019150872A1 (ja) 画像処理装置及び画像処理方法
CN111080662A (zh) 车道线的提取方法、装置及计算机设备
JP6970817B2 (ja) 構造物管理装置、構造物管理方法、及び構造物管理プログラム
US10951821B2 (en) Imaging control device, imaging system, and imaging control method
JPWO2018168405A1 (ja) 画像合成装置、画像合成方法及びプログラム
JP6594170B2 (ja) 画像処理装置、画像処理方法、画像投影システムおよびプログラム
JP2019032218A (ja) 位置情報記録方法および装置
JP2021047197A (ja) 損傷データ編集装置、損傷データ編集方法、およびプログラム
CN112419420B (zh) 一种相机标定方法、装置、电子设备及存储介质
US20220405878A1 (en) Image processing apparatus, image processing method, and image processing program
JP6447706B1 (ja) 校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラム
CN113592946A (zh) 位姿定位方法、装置、智能机器人及存储介质
KR20230082497A (ko) 3차원 포인트 클라우드를 이용한 구조물의 실시간 검진 자동화 방법 및 장치
WO2023176078A1 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2023195394A1 (ja) 撮像支援装置、移動体、撮像支援方法、及びプログラム
JP2019211949A (ja) 点群マッチング装置、点群マッチング方法及びプログラム
US11475631B2 (en) Training dataset generation for depth measurement
JP7074694B2 (ja) 情報端末装置及びプログラム
KR102541678B1 (ko) 무인 비행체를 이용한 깊이 맵 기반의 디지털 외관 조사망도 구축 및 구조물 물량 산출 장치 및 방법
WO2023135910A1 (ja) 撮像装置、撮像方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22931243

Country of ref document: EP

Kind code of ref document: A1