WO2024069669A1 - 情報処理システム及びプログラム、情報処理方法、端末、サーバ - Google Patents

情報処理システム及びプログラム、情報処理方法、端末、サーバ Download PDF

Info

Publication number
WO2024069669A1
WO2024069669A1 PCT/JP2022/035574 JP2022035574W WO2024069669A1 WO 2024069669 A1 WO2024069669 A1 WO 2024069669A1 JP 2022035574 W JP2022035574 W JP 2022035574W WO 2024069669 A1 WO2024069669 A1 WO 2024069669A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
difference
edge
images
unit
Prior art date
Application number
PCT/JP2022/035574
Other languages
English (en)
French (fr)
Inventor
雅弘 小川
Original Assignee
株式会社センシンロボティクス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社センシンロボティクス filed Critical 株式会社センシンロボティクス
Priority to PCT/JP2022/035574 priority Critical patent/WO2024069669A1/ja
Publication of WO2024069669A1 publication Critical patent/WO2024069669A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting

Definitions

  • the present invention relates to an information processing system, program, information processing method, terminal, and server that separate multiple near and far objects on an image.
  • Patent Document 1 discloses a system that uses flying objects to photograph and inspect power lines.
  • the present invention has been made in light of this background, and has as its object to provide an information processing system, program, information processing method, terminal, and server that can separate multiple distant and near objects (such as multiple extending overhead lines (particularly power lines)) within an image.
  • an information processing system comprising: an image selection unit that selects at least two images from among a plurality of images acquired along a plurality of objects extending side by side; a difference image generation unit that calculates a difference value between the two images based on pixel value information of each selected image and generates a difference image in which a difference region in which the difference value is equal to or greater than a predetermined reference value is extracted; an edge detection image generation unit that generates an edge detection image in which edges in at least one of the two images are detected; and an edge extraction image generation unit that combines the difference image and the edge detection image to generate an edge extraction image in which edges corresponding to the difference region are extracted.
  • the present invention provides an information processing system, program, information processing method, terminal, and server that can separate multiple distant and near objects (such as multiple overhead lines (particularly power lines)) within an image.
  • multiple distant and near objects such as multiple overhead lines (particularly power lines)
  • FIG. 1 is a diagram showing an overall configuration of an embodiment of the present invention
  • 1 is a diagram showing a system configuration of an information processing system according to an embodiment of the present invention
  • FIG. 3 is a block diagram showing a hardware configuration of the terminal of FIG. 2.
  • FIG. 3 is a block diagram showing a hardware configuration of the server in FIG. 2 .
  • FIG. 3 is a block diagram showing the hardware configuration of the flying object of FIG. 2 .
  • FIG. 3 is a block diagram showing the functions of the terminal and the server in FIG. 2 .
  • 4 is an example of an image acquired from an imaging unit. 4 is an example of a difference image generated by a difference image generating unit. 4 is an example of an edge-detected image generated by an edge-detected image generating unit.
  • FIG. 4 is an example of an edge extraction image generated by an edge extraction image generating unit.
  • 13 is an example of an image in which the mean line has been visualized and added.
  • 1 is a flowchart showing a process for implementing an edge extraction method by the information processing system according to the present embodiment.
  • An information processing system, a program, an information processing method, a terminal, and a server have the following configuration.
  • the information processing system according to item 1, [Item 3] a line segment detection unit that detects one or more line segments in the edge extraction image; A tracking target position setting unit that sets a target position to be tracked by the imaging unit of the unmanned aerial vehicle based on the detected line segment; Further comprising: 3.
  • the tracking target position setting unit sets an average line segment indicating an average position of the plurality of line segments as the tracking target position.
  • the tracking target position setting unit sets the line segment detected by the line segment detection unit as the tracking target position; 4.
  • a program for causing a computer having a processing unit to execute information processing causes the processing unit to selecting at least two images from a plurality of images acquired along a plurality of objects extending alongside one another; calculating a difference value between the two images based on pixel value information of each selected image, and generating a difference image by extracting a difference region in which the difference value is equal to or greater than a predetermined reference value; generating an edge-detected image by detecting edges in at least one of the two images; generating an edge-extracted image by combining the difference image and the edge-detected image and extracting edges corresponding to the difference regions; A program to execute.
  • An information processing method comprising: [Item 8] an image selection unit for selecting at least two images from a plurality of images acquired along a plurality of objects extending side by side; a difference image generating unit that calculates a difference value between the two images based on pixel value information of each selected image, and generates a difference image by extract
  • the information processing system in this embodiment detects at least one of a distant object and a near object (i.e., separates near and far objects) based on an image captured along a plurality of objects extending side by side, such as overhead wires attached to a support (e.g., a steel tower).
  • a support e.g., a steel tower
  • the image of the object may be captured by the user operating a camera, or the image may be captured by remotely operating a camera mounted on an unmanned flying vehicle 4 as shown in Fig. 1, which flies autonomously or remotely, based on an instruction from a terminal 1 owned by the user.
  • the support may be any support that supports multiple objects extending alongside one another, such as a steel tower, pole, pillar, wall, ceiling, or handrail.
  • the multiple objects extending alongside one another may be, for example, objects with uneven surfaces, particularly overhead lines (particularly power lines) with a twisted wire structure, chains, ropes, or other objects with surfaces that have regular, repeated or continuous unevenness, or other objects such as pipes with protrusions on their surfaces or metal pipes with rusted, rough, uneven surfaces (particularly those with repeated or continuous unevenness due to protrusions or rust).
  • the information processing system in this embodiment selects at least two images from among images captured along a plurality of objects extending side by side, calculates a difference value between the two images based on pixel value information of each selected image, generates a difference image in which a difference region (particularly, a difference region due to at least the surface shape of the object (such as a shape with an uneven surface, such as a twisted wire structure)) in which the difference value is equal to or greater than a predetermined reference value is extracted, generates an edge detection image in which edges in at least one of the two images are detected, and combines the difference image and the edge detection image to generate an edge extraction image in which edges corresponding to the difference region are extracted.
  • a difference region particularly, a difference region due to at least the surface shape of the object (such as a shape with an uneven surface, such as a twisted wire structure)
  • edge detection image in which edges in at least one of the two images are detected
  • combines the difference image and the edge detection image to generate an edge extraction image in which edges corresponding
  • the information processing system in this embodiment has a terminal 1, a server 2, and an unmanned aerial vehicle 4.
  • the terminal 1, the server 2, and the unmanned aerial vehicle 4 may be connected to each other so as to be able to communicate with each other via a network NW.
  • the illustrated configuration is an example, and is not limited to this, and for example, the unmanned aerial vehicle 4 may not be connected to the network NW.
  • the unmanned aerial vehicle 4 may be operated by a transmitter (so-called radio control) operated by a user, or image data acquired by a camera of the unmanned aerial vehicle 4 may be stored in an auxiliary storage device (for example, a memory card such as an SD card or a USB memory) connected to the unmanned aerial vehicle 4, and the image data may be read out from the auxiliary storage device to the terminal 1 or the server 2 and stored by the user after the fact, and the unmanned aerial vehicle 4 may be connected to the network NW only for the purpose of operation or for the purpose of storing image data.
  • a transmitter so-called radio control
  • image data acquired by a camera of the unmanned aerial vehicle 4 may be stored in an auxiliary storage device (for example, a memory card such as an SD card or a USB memory) connected to the unmanned aerial vehicle 4, and the image data may be read out from the auxiliary storage device to the terminal 1 or the server 2 and stored by the user after the fact, and the unmanned aerial vehicle 4 may be connected to the network NW only for the purpose of operation or for
  • ⁇ Hardware configuration of terminal 1> 3 is a diagram showing a hardware configuration of the terminal 1 in this embodiment. Note that the illustrated configuration is an example, and the terminal 1 may have other configurations.
  • the terminal 1 includes at least a processor 10, a memory 11, a storage 12, a transmission/reception unit 13, an input/output unit 14, etc., which are electrically connected to each other via a bus 15.
  • the terminal 1 may be, for example, a general-purpose computer such as a workstation or a personal computer.
  • the processor 10 is a computing device that controls the operation of the entire terminal 1, controls the transmission and reception of data between each element, and performs information processing necessary for application execution and authentication processing.
  • the processor 10 is a CPU (Central Processing Unit) and/or a GPU (Graphics Processing Unit), and executes programs stored in the storage 12 and deployed in the memory 11 to perform various information processing operations.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • Memory 11 includes a main memory consisting of a volatile storage device such as DRAM (Dynamic Random Access Memory) and an auxiliary memory consisting of a non-volatile storage device such as a flash memory or HDD (Hard Disc Drive). Memory 11 is used as a work area for processor 10, and also stores the BIOS (Basic Input/Output System) that is executed when terminal 1 is started up, various setting information, etc.
  • BIOS Basic Input/Output System
  • Storage 12 stores various programs such as application programs.
  • a database that stores data used for each process may be constructed in storage 12.
  • a storage unit 130 which will be described later, may be provided in part of the storage area.
  • the transmission/reception unit 13 is a communication interface that enables the terminal 1 to communicate with an external device (not shown) or the unmanned aerial vehicle 4 via a communication network.
  • the transmission/reception unit 13 may further include a Bluetooth (registered trademark) or BLE (Bluetooth Low Energy) short-range communication interface, a USB (Universal Serial Bus) terminal, etc.
  • the input/output unit 14 includes information input devices such as a keyboard and mouse, and output devices such as a display.
  • the bus 15 is commonly connected to each of the above elements and transmits, for example, address signals, data signals, and various control signals.
  • ⁇ Server 2> 4 also includes a processor 20, a memory 21, a storage 22, a transmission/reception unit 23, an input/output unit 24, etc., which are electrically connected to each other via a bus 25.
  • the server 2 may be a general-purpose computer such as a workstation or a personal computer, or may be logically realized by cloud computing.
  • the functions of each element can be configured in the same way as the terminal 1 described above, so detailed description of each element will be omitted.
  • ⁇ Unmanned Aerial Vehicle 4> 5 is a block diagram showing a hardware configuration of the unmanned aerial vehicle 4.
  • the flight controller 41 can have one or more processors, such as a programmable processor (e.g., a central processing unit (CPU)).
  • a programmable processor e.g., a central processing unit (CPU)
  • Flight controller 41 also has and can access memory 411.
  • Memory 411 stores logic, code, and/or program instructions that the flight controller can execute to perform one or more steps.
  • Flight controller 41 may also include sensors 412, such as inertial sensors (accelerometers, gyro sensors), GPS sensors, and proximity sensors (e.g., lidar).
  • sensors 412 such as inertial sensors (accelerometers, gyro sensors), GPS sensors, and proximity sensors (e.g., lidar).
  • the memory 411 may include, for example, a separable medium such as an SD card or random access memory (RAM) or an external storage device. Data acquired from the camera/sensors 42 may be directly transmitted to and stored in the memory 411. For example, still image/video data captured by a camera or the like may be recorded in an internal memory or an external memory, but is not limited to this, and may be recorded in at least one of the terminal 1 and the server 2 from the camera/sensor 42 or the internal memory via the network NW.
  • the camera 42 is installed on the unmanned aerial vehicle 4 via a gimbal 43.
  • the flight controller 41 includes a control module (not shown) configured to control the state of the unmanned aerial vehicle 4.
  • the control module controls the propulsion mechanism (motor 45, etc.) of the unmanned aerial vehicle 4 via an ESC 44 (Electric Speed Controller) to adjust the spatial arrangement, speed, and/or acceleration of the unmanned aerial vehicle 4, which has six degrees of freedom (translational motion x , y, and z , and rotational motion ⁇ x , ⁇ y, and ⁇ z ).
  • the propellers 46 rotate by the motor 45 powered by a battery 48, thereby generating lift for the unmanned aerial vehicle 4.
  • the control module can control one or more of the states of the onboard units and sensors.
  • the flight controller 41 can communicate with a transceiver 47 configured to transmit and/or receive data from one or more external devices (e.g., a transceiver 49, a terminal 1, a display device, or other remote control).
  • a transceiver 49 can use any suitable communication means, such as wired or wireless communication.
  • the transceiver unit 47 can utilize one or more of a local area network (LAN), a wide area network (WAN), infrared, wireless, WiFi, a point-to-point (P2P) network, a telecommunications network, cloud communications, etc.
  • LAN local area network
  • WAN wide area network
  • P2P point-to-point
  • the transmitter/receiver 47 can transmit and/or receive one or more of the following: data acquired by the sensors 42, processing results generated by the flight controller 41, specific control data, user commands from a terminal or a remote controller, etc.
  • the sensors 42 in this embodiment may include inertial sensors (accelerometers, gyro sensors), GPS sensors, proximity sensors (e.g., lidar), or vision/image sensors (e.g., cameras).
  • inertial sensors accelerelerometers, gyro sensors
  • GPS sensors GPS sensors
  • proximity sensors e.g., lidar
  • vision/image sensors e.g., cameras
  • FIG. 6 is a block diagram illustrating functions implemented in the terminal 1 and the server 2.
  • the terminal 1 includes an image acquisition unit 115, a processing unit 120, and a storage unit 130.
  • the processing unit 120 includes an image selection unit 121, a difference image generation unit 122, an edge detection image generation unit 123, an edge extraction image generation unit 124, a line detection unit 125, and a tracking target position setting unit 126.
  • the storage unit 130 includes an information/image storage unit 131.
  • the various functional units are illustrated as functional units in the processor 10 of the terminal 1, but some or all of the various functional units may be realized in any of the configurations of the processor 10 of the terminal 1 or the processor 20 of the server 2, and the controller 41 of the unmanned aerial vehicle 4, depending on the capabilities of the processor 10 of the terminal 1 or the processor 20 of the server 2, and the controller 41 of the unmanned aerial vehicle 4.
  • the communication unit 110 communicates with the server 2 and the unmanned aerial vehicle 4 via the network NW.
  • the communication unit 110 also functions as a reception unit that receives various requests and data from the server 2, the unmanned aerial vehicle 4, etc.
  • the image acquisition unit 115 acquires images captured by a digital camera mounted on the unmanned aerial vehicle 4 or a digital camera used by a user from the digital camera, for example, by wireless communication via a communication interface or wired communication via a USB terminal or the like.
  • the image acquisition unit 115 may be configured to acquire images via a storage medium such as a USB memory or SD memory, but it is more preferable to configure the image acquisition unit 115 to acquire images in real time, particularly by wireless communication from the unmanned aerial vehicle 4 or within the unmanned aerial vehicle 4 (details will be described later).
  • the processing unit 120 has various functional units that execute a series of processes to detect at least one of the distant or near objects from the image acquired by the image acquisition unit 115 (an image captured along multiple objects extending side by side).
  • the image selection unit 121 selects at least two images from among a plurality of images acquired along a plurality of objects extending side by side. As a more specific example, the image selection unit 121 selects, for example, two images acquired along a plurality of overhead lines that are within a predetermined range of each other in the time series (for example, an image at time t and an image at time t+1 that are successive timings in the time series, particularly two images that are successive frames).
  • the difference image generating unit 122 calculates the difference between the two images based on the pixel value information of the pixels of each image selected by the image selecting unit 121, and generates a difference image by extracting the difference area where the difference value is equal to or greater than a predetermined value.
  • the pixel value information is information indicating the shade and brightness (luminance) of the color set for each pixel of the image.
  • the difference value is calculated after performing binarization or grayscale processing on the two images, the pixel value information is simplified and the difference value can be easily calculated by the difference image generating unit 122. More specifically, when two images (for example, see FIG.
  • the pixel value information sets white as 0 and black as 1, and when they are grayscaled, the pixel value information sets the whitest white as 0 and the blackest black as 255, and the difference value is calculated by comparing each pixel of the two images, and the difference area is set with pixels that are equal to or greater than a predetermined reference value as white and other pixels as black, and a difference image such as that shown in FIG. 8 can be generated.
  • image selection and generation of difference images may be performed for each frame (e.g., every 0.1 seconds).
  • the edge detection image generating unit 123 generates an edge detection image in which edges are detected in at least one of the two images.
  • the edge detection method may be any known method as long as the outer edge (edge) of an object in the image can be determined. For example, a part in which the amount of change in pixel value between adjacent pixels in a predetermined row of the image is greater than a reference value may be detected as an edge. In particular, a rising edge or a falling edge may be detected based on whether the amount of change is positive or negative. By performing such edge detection, an edge such as that shown in FIG. 9 can be detected from the image in FIG. 7.
  • the edge extraction image generation unit 124 combines the difference image and the edge detection image to generate an edge extraction image in which edges corresponding to the difference region are extracted. That is, the difference region also represents the outer edge of a nearby object based on the surface shape of the object in the foreground, and by taking a logical AND with the edge (outer edge) of the edge detection image, for example, it becomes possible to extract only the edges of nearby objects from among the edges in the edge detection image. Note that, conversely, by filtering with the difference region (that is, by extracting edges excluding those corresponding to the difference region), it becomes possible to extract only the edges of distant objects.
  • the line detection unit 125 detects one or more lines (particularly straight lines when the object is an overhead wire) for the extracted edges in the edge detection image.
  • the line detection method may be a known method, but for example, it may determine continuous edges among the extracted edges and detect them as one line (particularly straight lines when the object is a linear object such as an overhead wire) (for example, 12 lines in FIG. 10), or further, it may group adjacent rising and falling lines based on the rising and falling edges into a set and detect the set as one line (for example, 6 sets corresponding to the overhead wire in FIG. 10).
  • the tracking target position setting unit 126 sets the target position to be tracked by the camera (photographing unit) of the unmanned aerial vehicle 4 based on the extracted edge (especially a straight line when the object is an overhead line).
  • the tracking target position setting unit 126 may calculate an average line at the average position of the multiple lines (visualize and add it to the image as necessary) and set the average line as the target position (target line) to be tracked.
  • FIG. 11 shows an example of an image in which the average line marked with a circle is visualized and added.
  • the tracking target position setting unit 126 may also select (set) one of the lines detected by the line detection unit 125 as the target line.
  • the tracking target position setting unit 126 then generates instruction information for controlling at least one of the photographing unit or the unmanned aerial vehicle itself so that the set target line is included in the image photographed by the photographing unit, and transmits the instruction information to the unmanned aerial vehicle 4 via the communication unit 110.
  • a predetermined position e.g., a central position or an approximate central position, etc.
  • difference information between the predetermined position of the target line and the predetermined range is generated, and instruction information for controlling at least one of the state of the shooting unit (e.g., shooting direction information, angle of view information, etc.) or the state of the unmanned aerial vehicle itself (e.g., current position information (latitude, longitude, altitude coordinates), attitude information, rotor motor output information, etc.) is generated based on the difference information.
  • the difference information may be any information that allows the amount of deviation and the direction of deviation from the predetermined range to be grasped, and may be, for example, information on the direction and distance (number of pixels) on the image from the center of the image to the predetermined position of the target line.
  • the instruction information may be generated, for example, based on the difference information, the correspondence information between the direction and distance on the image and the control direction and control distance in the shooting unit or the unmanned aerial vehicle shooting unit, and at least one of the current state information of the unmanned aerial vehicle, but is not limited thereto. If it is determined that the specified position of the target line is included within a specified range in the image, the state of the imaging unit or unmanned aerial vehicle is maintained without generating new instruction information.
  • the information/image storage section 131 of the storage section 130 at least temporarily stores, in addition to the images acquired by the image acquisition section 115, the difference image generated by the difference image generation section 122, the edge detection image generated by the edge detection image generation section 123, the edge extraction image generated by the edge extraction image generation section 124, the image in which the target line segment is visualized by the tracking target position setting section 126, or the information/data generated during processing by each of the functional sections 121 to 126 of the processing section 120.
  • Fig. 12 is a flowchart showing a process for implementing the crack region detection method by the information processing system according to the present embodiment.
  • the image acquisition unit 115 of the terminal 1 acquires images captured by a camera mounted on the unmanned aerial vehicle 4 or a camera used by the user from those cameras (S101).
  • the image selection unit 121 of the terminal 1 selects at least two images from the multiple images acquired along the multiple objects extending side by side (S102).
  • the difference image generating unit 122 of the terminal 1 calculates the difference value between the two images based on the pixel value information of the pixels of each image selected by the image selecting unit 121, and generates a difference image by extracting difference areas where the difference value is equal to or greater than a reference value (S103).
  • the edge-detected image generating unit 123 generates an edge-detected image in which edges are detected in at least one of the two images (S104).
  • the edge extraction image generation unit 124 combines the difference image and the edge detection image to generate an edge extraction image in which edges corresponding to the difference regions are extracted (S105).
  • terminal 1 of this embodiment takes advantage of the fact that the difference value of a nearby object is larger than the difference value of a distant object, and extracts edges corresponding to difference regions (particularly difference regions due to shapes with uneven surfaces such as twisted wire structures) where the difference value is equal to or greater than a reference value, making it possible to extract only the edges of particularly nearby objects.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)

Abstract

【課題】近くまたは遠くの物体のエッジのみを抽出することが可能となる情報処理システム等を提供する。 【解決手段】本発明の一実施形態によれば、互いに並んで延伸する複数の物体に沿って取得される複数の画像のうち、少なくとも２つの画像を選択する画像選択部と、選択した各画像の画素値情報に基づき前記２つの画像間の差分値を求め、当該差分値が所定の基準値以上の差分領域を抽出した差分画像を生成する差分画像生成部と、前記２つの画像のうちの少なくとも一方の画像におけるエッジを検出したエッジ検出画像を生成するエッジ検出画像生成部と、前記差分画像及び前記エッジ検出画像を組み合わせて、前記差分領域に対応するエッジを抽出したエッジ抽出画像を生成するエッジ抽出画像生成部と、を備える情報処理システム等が提供される。

Description

情報処理システム及びプログラム、情報処理方法、端末、サーバ
　本発明は、複数の遠近の物体を画像上で分離する情報処理システム及びプログラム、情報処理方法、端末、サーバに関する。
　近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ　Ａｅｒｉａｌ　Ｖｅｈｉｃｌｅ）などの飛行体（以下、「飛行体」と総称する）が産業に利用され始めている。こうした中で、特許文献１には、飛行体により電力線を撮影して検査するシステムが開示されている。
特開２０２０－１９６３５５号公報
　しかしながら、単眼カメラ画像しか入力としていない場合に、複数の遠近の物体を分離できない。特に撚線構造の電力線のような繰り返しパターンのある物体が複数存在する場合に対しては、物体同士の遠近の抽出が難しい。具体的には、例えば、点検対象の電力線を追尾したいときに、背景にある点検対象外の電力線を見つけてしまい、そちらの方を追尾してしまい、点検対象の物体をロストして適切な点検を行うことが難しい場合があり得る。
　本発明はこのような背景を鑑みてなされたものであり、特に、複数の遠近の物体（例えば複数延伸する架渉線（特に電力線）など）を画像内で分離することが可能な情報処理システム及びプログラム、情報処理方法、端末、サーバを提供することを一つの目的とする。
　本発明の一態様によれば、互いに並んで延伸する複数の物体に沿って取得される複数の画像のうち、少なくとも２つの画像を選択する画像選択部と、選択した各画像の画素値情報に基づき前記２つの画像間の差分値を求め、当該差分値が所定の基準値以上の差分領域を抽出した差分画像を生成する差分画像生成部と、前記２つの画像のうちの少なくとも一方の画像におけるエッジを検出したエッジ検出画像を生成するエッジ検出画像生成部と、前記差分画像及び前記エッジ検出画像を組み合わせて、前記差分領域に対応するエッジを抽出したエッジ抽出画像を生成するエッジ抽出画像生成部と、を備えることを特徴とする情報処理システムが提供される。
　本発明によれば、特に、複数の遠近の物体（例えば複数延伸する架渉線（特に電力線）など）を画像内で分離することが可能な情報処理システム及びプログラム、情報処理方法、端末、サーバを提供することができる。
本発明の実施の形態の全体構成を示す図である。 本発明の実施の形態にかかる情報処理システムのシステム構成を示す図である。 図２の端末のハードウェア構成を示すブロック図である。 図２のサーバのハードウェア構成を示すブロック図である。 図２の飛行体のハードウェア構成を示すブロック図である。 図２の端末、サーバの機能を示すブロック図である。 撮影部から取得した画像の一例である。 差分画像生成部により生成された差分画像の一例である。 エッジ検出画像生成部により生成されたエッジ検出画像の一例である。 エッジ抽出画像生成部により生成されたエッジ抽出画像の一例である。 平均線状が可視化されて追加されている画像の一例である。 本実施形態にかかる情報処理システムによるエッジ抽出方法を実施する処理を示すフローチャートである。
　本発明の実施形態の内容を列記して説明する。本発明の実施の形態による情報処理システム及びプログラム、情報処理方法、端末、サーバは、以下のような構成を備える。
［項目１］
　互いに並んで延伸する複数の物体に沿って取得される複数の画像のうち、少なくとも２つの画像を選択する画像選択部と、
　選択した各画像の画素値情報に基づき前記２つの画像間の差分値を求め、当該差分値が所定の基準値以上の差分領域を抽出した差分画像を生成する差分画像生成部と、
　前記２つの画像のうちの少なくとも一方の画像におけるエッジを検出したエッジ検出画像を生成するエッジ検出画像生成部と、
　前記差分画像及び前記エッジ検出画像を組み合わせて、前記差分領域に対応するエッジを抽出したエッジ抽出画像を生成するエッジ抽出画像生成部と、
　を備える、
　ことを特徴とする情報処理システム。
［項目２］
　前記差分画像生成部は、前記２つの画像を二値化またはグレースケール化した後に前記差分値を求める、
　ことを特徴とする項目１に記載の情報処理システム。
［項目３］
　前記エッジ抽出画像に対して一以上の線分を検出する線分検出部と、
　検出された前記線分に基づき、無人飛行体の撮影部により追従する対象位置を設定する追従対象位置設定部と、
　をさらに備える、
　ことを特徴とする項目１または２に記載の情報処理システム。
［項目４］
　前記追従対象位置設定部は、前記線分検出部により複数の線分が検出された際には、前記複数の線分の平均位置を示す平均線分を前記追従する対象位置として設定する、
　ことを特徴とする項目３に記載の情報処理システム。
［項目５］
　前記追従対象位置設定部は、前記線分検出部により検出された線分を前記追従する対象位置として設定する、
　ことを特徴とする項目３に記載の情報処理システム。
［項目６］
　処理部を有するコンピュータに情報処理を実行させるプログラムであって、
　前記プログラムは、前記処理部に、
　互いに並んで延伸する複数の物体に沿って取得される複数の画像のうち、少なくとも２つの画像を選択することと、
　選択した各画像の画素値情報に基づき前記２つの画像間の差分値を求め、当該差分値が所定の基準値以上の差分領域を抽出した差分画像を生成することと、
　前記２つの画像のうちの少なくとも一方の画像におけるエッジを検出したエッジ検出画像を生成することと、
　前記差分画像及び前記エッジ検出画像を組み合わせて、前記差分領域に対応するエッジを抽出したエッジ抽出画像を生成することと、
　を実行させる、プログラム。
［項目７］
　画像選択部により、互いに並んで延伸する複数の物体に沿って取得される複数の画像のうち、少なくとも２つの画像を選択するステップと、
　差分画像生成部により、選択した各画像の画素値情報に基づき前記２つの画像間の差分値を求め、当該差分値が所定の基準値以上の差分領域を抽出した差分画像を生成するステップと、
　エッジ検出画像生成部により、前記２つの画像のうちの少なくとも一方の画像におけるエッジを検出したエッジ検出画像を生成するステップと、
　エッジ抽出画像生成部により、前記差分画像及び前記エッジ検出画像を組み合わせて、前記差分領域に対応するエッジを抽出したエッジ抽出画像を生成するステップと、
　をコンピュータにおいて実行する、情報処理方法。
［項目８］
　互いに並んで延伸する複数の物体に沿って取得される複数の画像のうち、少なくとも２つの画像を選択する画像選択部と、
　選択した各画像の画素値情報に基づき前記２つの画像間の差分値を求め、当該差分値が所定の基準値以上の差分領域を抽出した差分画像を生成する差分画像生成部と、
　前記２つの画像のうちの少なくとも一方の画像におけるエッジを検出したエッジ検出画像を生成するエッジ検出画像生成部と、
　前記差分画像及び前記エッジ検出画像を組み合わせて、前記差分領域に対応するエッジを抽出したエッジ抽出画像を生成するエッジ抽出画像生成部と、
　を備える、
　ことを特徴とする端末。
［項目９］
　互いに並んで延伸する複数の物体に沿って取得される複数の画像のうち、少なくとも２つの画像を選択する画像選択部と、
　選択した各画像の画素値情報に基づき前記２つの画像間の差分値を求め、当該差分値が所定の基準値以上の差分領域を抽出した差分画像を生成する差分画像生成部と、
　前記２つの画像のうちの少なくとも一方の画像におけるエッジを検出したエッジ検出画像を生成するエッジ検出画像生成部と、
　前記差分画像及び前記エッジ検出画像を組み合わせて、前記差分領域に対応するエッジを抽出したエッジ抽出画像を生成するエッジ抽出画像生成部と、
　を備える、
　ことを特徴とするサーバ。
＜実施の形態の詳細＞
　以下、本発明の実施の形態による情報処理システムを説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
＜本実施形態の概要＞
　図１に示されるように、本実施の形態における情報処理システムは、例えば支持物（例えば、鉄塔など）に設けられた架渉線などの互いに並んで延伸する複数の物体に沿って撮像した画像を基に、複数の物体のうち遠い物体または近い物体の少なくともいずれかを検出する（すなわち、遠近分離する）ものである。物体の画像の取得は、一例として、ユーザ自身がカメラを操作して撮像してもよいし、あるいは、ユーザの所有する端末１からの指示に基づき、自律飛行もしくは遠隔操作により飛行する図１に示すような無人飛行体４に搭載したカメラを遠隔操作して撮像してもよい。
　支持物は、互いに並んで延伸する複数の物体を支持するものであれば何れの支持物であってもよく、例えば鉄塔、ポール・柱、壁、天井、手摺などであってもよい。また、互いに並んで延伸する複数の物体は、例えば、表面に凹凸がある形状のものであって、特に撚線構造の架渉線（特に電力線）や鎖、ロープ・縄などといった規則的に凹凸が繰り返しまたは連続的にある表面形状の物体や、その他、表面に突起部を有する配管や表面が錆びて粗く凹凸のある金属配管（特に突起部や錆による凹凸が繰り返しまたは連続的にあるもの）であってもよい。
　より具体的には、本実施形態における情報処理システムは、互いに並んで延伸する複数の物体に沿って撮像した画像のうち、少なくとも２つの画像を選択し、選択した各画像の画素値情報に基づき２つの画像間の差分値を求め、当該差分値が所定の基準値以上の差分領域（特に、少なくとも物体の表面形状（撚線構造のような表面に凹凸がある形状など）による差分領域）を抽出した差分画像を生成し、２つの画像のうちの少なくとも一方の画像におけるエッジを検出したエッジ検出画像を生成し、差分画像及びエッジ検出画像を組み合わせて、差分領域に対応するエッジを抽出したエッジ抽出画像を生成することを可能にするものである。このように、遠い物体の差分値よりも近くの物体の差分値のほうが大きくなることを利用して、差分値が所定値以上の差分領域（特に、撚線構造のような表面に凹凸がある形状などによる差分領域）に対応するエッジを抽出すれば、近くの物体のエッジのみを抽出することが可能となる。逆に、差分領域でフィルターをすれば（すなわち、差分領域に対応するエッジを除くエッジを抽出すれば）、遠くの物体のみを抽出することが可能となる。
＜システム構成＞
　図２に示されるように、本実施の形態における情報処理システムは、端末１と、サーバ２と、無人飛行体４とを有している。端末１と、サーバ２と、無人飛行体４は、ネットワークＮＷを介して互いに通信可能に接続されていてもよい。なお、図示された構成は一例であり、これに限らず、例えば無人飛行体４がネットワークＮＷに接続されていなくてもよい。その場合、無人飛行体４の操作がユーザの操作する送信機（いわゆるプロポ）により行われたり、無人飛行体４のカメラにより取得した画像データが無人飛行体４に接続される補助記憶装置（例えばＳＤカードなどのメモリカードやＵＳＢメモリなど）に記憶され、ユーザにより事後的に補助記憶装置から端末１やサーバ２に読み出されて記憶されたりする構成であってもよく、操作目的または画像データの記憶目的のいずれか一方の目的のためだけに無人飛行体４がネットワークＮＷに接続されていてもよい。
＜端末１のハードウェア構成＞
　図３は、本実施形態における端末１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
　端末１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。端末１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよい。
　プロセッサ１０は、端末１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。
　メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、端末１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　／　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
　ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。また、後述の記憶部１３０が記憶領域の一部に設けられていてもよい。
　送受信部１３は、端末１が通信ネットワークを介して外部装置（不図示）や無人飛行体４等と通信を行うための通信インターフェースである。送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ　Ｌｏｗ　Ｅｎｅｒｇｙ）の近距離通信インターフェースやＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）端子等をさらに備えていてもよい。
　入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
　バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
＜サーバ２＞
　図４に示されるサーバ２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。サーバ２は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。各要素の機能は、上述した端末１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。
＜無人飛行体４＞
　図５は、無人飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。
　また、フライトコントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、フライトコントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。
　メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ／センサ類４２から取得したデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ／センサ４２または内蔵メモリからネットワークＮＷを介して、少なくとも端末１やサーバ２のいずれか１つに記録されてもよい。カメラ４２は無人飛行体４にジンバル４３を介して設置される。
　フライトコントローラ４１は、無人飛行体４の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θｘ、θｙ及びθｚ）を有する無人飛行体４の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ４４（Ｅｌｅｃｔｒｉｃ　Ｓｐｅｅｄ　Ｃｏｎｔｒｏｌｌｅｒ）を経由して無人飛行体４の推進機構（モータ４５等）を制御する。バッテリー４８から給電されるモータ４５によりプロペラ４６が回転することで無人飛行体４の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。
　フライトコントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、端末１、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。
　例えば、送受信部４７は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。
　送受信部４７は、センサ類４２で取得したデータ、フライトコントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。
　本実施の形態によるセンサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。
＜端末１の機能＞
　図６は、端末１及びサーバ２に実装される機能を例示したブロック図である。本実施の形態においては、端末１は、画像取得部１１５、処理部１２０、記憶部１３０を備えている。処理部１２０は、画像選択部１２１、差分画像生成部１２２、エッジ検出画像生成部１２３、エッジ抽出画像生成部１２４、線状検出部１２５、追従対象位置設定部１２６を含んでいる。また、記憶部１３０は、情報・画像記憶部１３１を含んでいる。なお、各種機能部は、端末１のプロセッサ１０における機能部として例示しているが、各種機能部の一部または全部は、端末１のプロセッサ１０またはサーバ２のプロセッサ２０、無人飛行体４のコントローラ４１の能力等に合わせて、プロセッサ１０またはプロセッサ２０、コントローラ４１のうちのいずれの構成において実現されていてもよい。
　通信部１１０は、ネットワークＮＷを介してサーバ２や、無人飛行体４と通信を行う。通信部１１０は、サーバ２や無人飛行体４等からの各種要求やデータ等を受け付ける受付部としても機能する。
　画像取得部１１５は、例えば、通信インターフェースを介した無線通信あるいはＵＳＢ端子等を介した有線通信によって、無人飛行体４に搭載されたデジタルカメラやユーザが用いたデジタルカメラで撮像された画像をそれらのデジタルカメラから取得する。画像取得部１１５は、ＵＳＢメモリやＳＤメモリ等の記憶媒体を介して画像を取得するように構成されていてもよいが、特に無人飛行体４からの無線通信で、または、無人飛行体４内において、リアルタイムに画像を取得する構成がより好ましいい（詳しくは後述）。
　処理部１２０は、画像取得部１１５が取得した画像（互いに並んで延伸する複数の物体に沿って撮像した画像）について、複数の物体のうち遠い物体または近い物体の少なくともいずれかを検出する一連の処理を実行する各機能部を備えている。
　画像選択部１２１は、互いに並んで延伸する複数の物体に沿って取得される複数の画像のうち、少なくとも２つの画像を選択する。より具体的な例としては、画像選択部１２１は、例えば、複数の架渉線に沿って取得される複数の画像であって、時系列において互いに所定の範囲内にある２つの画像（例えば、時系列において互いに連続しているタイミングにおける時刻ｔの画像と時刻ｔ＋１の画像であって、特にフレームが連続する２つの画像など）を選択する。
　差分画像生成部１２２は、画像選択部１２１で選択した各画像の画素の画素値情報に基づき、２つの画像間の差分値を求め、当該差分値が所定値以上の差分領域を抽出した差分画像を生成する。画素値情報は、画像の各画素に設定される色の濃淡や明るさ（輝度）を示す情報である。特に、２つの画像に対して二値化処理やグレースケール化処理を実行した後に差分値を求めると、画素値情報がより単純化されて差分画像生成部１２２により容易に差分値の算出が可能となる。より具体的には、２つの画像（例えば、１つの画像の例として図７を参照）が二値化されている場合には、画素値情報は白を０、黒を１として設定し、グレースケール化している場合には、画素値情報は一番白を０、一番黒を２５５として設定し、２つの画像の画素ごとに比較して差分値を算出し、予め設定した基準値以上となったピクセルを白色、それ以外のピクセルを黒色として差分領域を設定し、図８に例示するような差分画像を生成することが可能である。なお、例えば、画像の選択及び差分画像の生成は、１フレームごと（例えば０．１秒ごとなど）で実施されてもよい。
　これによって、近い物体においては動きの変化が大きく、遠い物体においては動きの変化が小さいため、近い物体が検出可能な基準値を設定することで、近い物体に関する差分画像を生成することが可能となる。特に、図８に例示する差分画像においては架渉線に沿って画像を取得したことに伴い、図７に示される撚線構造の架渉線の表面の凹凸が移動したことによる差分部分が検出され、結果として架渉線の外縁を示す差分部分が検出されていることが示されており、このような表面に凹凸の構造を有する物体においては特に有用である。
　エッジ検出画像生成部１２３は、２つの画像のうちの少なくとも一方の画像におけるエッジを検出したエッジ検出画像を生成する。エッジの検出方法は、画像内の物体の外縁（エッジ）が判定可能であれば、どのような既知の手法であってもよく、例えば、画像の所定の一列において隣接する画素との画素値の変化量が基準値より大きい部分をエッジとして検出するようにしてもよく、特に、変化量がプラスであるかマイナスであるかに基づいて立ち上がりエッジ、立ち下がりエッジとして検出してもよい。このようなエッジ検出を行うことで、図７の画像から図９のようなエッジが検出され得るが、このままでは奥側に細く見えている架渉線もエッジ検出してしまい、手前側に太く見えている架渉線のエッジのみを検出することは難しく、ユーザが手作業などでエッジを選択する工程が必要となってしまい、特にリアルタイムに手前側の架渉線のエッジのみを検出することが大変困難である。したがって、次に説明するエッジ抽出画像生成部１２４により手前側の架渉線のエッジのみを検出した画像を生成することが有用である。
　エッジ抽出画像生成部１２４は、差分画像及びエッジ検出画像を組み合わせて、差分領域に対応するエッジを抽出したエッジ抽出画像を生成する。すなわち、差分領域も手前側の物体の表面形状に基づいて近い物体の外縁を表しているところ、例えばエッジ検出画像のエッジ（外縁）と論理積をとることで、エッジ検出画像におけるエッジのうち、手前側の近い物体のエッジのみを抽出することが可能となる。なお、反対に、差分領域でフィルターをすれば（すなわち、差分領域に対応するエッジを除くエッジを抽出すれば）、遠くの物体のエッジのみを抽出することも可能となる。
　このように、遠い物体の差分値よりも近くの物体の差分値のほうが大きくなることを利用して、差分値が基準値以上の差分領域（特に、撚線構造のような表面に凹凸がある形状などによる差分領域）に対応するエッジを抽出すれば、特に近くの物体のエッジのみを抽出することが可能となる。さらに、以下の機能部を用いることで、無人飛行体４の移動制御にも利用可能となる。
　線状検出部１２５は、エッジ検出画像における抽出されたエッジに対して一以上の線状（特に物体が架渉線である場合には直線）を検出する。線状検出方法は既知の方法であってもよいが、例えば抽出されたエッジのうち連続しているエッジを判定し、それを１つの線状（特に物体が架渉線のような直線的な物体である場合には直線）として検出したり（例えば図１０においては１２本）、さらに立ち上がりエッジ及び立ち下がりエッジに基づいて互いに近接する立ち上がり線状と立下り線状を組（セット）とし、当該組を１つの線状として検出してもよい（例えば図１０においては架渉線に対応する６組）。
　追従対象位置設定部１２６は、抽出されたエッジ（特に物体が架渉線である場合には直線）に基づいて、無人飛行体４のカメラ（撮影部）により追従する対象位置を設定する。より具体的な例として、追従対象位置設定部１２６は、線状検出部１２５により複数の線状が検出された場合には、複数の線状の平均の位置に平均線状を算出し（必要に応じて画像中に可視化して追加し）、当該平均線状を追従する対象位置（対象線状）として設定してもよい。図１１には、丸印が付された平均線状が可視化されて追加されている画像が例示されている。また、追従対象位置設定部１２６は、線状検出部１２５により検出された線状のうちの１つを対象線状として選択（設定）してもよい。そして、追従対象位置設定部１２６は、設定した対象線状が撮影部により撮影している画像中に含まれるように撮影部または無人飛行体自体の少なくともいずれかを制御するための指示情報を生成し、通信部１１０を介して無人飛行体４へ送信する。より具体的な例としては、まず、対象線状の所定位置（例えば、中心位置または略中心位置など）が画像中の所定範囲（特に、画像の中心近傍であり、さらに画像の中心位置または略中心位置を基準とした範囲）に含まれているかを判定する。そして、所定範囲に含まれていないと判定された場合には、対象線状の所定位置と所定範囲との差分情報を生成し、当該差分情報に基づき撮影部の状態（例えば、撮影方向情報、画角情報など）または無人飛行体自体の状態（例えば、現在位置情報（緯度経度高度座標）や、姿勢情報、回転翼のモータ出力情報など）の少なくともいずれかを制御するための指示情報を生成する。差分情報は、所定範囲からのずれ量及びずれ方向が把握可能な情報であればどのような情報であってもよいが、例えば、画像の中心から対象線状の所定位置までの画像上での方向及び距離（画素数）に関する情報であり得る。指示情報は、例えば、差分情報と、画像上の方向及び距離と撮影部または無人飛行体撮影部における制御方向及び制御距離の対応情報、並びに、無人飛行体の少なくとも何れかの現在状態情報に基づき生成されてもよいが、これに限定されない。なお、対象線状の所定位置が画像中の所定範囲に含まれていると判定された場合には、指示情報を新たに生成せずに撮影部または無人飛行体の状態を維持させる。
　次に、記憶部１３０の情報・画像記憶部１３１は、画像取得部１１５が取得した画像の他、差分画像生成部１２２が生成した差分画像や、エッジ検出画像生成部１２３が生成したエッジ検出画像、エッジ抽出画像生成部１２４が生成したエッジ抽出画像、追従対象位置設定部１２６により対象線分が可視化された画像、または、処理部１２０の各機能部１２１～１２６による処理に生成された情報・データ等を、少なくとも一時的に記憶する。
＜エッジ抽出画像生成方法の一例＞
　続いて、図１２等を参照して、本実施形態にかかる情報処理システムによるヒビ割れ領域検出方法について説明する。図１２は、本実施形態にかかる情報処理システムによるヒビ割れ領域検出方法を実施する処理を示すフローチャートである。
　最初に、端末１の画像取得部１１５により、無人飛行体４に搭載されたカメラやユーザが用いたカメラで撮像された画像をそれらのカメラから取得する（Ｓ１０１）。
　次に、端末１の画像選択部１２１により、互いに並んで延伸する複数の物体に沿って取得される複数の画像のうち、少なくとも２つの画像を選択する（Ｓ１０２）。
　次に、端末１の差分画像生成部１２２により、画像選択部１２１で選択した各画像の画素の画素値情報に基づき、２つの画像間の差分値を求め、当該差分値が基準値以上の差分領域を抽出した差分画像を生成する（Ｓ１０３）。
　次に、エッジ検出画像生成部１２３により、２つの画像のうちの少なくとも一方の画像におけるエッジを検出したエッジ検出画像を生成する（Ｓ１０４）。
　次に、エッジ抽出画像生成部１２４により、差分画像及びエッジ検出画像を組み合わせて、差分領域に対応するエッジを抽出したエッジ抽出画像を生成する（Ｓ１０５）。
　このように、本実施形態の端末１によれば、遠い物体の差分値よりも近くの物体の差分値のほうが大きくなることを利用して、差分値が基準値以上の差分領域（特に、撚線構造のような表面に凹凸がある形状などによる差分領域）に対応するエッジを抽出すれば、特に近くの物体のエッジのみを抽出することが可能となる。
　上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
　１　　　　端末
　２　　　　サーバ
　４　　　　無人飛行体

 

Claims (9)

  1. 　互いに並んで延伸する複数の物体に沿って取得される複数の画像のうち、少なくとも２つの画像を選択する画像選択部と、
    　選択した各画像の画素値情報に基づき前記２つの画像間の差分値を求め、当該差分値が所定の基準値以上の差分領域を抽出した差分画像を生成する差分画像生成部と、
    　前記２つの画像のうちの少なくとも一方の画像におけるエッジを検出したエッジ検出画像を生成するエッジ検出画像生成部と、
    　前記差分画像及び前記エッジ検出画像を組み合わせて、前記差分領域に対応するエッジを抽出したエッジ抽出画像を生成するエッジ抽出画像生成部と、
    　を備える、
    　ことを特徴とする情報処理システム。
  2. 　前記差分画像生成部は、前記２つの画像を二値化またはグレースケール化した後に前記差分値を求める、
    　ことを特徴とする請求項１に記載の情報処理システム。
  3. 　前記エッジ抽出画像に対して一以上の線分を検出する線分検出部と、
    　検出された前記線分に基づき、無人飛行体の撮影部により追従する対象位置を設定する追従対象位置設定部と、
    　をさらに備える、
    　ことを特徴とする請求項１または２に記載の情報処理システム。
  4. 　前記追従対象位置設定部は、前記線分検出部により複数の線分が検出された際には、前記複数の線分の平均位置を示す平均線分を前記追従する対象位置として設定する、
    　ことを特徴とする請求項３に記載の情報処理システム。
  5. 　前記追従対象位置設定部は、前記線分検出部により検出された線分を前記追従する対象位置として設定する、
    　ことを特徴とする請求項３に記載の情報処理システム。
  6. 　処理部を有するコンピュータに情報処理を実行させるプログラムであって、
    　前記プログラムは、前記処理部に、
    　互いに並んで延伸する複数の物体に沿って取得される複数の画像のうち、少なくとも２つの画像を選択することと、
    　選択した各画像の画素値情報に基づき前記２つの画像間の差分値を求め、当該差分値が所定の基準値以上の差分領域を抽出した差分画像を生成することと、
    　前記２つの画像のうちの少なくとも一方の画像におけるエッジを検出したエッジ検出画像を生成することと、
    　前記差分画像及び前記エッジ検出画像を組み合わせて、前記差分領域に対応するエッジを抽出したエッジ抽出画像を生成することと、
    　を実行させる、プログラム。
  7. 　画像選択部により、互いに並んで延伸する複数の物体に沿って取得される複数の画像のうち、少なくとも２つの画像を選択するステップと、
    　差分画像生成部により、選択した各画像の画素値情報に基づき前記２つの画像間の差分値を求め、当該差分値が所定の基準値以上の差分領域を抽出した差分画像を生成するステップと、
    　エッジ検出画像生成部により、前記２つの画像のうちの少なくとも一方の画像におけるエッジを検出したエッジ検出画像を生成するステップと、
    　エッジ抽出画像生成部により、前記差分画像及び前記エッジ検出画像を組み合わせて、前記差分領域に対応するエッジを抽出したエッジ抽出画像を生成するステップと、
    　をコンピュータにおいて実行する、情報処理方法。
  8. 　互いに並んで延伸する複数の物体に沿って取得される複数の画像のうち、少なくとも２つの画像を選択する画像選択部と、
    　選択した各画像の画素値情報に基づき前記２つの画像間の差分値を求め、当該差分値が所定の基準値以上の差分領域を抽出した差分画像を生成する差分画像生成部と、
    　前記２つの画像のうちの少なくとも一方の画像におけるエッジを検出したエッジ検出画像を生成するエッジ検出画像生成部と、
    　前記差分画像及び前記エッジ検出画像を組み合わせて、前記差分領域に対応するエッジを抽出したエッジ抽出画像を生成するエッジ抽出画像生成部と、
    　を備える、
    　ことを特徴とする端末。
  9. 　互いに並んで延伸する複数の物体に沿って取得される複数の画像のうち、少なくとも２つの画像を選択する画像選択部と、
    　選択した各画像の画素値情報に基づき前記２つの画像間の差分値を求め、当該差分値が所定の基準値以上の差分領域を抽出した差分画像を生成する差分画像生成部と、
    　前記２つの画像のうちの少なくとも一方の画像におけるエッジを検出したエッジ検出画像を生成するエッジ検出画像生成部と、
    　前記差分画像及び前記エッジ検出画像を組み合わせて、前記差分領域に対応するエッジを抽出したエッジ抽出画像を生成するエッジ抽出画像生成部と、
    　を備える、
    　ことを特徴とするサーバ。

     
PCT/JP2022/035574 2022-09-26 2022-09-26 情報処理システム及びプログラム、情報処理方法、端末、サーバ WO2024069669A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/035574 WO2024069669A1 (ja) 2022-09-26 2022-09-26 情報処理システム及びプログラム、情報処理方法、端末、サーバ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/035574 WO2024069669A1 (ja) 2022-09-26 2022-09-26 情報処理システム及びプログラム、情報処理方法、端末、サーバ

Publications (1)

Publication Number Publication Date
WO2024069669A1 true WO2024069669A1 (ja) 2024-04-04

Family

ID=90476572

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/035574 WO2024069669A1 (ja) 2022-09-26 2022-09-26 情報処理システム及びプログラム、情報処理方法、端末、サーバ

Country Status (1)

Country Link
WO (1) WO2024069669A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017077080A (ja) * 2015-10-14 2017-04-20 東京電力ホールディングス株式会社 状態検出装置及び状態検出プログラム
JP6991525B1 (ja) * 2021-07-09 2022-01-12 株式会社センシンロボティクス ウェイポイント高さ座標設定方法及び管理サーバ、情報処理システム、プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017077080A (ja) * 2015-10-14 2017-04-20 東京電力ホールディングス株式会社 状態検出装置及び状態検出プログラム
JP6991525B1 (ja) * 2021-07-09 2022-01-12 株式会社センシンロボティクス ウェイポイント高さ座標設定方法及び管理サーバ、情報処理システム、プログラム

Similar Documents

Publication Publication Date Title
US20210065400A1 (en) Selective processing of sensor data
JP7252943B2 (ja) 航空機のための対象物検出及び回避
US11915502B2 (en) Systems and methods for depth map sampling
JP6689006B2 (ja) 車両の環境情報を検出するための方法およびシステム
JP6700482B2 (ja) プロペラの羽根に統合された撮像装置を用いたステレオ距離情報の判定
CN108508916B (zh) 一种无人机编队的控制方法、装置、设备及存储介质
WO2016070318A1 (en) Camera calibration
CN111670419A (zh) 用于自主导航的主动补充曝光设置
US10538326B1 (en) Flare detection and avoidance in stereo vision systems
WO2020207411A1 (zh) 一种图像数据处理方法、装置、图像处理芯片及飞行器
JP6807093B1 (ja) 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法
WO2024069669A1 (ja) 情報処理システム及びプログラム、情報処理方法、端末、サーバ
JP7149569B2 (ja) 建造物の測定方法
WO2020154911A1 (en) Sky determination in environment detection for mobile platforms, and associated systems and methods
JP6807092B1 (ja) 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法
JP7487900B1 (ja) 情報処理方法、情報処理システム及びプログラム
WO2021035746A1 (zh) 图像处理方法、装置和可移动平台
JP6992344B2 (ja) ランドマーク選定方法及びランドマーク選定装置
WO2021124579A1 (ja) 飛行体の撮像方法及び情報処理装置
JP7401068B1 (ja) 情報処理システム、情報処理方法及びプログラム
JP7228310B1 (ja) 情報処理システム及びプログラム、情報処理方法、サーバ
JP7217570B1 (ja) 情報処理システム及びプログラム、情報処理方法、サーバ
JP7370045B2 (ja) 寸法表示システムおよび寸法表示方法
JP7385332B1 (ja) 情報処理システム及びプログラム、情報処理方法、サーバ
WO2022113482A1 (ja) 情報処理装置、方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22960734

Country of ref document: EP

Kind code of ref document: A1