WO2019119426A1 - 基于无人机的立体成像方法和装置 - Google Patents

基于无人机的立体成像方法和装置 Download PDF

Info

Publication number
WO2019119426A1
WO2019119426A1 PCT/CN2017/118034 CN2017118034W WO2019119426A1 WO 2019119426 A1 WO2019119426 A1 WO 2019119426A1 CN 2017118034 W CN2017118034 W CN 2017118034W WO 2019119426 A1 WO2019119426 A1 WO 2019119426A1
Authority
WO
WIPO (PCT)
Prior art keywords
drone
drones
target
target object
flight trajectory
Prior art date
Application number
PCT/CN2017/118034
Other languages
English (en)
French (fr)
Inventor
周震昊
李昊南
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN201780018614.4A priority Critical patent/CN109076206B/zh
Priority to PCT/CN2017/118034 priority patent/WO2019119426A1/zh
Priority to CN202110004601.XA priority patent/CN112672133A/zh
Publication of WO2019119426A1 publication Critical patent/WO2019119426A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing

Definitions

  • the present invention relates to the field of imaging, and in particular, to a stereoscopic imaging method and apparatus based on a drone.
  • Stereoscopic vision is realized by the difference of the position of the collected points. For example, there is a certain distance between the left and right eyes of the person, and there is a slight difference between the phases formed, so that the object can be judged to be near and far.
  • the distance between the collection points is called baseline. The farther the baseline is, the easier it is to obtain stereo vision, or the more obvious the stereo vision is.
  • the prior art uses a binocular camera to acquire a stereoscopic image. Under the trade-off between image resolution and object distance accuracy, the inevitable result is that the distance between the binocular cameras is large. Due to the limited position of the small drone, the application of the binocular camera is very limited. Large-scale UAVs are often used in the industry for related surveying and mapping, and the cost is high, which is not conducive to promotion.
  • the invention provides a stereo imaging method and device based on a drone.
  • a stereoscopic imaging method based on a drone comprising: acquiring at least two target images of a target object from different positions by a drone, wherein at least two of the target images are The target objects at least partially coincide; generating a stereoscopic image of the target object based on at least two of the target images.
  • a drone-based stereoscopic imaging apparatus comprising one or more processors operating separately or in common, the processor being communicatively coupled to the drone;
  • the processor is configured to: acquire, by the drone, at least two target images of the target object from different locations, wherein the target objects in at least two of the target images at least partially coincide; according to at least two of the target images, A stereoscopic image of the target object is generated.
  • a computer readable storage medium having stored thereon a computer program, the program being executed by the processor to: acquire at least two target images of the target object from different locations by the drone And wherein at least two of the target objects in the target image are at least partially coincident; and a stereoscopic image of the target object is generated according to at least two of the target images.
  • the present invention replaces two cameras in a binocular camera by a drone, and acquires at least two target images of the target object from different positions, thereby obtaining a stereoscopic image of the target object.
  • the low-cost method increases the distance between the collection points, reduces the need for imaging resolution, and improves the accuracy of 3D reconstruction.
  • FIG. 1 is a schematic structural view of a drone according to an embodiment of the present invention.
  • FIG. 2 is a flow chart of a stereoscopic imaging method based on a drone according to an embodiment of the present invention
  • FIG. 3 is a schematic structural view of a stereoscopic imaging device based on a drone according to an embodiment of the present invention
  • FIG. 4 is a schematic structural view of a three-dimensional imaging device based on a drone according to an embodiment of the present invention, and discloses a flight path of two unmanned aerial vehicles;
  • FIG. 5 is a schematic structural view of a three-dimensional imaging device based on a drone according to another embodiment of the present invention, which discloses a flight path of a drone;
  • FIG. 6 is a block diagram showing the structure of a stereoscopic imaging device based on a drone according to an embodiment of the present invention
  • Fig. 7 is a block diagram showing the structure of a stereoscopic imaging apparatus based on a drone according to another embodiment of the present invention.
  • FIG. 1 is a schematic diagram of a drone 100 according to an embodiment of the present invention.
  • the drone 100 can include a carrier 102 and a load 104.
  • the load 104 can be located directly on the drone 100 without the carrier 102 being required.
  • the carrier 102 is a cloud platform, for example, a two-axis pan/tilt or a three-axis pan/tilt.
  • the load 104 may be an image capture device or an image capture device (such as a camera, a camcorder, an infrared camera device, an ultraviolet camera device, or the like), an audio capture device (eg, a parabolic reflector microphone), an infrared camera device, etc.
  • the load 104 can provide static sensing data (such as pictures) or dynamic sensing data (such as video).
  • the load 104 is mounted on the carrier 102 such that the load 104 is controlled to rotate by the carrier 102.
  • the drone 100 can include a power mechanism 106, a sensing system 108, and a communication system 110.
  • the power mechanism 106 may include one or more rotating bodies, propellers, blades, motors, electronic governors, and the like.
  • the rotating body of the power mechanism may be a self-tightening rotating body, a rotating body assembly, or other rotating body power unit.
  • the drone 100 can have one or more power mechanisms. All power mechanisms can be of the same type. Alternatively, one or more of the power mechanisms can be of different types.
  • the power mechanism 106 can be mounted to the drone by suitable means, such as by a support member (such as a drive shaft).
  • the power mechanism 106 can be mounted at any suitable location of the drone 100, such as a top end, a lower end, a front end, a rear end, a side, or any combination thereof.
  • the flight of the drone 100 is controlled by controlling one or more power mechanisms 106.
  • Sensing system 108 may include one or more sensors to sense the spatial orientation, velocity, and/or acceleration of drone 100 (eg, relative to rotation and translation of up to three degrees of freedom).
  • the one or more sensors may include a GPS sensor, a motion sensor, an inertial sensor, a proximity sensor, or an image sensor.
  • Sensing data provided by sensing system 108 can be used to track the spatial orientation, velocity, and/or acceleration of target 100 (using suitable processing units and/or control units as described below).
  • the sensing system 108 can be used to collect environmental data of the drone, such as climatic conditions, potential obstacles to be approached, locations of geographic features, locations of man-made structures, and the like.
  • Communication system 110 is capable of communicating with terminal 112 having communication system 114 via wireless signal 116.
  • Communication systems 110, 114 may include any number of transmitters, receivers, and/or transceivers for wireless communication.
  • the communication can be one-way communication so that data can be sent from one direction.
  • one-way communication may include that only drone 100 transmits data to terminal 112, or vice versa.
  • One or more transmitters of communication system 110 can transmit data to one or more receivers of communication system 112, and vice versa.
  • the communication may be two-way communication such that data may be transmitted between the drone 100 and the terminal 112 in both directions.
  • Two-way communication includes one or more transmitters of communication system 110 that can transmit data to one or more receivers of communication system 114, and vice versa.
  • terminal 112 can provide control data to one or more of drone 100, carrier 102, and load 104, and from one or more of drone 100, carrier 102, and load 104.
  • Receive information such as the location and/or motion information of the drone, carrier or load, load-sensing data, such as image data captured by the camera).
  • the drone 100 can communicate with other remote devices than the terminal 112, and the terminal 112 can also communicate with other remote devices than the drone 100.
  • the drone and/or terminal 112 can communicate with a carrier or load of another drone or another drone.
  • the additional remote device can be a second terminal or other computing device (such as a computer, desktop, tablet, smartphone, or other mobile device) when needed.
  • the remote device can transmit data to the drone 100, receive data from the drone 100, transmit data to the terminal 112, and/or receive data from the terminal 112.
  • the remote device can be connected to the Internet or other telecommunications network to upload data received from the drone 100 and/or terminal 112 to a website or server.
  • movement of the drone 100, movement of the carrier 102, and movement of the load 104 relative to a fixed reference (e.g., external environment), and/or motion between each other, may be controlled by the terminal 112.
  • the terminal 112 can be a remote control terminal located away from the drone, the carrier, and/or the load. Terminal 112 can be located or affixed to a support platform.
  • the terminal 112 can be handheld or wearable.
  • the terminal 112 can include a smartphone, tablet, desktop, computer, glasses, gloves, helmet, microphone, or any combination thereof.
  • the terminal 112 can include a user interface such as a keyboard, mouse, joystick, touch screen, or display. Any suitable user input can interact with the terminal 112, such as manual input commands, sound control, gesture control, or position control (eg, by movement, position, or tilt of the terminal 112).
  • the stereoscopic image may include a single stereoscopic image, and may also include continuous stereoscopic video.
  • Embodiment 1 of the present invention provides a stereo imaging method based on a drone.
  • FIG. 2 is a flowchart of a stereoscopic imaging method based on a drone according to an embodiment of the present invention. As shown in FIG. 2, the UAV-based stereo imaging method may include the following steps:
  • Step S201 acquiring at least two target images of the target object from different locations by the drone 100, wherein the target objects in at least two of the target images at least partially overlap;
  • At least two target images may include two or more, and preferably, two target images of the target object are acquired from different positions by the drone 100.
  • the two target images of the target object are obtained from the different locations by the drone 100.
  • the specific implementation may include the following two types:
  • Step S201 may include: controlling two of the drones 100 to be respectively located in the first position and the second position, and acquiring the target objects P captured by the two drones 100 at respective positions ( The target image with the stereo coordinates of X, Y, and Z) has good real-time performance of the two target images obtained by this method.
  • the drone 100 includes a unit (i.e., the drone 130 shown in FIG. 5), and the different positions include a first position and a second position.
  • the step S201 may include: controlling the drone 100 to be located at the first position and the second position, respectively, and acquiring a target image of the target object P captured by the drone 100 at a corresponding position.
  • the stereo image is reconstructed by means of a single drone 100 time-sharing, which reduces the cost of three-dimensional reconstruction, but the real-time performance of the two target images obtained is not as good as the first implementation.
  • controlling the two drones 100 in the first position and the second position respectively may include: controlling two of the drones 100 to synchronously fly, the first position and The second position is a real-time position corresponding to the drone 100, respectively, to ensure synchronization of the obtained two target images.
  • the relative relationship may include at least one of the following: a shooting attitude of two of the drones 100, and a positional relationship between the two drones 100.
  • the shooting postures of the two drones 100 may include: an angle between the shooting directions of the two drones 100 (the shooting directions of the two drones 100 are respectively connected to the target object P) The angle between the two).
  • the angles of the shooting directions of the two drones 100 are greater than 0° and less than 180°. For example, during the simultaneous flight of the two drones 100, the angle of the shooting directions of the two drones 100 can be maintained at 45° or 60° at all times.
  • the positional relationship between the two drones 100 may include: a distance w between two of the drones 100, compared to the distance between two cameras in the binocular camera.
  • the distance w between the two drones 100 can be greatly increased.
  • the distance w between the two drones 100 can be from several meters to several tens of meters. In this way, the resolution required for 3D reconstruction is greatly reduced.
  • controlling the real-time heights h of the two drones 100 is equal to: at the same time, controlling the heights h of the two drones 100 to be equal, for example, each of 5 meters, and two target images. High coincidence for 3D reconstruction. At different times, the heights h of the two drones 100 may be equal or unequal, and may be selected according to imaging requirements.
  • the acquiring the target image of the target object P captured by the two drones 100 at respective positions may include: acquiring the two cameras that are synchronously photographed at the respective positions of the drones 100
  • the target image of the target object P further ensures the synchronization of the obtained two target images, and is convenient for generating smooth stereoscopic video.
  • the relative relationship between the first position and the second position of the drone 100 is unchanged, thereby ensuring the coincidence of the two target images as much as possible, and facilitating three-dimensional reconstruction.
  • the relative relationship includes at least one of the following: a shooting attitude of the drone 100 in the first position and the second position, the drone 100 in the first position, and the first The positional relationship of the two positions.
  • the shooting posture of the drone 100 in the first position and the second position may include: an angle between the shooting directions of the first position and the second position of the drone 100 a connection direction of the corresponding shooting direction of the drone 100 in the first position with the target object P and a shooting direction corresponding to the drone 100 in the second position and the target object P The angle between the lines).
  • the angle between the first position and the second position of the drone 100 is greater than 0° and less than 180°.
  • the angle of the drone of the drone 100 in the first position and the second position may be 45° or 60°.
  • the angle between the first position and the second position of the drone 100 needs to be maintained at the same angle at all times.
  • the positional relationship between the first position and the second position of the drone 100 may include: a distance between the first position and the second position of the drone 100. w, controlling the manner in which the drones 100 are respectively located at the first position and the second position at different times compared to the distance between two cameras in the binocular camera, such that The distance w between the first position and the second position may be greatly increased, for example, the distance w between the first position and the second position may be from several meters to several tens of meters. In this way, the resolution required for 3D reconstruction is greatly reduced.
  • the distance from the first position to the target object P (s in FIG. 5) and the distance from the second position to the target object P are equal (s in FIG. 5), the height of the first position The heights of (h in Fig. 5) and the second position are also equal (h in Fig. 5), ensuring the coincidence of the two target images, thereby facilitating three-dimensional reconstruction.
  • the distance from the first position to the target object P and the distance from the second position to the target object P may both be 5 meters, or may be other.
  • the first location and the second location may belong to the same flight trajectory, and may also belong to different flight trajectories, thereby meeting different needs.
  • the first location and the second location belong to the same flight trajectory.
  • the drone 100 flies to the first position and stays for a first preset duration, and the target object is aligned by the image capturing device or the imaging device on the drone 100 within the first preset time period. P is taken to obtain one of the target images. Then, the drone 100 flies to the second position and stays for a second preset duration. During the second preset duration, the image capturing device or the imaging device on the drone 100 is aimed at the target object P, thereby Obtain another target image to ensure the sharpness of the two target images.
  • the duration of the first preset duration and the second preset duration may be set according to requirements, and the first preset duration may be equal to or may not be equal to the second preset duration.
  • the flight path of the drone 100 is not limited.
  • the flight path of the drone 100 is a circle at the same height, which improves the efficiency of three-dimensional reconstruction.
  • any two points can be obtained from the circular flight path as the first position and the second position, respectively.
  • the drone 100 flies laterally along a circular flight path to facilitate reconstruction of a continuous stereoscopic video.
  • the first location and the second location are on different flight trajectories.
  • the different flight trajectory includes a first flight trajectory and a second flight trajectory
  • the controlling the drones 100 in the first position and the second position respectively may include: first controlling the drone 100 successively flying along the first flight trajectory and the second flight trajectory, then selecting the first position from the first flight trajectory, and selecting the second position from the second flight trajectory, Reconstruct stereoscopic images by means of stand-alone time-sharing to reduce the cost of 3D reconstruction.
  • controlling the drone 100 to fly along the first flight trajectory and the second flight trajectory may include: controlling the drone 100 to follow a first flight trajectory and a second flight The trajectory flies laterally to facilitate the reconstruction of continuous stereoscopic video.
  • Selecting the first location from the first flight trajectory, and selecting the second location from the second flight trajectory may include: selecting a plurality of first locations from the first flight trajectory, from the A plurality of second positions are selected on the second flight path, wherein the plurality of the first positions are in one-to-one correspondence with the plurality of the second positions.
  • the acquiring the target image of the target object P captured by the drone 100 at the corresponding position may include: acquiring the target object P captured by the drone 100 at the corresponding first position and the second position.
  • the target image facilitates generation of a continuous stereoscopic video of the target object P.
  • Step S202 Generate a stereoscopic image of the target object P according to at least two target images.
  • the step S202 specifically includes: merging at least two target images to generate a stereoscopic image of the target object P.
  • at least two of the target images may be fused by any fusion method in the prior art.
  • the two images may be first merged to generate a stereoscopic image of the target object P, and then the currently generated stereo image is further merged with one of the remaining target images until all the images are processed. After the fusion is completed, a stereo image is obtained.
  • two cameras in the binocular camera are replaced by the drone 100, and at least two target images of the target object P are acquired from different positions, thereby obtaining a stereoscopic image of the target object P, which is low-cost.
  • the method increases the distance between the collection points, reduces the need for imaging resolution, and improves the accuracy of 3D reconstruction.
  • the stereoscopic imaging method based on the drone 100 may further include: generating a stereoscopic video of the target image according to the stereoscopic image of the target image generated at different times to improve a user experience.
  • the stereoscopic imaging method based on the drone 100 may further include: transmitting the stereoscopic image to the display device 400, so that the stereoscopic image can be displayed by the display device 400, and the stereoscopic image is visualized Presented to the user.
  • the display device 400 can be a smart phone, a tablet computer, a desktop computer, a computer, or a video glasses.
  • a second embodiment of the present invention provides a stereoscopic imaging device based on a drone, which may include a drone 100 and a processor 200 (eg, a single-core or multi-core processor).
  • the processor 200 is communicatively coupled to the drone 100.
  • the processor 200 can be a central processing unit (CPU).
  • the processor 200 may further include a hardware chip.
  • the hardware chip may be an application-specific integrated circuit (ASIC), a programmable logic device (PLD), or a combination thereof.
  • the PLD may be a complex programmable logic device (CPLD), a field-programmable gate array (FPGA), a general array logic (GAL), or any combination thereof.
  • the processor 200 can include one or more, working individually or collectively.
  • the processor 200 is configured to: acquire, by the drone 100, at least two target images of the target object P from different positions, wherein the target objects P in at least two of the target images at least partially overlap; according to at least Two of the target images generate a stereoscopic image of the target object P.
  • two cameras in the binocular camera are replaced by the drone 100, and at least two target images of the target object P are acquired from different positions, thereby obtaining a stereoscopic image of the target object P, which is low-cost.
  • the method increases the distance between the collection points, reduces the need for imaging resolution, and improves the accuracy of 3D reconstruction.
  • the processor 200 is configured to fuse at least two target images to generate a stereoscopic image of the target object P.
  • the drone 100 includes two units, and the two drones 100 are each communicatively coupled to the processor 200; the different locations include a first location and a second location; The processor 200 is configured to control two of the drones 100 to be respectively located in the first position and the second position; and acquire the target objects P of the two drones 100 photographed at respective positions Target image.
  • the processor 200 is configured to control two of the drones 100 to fly synchronously, and the first position and the second position are respectively real-time positions of the corresponding drones 100.
  • the processor 200 is further configured to control the relative relationship between the two of the drones 100 while controlling the simultaneous flight of the two drones 100.
  • the relative relationship includes at least one of the following: a shooting attitude of two of the drones 100, and a positional relationship between the two drones 100.
  • the shooting postures of the two drones 100 include: an angle between the shooting directions of the two drones 100.
  • the positional relationship between the two drones 100 includes the distance between two of the drones 100 (w in Figure 4).
  • the processor 200 is configured to control the real-time altitudes (h in FIG. 4) of the two drones 100 to be equal while controlling the two drones 100 to fly synchronously;
  • the real-time distance (s in Fig. 4) of the two of the drones 100 to the target object P is controlled to be equal.
  • the processor 200 is configured to acquire target images of the target objects P that are simultaneously captured by the two drones 100 at respective positions.
  • the drone 100 includes one, the different locations include a first location and a second location; the processor 200 is configured to control the drones 100 respectively located in the first a position and the second position; acquiring a target image of the target object P captured by the drone 100 at a corresponding position.
  • the first location and the second location belong to the same flight trajectory.
  • the first location and the second location are on different flight trajectories.
  • the different flight trajectory includes a first flight trajectory and a second flight trajectory
  • the processor 200 is configured to control the drone 100 along the first flight trajectory and the Flying a second flight path; selecting the first position from the first flight path and selecting the second position from the second flight path.
  • the processor 200 is configured to control the drone 100 to fly laterally along the first flight trajectory and the second flight trajectory.
  • the processor 200 is configured to select a plurality of first locations from the first flight trajectory, and select a plurality of second locations from the second flight trajectory, where the plurality of the first A position is in one-to-one correspondence with the plurality of the second positions; and, a target image of the target object P captured by the drone 100 at the corresponding first position and second position is acquired.
  • the relative relationship of the drone 100 between the first position and the second position is unchanged.
  • the relative relationship includes at least one of: a shooting attitude of the drone 100 in the first position and the second position, the drone 100 is in the first position a positional relationship with the second position.
  • the shooting posture of the drone 100 in the first position and the second position includes: a shooting direction of the drone 100 in the first position and the second position The angle of the.
  • the positional relationship of the drone 100 between the first position and the second position includes: the drone 100 is between the first position and the second position Distance (w in Figure 5).
  • the distance from the first position to the target object P (s in FIG. 5) and the distance from the second position to the target object P (s in FIG. 5) are equal.
  • the height of the first position (h in Fig. 5) and the height of the second position are also equal (h in Fig. 5).
  • the processor 200 is further configured to generate a stereo image according to the target image generated at different times. A stereoscopic video of the target image.
  • the processor 200 is configured to be in communication with the display device 400, and the processor 200 transmits the stereoscopic image to the display device 400 after generating a stereoscopic image of the target object P.
  • the processor 200 may be a combination of a flight controller of one of the drones 100 or a flight controller of two of the drones 100, or The processor 200 can be a separately set controller.
  • the processor 200 may be a flight controller of the drone 100, or the processor 200 may be an independently set controller.
  • the drone-based stereoscopic imaging device may further include a storage device.
  • the storage device may include a volatile memory such as a random-access memory (RAM); the storage device may also include a non-volatile memory such as a flash memory. (flash memory), hard disk drive (HDD) or solid-state drive (SSD); the storage device may further include a combination of the above types of memories.
  • the storage device is configured to store program instructions.
  • the processor 200 can invoke the program instructions to implement a corresponding method as in the first embodiment.
  • processor 200 in the embodiment of the present invention may be referred to the description of the corresponding content in the foregoing embodiments, and details are not described herein.
  • a third embodiment of the present invention provides a computer readable storage medium having a computer program stored thereon, the program being executed by the processor to perform the steps of the unmanned aerial vision based imaging method according to the first embodiment.
  • the device embodiment since it basically corresponds to the method embodiment, reference may be made to the partial description of the method embodiment.
  • the device embodiments described above are merely illustrative, wherein the units described as separate components may or may not be physically separate, and the components displayed as units may or may not be physical units, ie may be located A place, or it can be distributed to multiple network units. Some or all of the modules may be selected according to actual needs to achieve the purpose of the solution of the embodiment. Those of ordinary skill in the art can understand and implement without any creative effort.
  • a "computer-readable medium” can be any apparatus that can contain, store, communicate, propagate, or transport a program for use in an instruction execution system, apparatus, or device, or in conjunction with the instruction execution system, apparatus, or device.
  • computer readable media include the following: electrical connections (electronic devices) having one or more wires, portable computer disk cartridges (magnetic devices), random access memory (RAM), Read only memory (ROM), erasable editable read only memory (EPROM or flash memory), fiber optic devices, and portable compact disk read only memory (CDROM).
  • the computer readable medium may even be a paper or other suitable medium on which the program can be printed, as it may be optically scanned, for example by paper or other medium, followed by editing, interpretation or, if appropriate, other suitable The method is processed to obtain the program electronically and then stored in computer memory.
  • portions of the invention may be implemented in hardware, software, firmware or a combination thereof.
  • multiple steps or methods may be implemented in software or firmware stored in a memory and executed by a suitable instruction execution system.
  • a suitable instruction execution system For example, if implemented in hardware, as in another embodiment, it can be implemented with any one or combination of the following techniques well known in the art: having logic gates for implementing logic functions on data signals. Discrete logic circuits, application specific integrated circuits with suitable combinational logic gates, programmable gate arrays (PGAs), field programmable gate arrays (FPGAs), etc.
  • each functional unit in each embodiment of the present invention may be integrated into one processing module, or each unit may exist physically separately, or two or more units may be integrated into one module.
  • the above integrated modules can be implemented in the form of hardware or in the form of software functional modules.
  • the integrated modules, if implemented in the form of software functional modules and sold or used as stand-alone products, may also be stored in a computer readable storage medium.
  • the above mentioned storage medium may be a read only memory, a magnetic disk or an optical disk or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种基于无人机的立体成像方法和装置，所述方法包括：通过无人机从不同的位置获取目标物体的至少两幅目标图像，其中，至少两幅所述目标图像中的所述目标物体至少部分重合；根据至少两幅所述目标图像，生成所述目标物体的立体图像。通过无人机来替换双目摄像机中的两个摄像机，从不同的位置获取目标物体的至少两幅目标图像，从而获得目标物体的立体图像，采用低成本的方式增大了相采集点之间的距离，降低了对成像解析度的需求，并提高了三维重建精度。

Description

基于无人机的立体成像方法和装置 技术领域
本发明涉及成像领域，尤其涉及一种基于无人机的立体成像方法和装置。
背景技术
立体视觉是通过相采集点位置的不同实现的，例如人的左右眼之间存在一定距离，所成的相之间有细微差别，故能判断物体远近。相采集点之间的距离称为baseline，baseline越远，越容易获得立体视觉，或者说获得的立体视觉越明显。
现有技术采用双目摄像机获取立体图像，在图像分辨率、物体距离精度之间的权衡之下，导致的必然结果是双目摄像机之间距离较大。而小型无人机由于位置的限制，导致双目摄像机的应用十分受限。行业中多采用大型无人机进行相关测绘，成本高，不利于推广。
发明内容
本发明提供一种基于无人机的立体成像方法和装置。
根据本发明的第一方面，提供一种基于无人机的立体成像方法，包括：通过无人机从不同的位置获取目标物体的至少两幅目标图像，其中，至少两幅所述目标图像中的所述目标物体至少部分重合；根据至少两幅所述目标图像，生成所述目标物体的立体图像。
根据本发明的第二方面，提供一种基于无人机的立体成像装置，包括一个或多个处理器，单独地或共同地工作，所述处理器与所述无人机通信连接；所述处理器用于：通过无人机从不同的位置获取目标物体的至少两幅目标图像，其中，至少两幅所述目标图像中的所述目标物体至少部分重合；根据至少两幅所述目标图像，生成所述目标物体的立体图像。
根据本发明的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行如下步骤：通过无人机从不同的位置获取目标物体的至少两幅目标图像，其中，至少两幅所述目标图像中的所述目标物体至少部分重合；根据至少两幅所述目标图像，生成所述目标物体的立体图像。
由以上本发明实施例提供的技术方案可见，本发明通过无人机来替换双目摄像机中的两个摄像机，从不同的位置获取目标物体的至少两幅目标图像，从而获得目标物体的立体图像，采用低成本的方式增大了相采集点之间的距离，降低了对成像解析度的需求，并提高了三维重建精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的无人机的结构示意图；
图2是本发明一实施例中的基于无人机的立体成像方法的流程图；
图3是本发明一实施例中的基于无人机的立体成像装置的结构示意图；
图4是本发明一实施例中的基于无人机的立体成像装置的结构示意图，揭示了两台无人机的飞行轨迹；
图5是本发明另一实施例中的基于无人机的立体成像装置的结构示意图，揭示了一台无人机的飞行轨迹；
图6是本发明一实施例中的基于无人机的立体成像装置的结构框图；
图7是本发明另一实施例中的基于无人机的立体成像装置的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，对本发明的基于无人机的立体成像方法和装置进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
图1为本发明实施例提供的一种无人机100的示意图。所述无人机100可包括承载体102及负载104。在某些实施例中，负载104可以直接位于无人机100上，而不需要承载体102。本实施例中，所述承载体102为云台，例如，两轴云台或三轴云台。所述负载104可以为影像捕获设备或者摄像设备(如相机、摄录机、红外线摄像设备、紫外线摄像设备或者类似的设备)，音频捕获装置(例如，抛物面反射传声器)，红外线摄像设备等，所述负载104可以提供静态感应数据(如图片)或者动态感应数据(如视频)。所述负载104搭载在所述承载体102，从而通过所述承载体102控制所述负载104转动。
进一步地，无人机100可以包括动力机构106，传感***108以及通讯***110。其中，动力机构106可以包括一个或者多个旋转体、螺旋桨、桨叶、电机、电子调速器等。例如，所述动力机构的旋转体可以是自紧固(self-tightening)旋转体、旋转体 组件、或者其它的旋转体动力单元。无人机100可以有一个或多个动力机构。所有的动力机构可以是相同的类型。可选的，一个或者多个动力机构可以是不同的类型。动力机构106可以通过合适的手段安装在无人机上，如通过支撑元件(如驱动轴)。动力机构106可以安装在无人机100任何合适的位置，如顶端、下端、前端、后端、侧面或者其中的任意结合。通过控制一个或多个动力机构106，以控制无人机100的飞行。
传感***108可以包括一个或者多个传感器，以感测无人机100的空间方位、速度及/或加速度(如相对于多达三个自由度的旋转及平移)。所述一个或者多个传感器可包括GPS传感器、运动传感器、惯性传感器、近程传感器或者影像传感器。传感***108提供的感测数据可以用于追踪目标100的空间方位、速度及/或加速度(如下所述，利用适合的处理单元及/或控制单元)。可选的，传感***108可以用于采集无人机的环境数据，如气候条件、要接近的潜在的障碍、地理特征的位置、人造结构的位置等。
通讯***110能够实现与具有通讯***114的终端112通过无线信号116进行通讯。通讯***110、114可以包括任何数量的用于无线通讯的发送器、接收器、及/或收发器。所述通讯可以是单向通讯，这样数据可以从一个方向发送。例如，单向通讯可以包括，只有无人机100传送数据给终端112，或者反之亦然。通讯***110的一个或者多个发送器可以发送数据给通讯***112的一个或者多个接收器，反之亦然。可选的，所述通讯可以是双向通讯，这样，数据可以在无人机100与终端112之间在两个方向传输。双向通讯包括通讯***110的一个或者多个发送器可以发送数据给通讯***114的一个或者多个接收器，及反之亦然。
在某些实施例中，终端112可以向无人机100、承载体102及负载104中的一个或者多个提供控制数据，并且从无人机100、承载体102及负载104中的一个或者多个中接收信息(如无人机、承载体或者负载的位置及/或运动信息，负载感测的数据，如相机捕获的影像数据)。
在某些实施例中，无人机100可以与除了终端112之外的其它远程设备通讯，终端112也可以与除无人机100之外的其它远程设备进行通讯。例如，无人机及/或终端112可以与另一个无人机或者另一个无人机的承载体或负载通讯。当有需要的时候，所述另外的远程设备可以是第二终端或者其它计算设备(如计算机、桌上型电脑、平板电脑、智能手机、或者其它移动设备)。该远程设备可以向无人机100传送数据，从无人机100接收数据，传送数据给终端112，及/或从终端112接收数据。可选的，该远程设备可以连接到因特网或者其它电信网络，以使从无人机100及/或终端112接收的数据上传到网站或者服务器上。
在某些实施例中，无人机100的运动、承载体102的运动及负载104相对固定 参照物(如外部环境)的运动，及/或者彼此间的运动，都可以由终端112所控制。所述终端112可以是远程控制终端，位于远离无人机、承载体及/或负载的地方。终端112可以位于或者粘贴于支撑平台上。可选的，所述终端112可以是手持的或者穿戴式的。例如，所述终端112可以包括智能手机、平板电脑、桌上型电脑、计算机、眼镜、手套、头盔、麦克风或者其中任意的结合。所述终端112可以包括用户界面，如键盘、鼠标、操纵杆、触摸屏或者显示器。任何适合的用户输入可以与终端112交互，如手动输入指令、声音控制、手势控制或者位置控制(如通过终端112的运动、位置或者倾斜)。
需要说明的是，本发明实施例中，立体图像可包括单张的立体图像，也可包括连续的立体视频。
实施例一
本发明实施例一提供一种基于无人机的立体成像方法。图2为本发明实施例提供的基于无人机的立体成像方法的流程图。如图2所示，所述基于无人机的立体成像方法可以包括如下步骤：
步骤S201：通过无人机100从不同的位置获取目标物体的至少两幅目标图像，其中，至少两幅所述目标图像中的所述目标物体至少部分重合；
可选地，至少两幅目标图像可包括两幅或者两幅以上，优选地，通过无人机100从不同的位置获取目标物体的两幅目标图像。
本实施例是通过无人机100从不同的位置获取目标物体的两幅目标图像的，具体实现方式可包括如下两种：
第一种
结合图3和图4，所述无人机100包括两台(包括图3和图4所示的无人机110和无人机120)，所述不同的位置包括第一位置和第二位置。步骤S201可以包括：控制两台所述无人机100分别位于所述第一位置和所述第二位置，并且获取两台所述无人机100在各自的位置拍摄的所述目标物体P(立体坐标为X、Y、Z)的目标图像，通过该方式获得的两幅目标图像的实时性较好。
第二种
参见图5，所述无人机100包括一台(即图5所示的无人机130)，所述不同的位置包括第一位置和第二位置。步骤S201可以包括：控制所述无人机100分别位于所述第一位置和所述第二位置，并且获取所述无人机100在对应的位置拍摄的所述目标物体P的目标图像。相比于第一种实现方式，通过单台无人机100分时拍摄的方式重建立体图像，降低了三维重建的成本，但获得的两幅目标图像的实时性不及第一种实现方式。
以下分别阐述上述两种获取目标图像的方式的具体实现过程。
(1)基于两台无人机100的方式
本实施例中，所述控制两台所述无人机100分别位于所述第一位置和所述第二位置可以包括：控制两台所述无人机100同步飞行，所述第一位置和所述第二位置分别为对应无人机100的实时位置，以确保获得的两幅目标图像的同步性。
所述控制两台所述无人机100同步飞行的同时，还需控制两台所述无人机100之间的相对关系不变，确保两台所述无人机100的标定关系不变，从而尽量提高确保两幅目标图像的重合度，便于三维重建。其中，所述相对关系可包括以下至少一种：两台所述无人机100的拍摄姿态、两台所述无人机100之间的位置关系。两台所述无人机100的拍摄姿态可包括：两台所述无人机100的拍摄方向的夹角(两台所述无人机100的拍摄方向分别与所述目标物体P连线之间的夹角)。本实施例中，两台所述无人机100的拍摄方向的夹角大于0°并小于180°。例如，在两台所述无人机100同步飞行的过程中，可将两台所述无人机100的拍摄方向的夹角始终维持在45°或60°。
参见图4，两台所述无人机100之间的位置关系可包括：两台所述无人机100之间的距离w，相比于双目摄像机中的两个摄像机之间的距离，两台所述无人机100之间的距离w可大大增加，例如，两台所述无人机100之间的距离w可从几米至几十米。这样，在三维重建时所需的分辨率大大降低。
进一步地，参见图4，所述控制两台所述无人机100同步飞行的同时，还需控制两台所述无人机100的实时高度h相等，并控制两台所述无人机100至所述目标物体P的实时距离s相等，确保两幅目标图像的重合度，从而利于三维重建。本实施例中，控制两台所述无人机100的实时高度h相等是指：同一时刻，控制两台所述无人机100的高度h相等，例如均为5米，两幅目标图像的重合度高，利于三维重建。而在不同的时刻，两台所述无人机100的高度h可相等，也可不相等，具体可根据成像需求选择。
更进一步地，所述获取两台所述无人机100在各自的位置拍摄的所述目标物体P的目标图像可以包括：获取两台所述无人机100在各自的位置同步拍摄的所述目标物体P的目标图像，进一步确保获得的两幅目标图像的同步性，便于生成流畅的立体视频。
(1)基于一台无人机100的方式
本实施例中，所述无人机100在所述第一位置和所述第二位置的相对关系不变，从而尽量提高确保两幅目标图像的重合度，便于三维重建。其中，所述相对关系包括以下至少一种：所述无人机100在所述第一位置和所述第二位置的拍摄姿态、所述无人机100在所述第一位置和所述第二位置的位置关系。所述无人机100在所述第一位置和所述第二位置的拍摄姿态可包括：所述无人机100在所述第一位置和所述第二位 置的拍摄方向的夹角(所述无人机100在所述第一位置时对应的拍摄方向与所述目标物体P的连线和所述无人机100在所述第二位置时对应的拍摄方向与所述目标物体P的连线之间的夹角)。本实施例中，所述无人机100在所述第一位置和所述第二位置的拍摄方向的夹角大于0°并小于180°。例如，所述无人机100在所述第一位置和所述第二位置的拍摄方向的夹角可为45°或60°。而为了重建立体视频，所述无人机100在所述第一位置和所述第二位置的拍摄方向的夹角需始终维持在同一角度。
参见图5，所述无人机100在所述第一位置和所述第二位置的位置关系可包括：所述无人机100在所述第一位置和所述第二位置之间的距离w，相比于双目摄像机中的两个摄像机之间的距离，控制一台所述无人机100在不同的时刻分别位于所述第一位置和所述第二位置的方式，使得所述第一位置和所述第二位置之间的距离w可大大增加，例如，所述第一位置和所述第二位置之间的距离w可从几米至几十米。这样，在三维重建时所需的分辨率大大降低。
所述第一位置至所述目标物体P的距离(图5中的s)和所述第二位置至所述目标物体P的距离相等(图5中的s)，所述第一位置的高度(图5中的h)和所述第二位置的高度也相等(图5中的h)，确保两幅目标图像的重合度，从而利于三维重建。本实施例中，所述第一位置至所述目标物体P的距离和所述第二位置至所述目标物体P的距离可均为5米，也可为其他。
进一步地，所述第一位置和所述第二位置可以属于同一飞行轨迹、也可以属于不同的飞行轨迹，从而满足不同的需求。例如，在一实施例中，所述第一位置和所述第二位置属于同一飞行轨迹。可选地，所述无人机100飞行至所述第一位置并停留第一预设时长，在第一预设时长内，通过无人机100上的影像捕获设备或者摄像设备对准目标物体P拍摄，从而获得其中一幅目标图像。接着，无人机100飞行至所述第二位置并停留第二预设时长，在第二预设时长内，通过无人机100上的影像捕获设备或者摄像设备对准目标物体P拍摄，从而获得另一幅目标图像，确保两幅目标图像的清晰度。其中，第一预设时长和第二预设时长的时长可根据需要设定，第一预设时长与第二预设时长可相等，也可不相等。此外，本实施例对无人机100的飞行轨迹不作限定，优选地，所述无人机100的飞行轨迹为一位于同一高度上的圆形，提高三维重建的效率。本实施例可从圆形的飞行轨迹上获取任意两点分别作为所述第一位置和所述第二位置。进一步地，所述无人机100沿着圆形的飞行轨迹横向飞行，便于重建连续的立体视频。
在另一实施例中，所述第一位置和所述第二位置位于不同的飞行轨迹上。本实施例中，所述不同的飞行轨迹包括第一飞行轨迹和第二飞行轨迹，所述控制所述无人机100分别位于第一位置和第二位置可以包括：首先控制所述无人机100先后沿着所述第一飞行轨迹和所述第二飞行轨迹飞行，接着从所述第一飞行轨迹上选取所述第一位置，从所述第二飞行轨迹上选取所述第二位置，通过单机分时拍摄的方式重建立体 图像，降低三维重建的成本。
进一步地，所述控制所述无人机100先后沿着所述第一飞行轨迹和所述第二飞行轨迹飞行可以包括：控制所述无人机100先后沿着第一飞行轨迹和第二飞行轨迹横向飞行，便于重建连续的立体视频。
从所述第一飞行轨迹上选取所述第一位置，从所述第二飞行轨迹上选取所述第二位置可以包括：从所述第一飞行轨迹上选取多个第一位置，从所述第二飞行轨迹上选取多个第二位置，其中多个所述第一位置与多个所述第二位置一一对应。所述获取所述无人机100在对应的位置拍摄的所述目标物体P的目标图像可以包括：获取所述无人机100在对应的第一位置和第二位置拍摄的所述目标物体P的目标图像，便于生成连续的所述目标物体P的立体视频。
步骤S202：根据至少两幅所述目标图像，生成所述目标物体P的立体图像。
其中，步骤S202具体包括：对至少两幅所述目标图像进行融合，生成所述目标物体P的立体图像。本实施例中，可采用现有技术中任意融合方式对至少两幅所述目标图像进行融合。
当目标图像包括两幅以上时，可先对其中两幅图像进行融合，生成目标物体P的立体图像，再将当前生成的立体图像与其余目标图像中的一幅继续进行融合处理，直至所有图像融合完毕，获得一幅立体图像。
本发明实施例中，通过无人机100来替换双目摄像机中的两个摄像机，从不同的位置获取目标物体P的至少两幅目标图像，从而获得目标物体P的立体图像，采用低成本的方式增大了相采集点之间的距离，降低了对成像解析度的需求，并提高了三维重建精度。
进一步地，在步骤S202之后，所述基于无人机100的立体成像方法还可以包括：根据不同时刻所生成的所述目标图像的立体图像，生成所述目标图像的立体视频，提高用户体验。
更进一步地，在步骤S202之后，所述基于无人机100的立体成像方法还可包括：发送所述立体图像至显示设备400，从而可通过显示设备400显示所述立体图像，将立体图像直观地呈现给用户。其中，所述显示设备400可以为智能手机、平板电脑、桌上型电脑、计算机或者视频眼镜等。
实施例二
结合图6和图7，本发明实施例二提供一种基于无人机的立体成像装置，所述装置可包括无人机100和处理器200(例如，单核或多核处理器)，所述处理器200与所述无人机100通信连接。
所述处理器200可以是中央处理器(central processing unit，CPU)。所述处理 器200还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。
所述处理器200可包括一个或多个，单独地或共同地工作。所述处理器200用于：通过无人机100从不同的位置获取目标物体P的至少两幅目标图像，其中，至少两幅所述目标图像中的所述目标物体P至少部分重合；根据至少两幅所述目标图像，生成所述目标物体P的立体图像。
本发明实施例中，通过无人机100来替换双目摄像机中的两个摄像机，从不同的位置获取目标物体P的至少两幅目标图像，从而获得目标物体P的立体图像，采用低成本的方式增大了相采集点之间的距离，降低了对成像解析度的需求，并提高了三维重建精度。
在一个实施例中，所述处理器200，用于对至少两幅所述目标图像进行融合，生成所述目标物体P的立体图像。
在一个实施例中，所述无人机100包括两台，两台所述无人机100均与所述处理器200通信连接；所述不同的位置包括第一位置和第二位置；所述处理器200，用于控制两台所述无人机100分别位于所述第一位置和所述第二位置；获取两台所述无人机100在各自的位置拍摄的所述目标物体P的目标图像。
在一个实施例中，所述处理器200，用于控制两台所述无人机100同步飞行，所述第一位置和所述第二位置分别为对应无人机100的实时位置。
在一个实施例中，所述处理器200在控制两台所述无人机100同步飞行的同时，还用于控制两台所述无人机100之间的相对关系不变。
在一个实施例中，所述相对关系包括以下至少一种：两台所述无人机100的拍摄姿态、两台所述无人机100之间的位置关系。
在一个实施例中，两台所述无人机100的拍摄姿态包括：两台所述无人机100的拍摄方向的夹角。
在一个实施例中，两台所述无人机100之间的位置关系包括：两台所述无人机100之间的距离(图4中的w)。
在一个实施例中，所述处理器200在控制两台所述无人机100同步飞行的同时，还用于控制两台所述无人机100的实时高度(图4中的h)相等；控制两台所述无人机100至所述目标物体P的实时距离(图4中的s)相等。
在一个实施例中，所述处理器200，用于获取两台所述无人机100在各自的位 置同步拍摄的所述目标物体P的目标图像。
在一个实施例中，所述无人机100包括一台，所述不同的位置包括第一位置和第二位置；所述处理器200，用于控制所述无人机100分别位于所述第一位置和所述第二位置；获取所述无人机100在对应的位置拍摄的所述目标物体P的目标图像。
在一个实施例中，所述第一位置和所述第二位置属于同一飞行轨迹。
在一个实施例中，所述第一位置和所述第二位置位于不同的飞行轨迹上。
在一个实施例中，所述不同的飞行轨迹包括第一飞行轨迹和第二飞行轨迹，所述处理器200，用于控制所述无人机100先后沿着所述第一飞行轨迹和所述第二飞行轨迹飞行；从所述第一飞行轨迹上选取所述第一位置，从所述第二飞行轨迹上选取所述第二位置。
在一个实施例中，所述处理器200，用于控制所述无人机100先后沿着第一飞行轨迹和第二飞行轨迹横向飞行。
在一个实施例中，所述处理器200，用于从所述第一飞行轨迹上选取多个第一位置，从所述第二飞行轨迹上选取多个第二位置，其中多个所述第一位置与多个所述第二位置一一对应；并且，获取所述无人机100在对应的第一位置和第二位置拍摄的所述目标物体P的目标图像。
在一个实施例中，所述无人机100在所述第一位置和所述第二位置的相对关系不变。
在一个实施例中，所述相对关系包括以下至少一种：所述无人机100在所述第一位置和所述第二位置的拍摄姿态、所述无人机100在所述第一位置和所述第二位置的位置关系。
在一个实施例中，所述无人机100在所述第一位置和所述第二位置的拍摄姿态包括：所述无人机100在所述第一位置和所述第二位置的拍摄方向的夹角。
在一个实施例中，所述无人机100在所述第一位置和所述第二位置的位置关系包括：所述无人机100在所述第一位置和所述第二位置之间的距离(图5中的w)。
在一个实施例中，所述第一位置至所述目标物体P的距离(图5中的s)和所述第二位置至所述目标物体P的距离(图5中的s)相等，所述第一位置的高度(图5中的h)和所述第二位置的高度也相等(图5中的h)。
在一个实施例中，所述处理器200在根据两幅所述目标图像，生成所述目标物体P的立体图像之后，还用于根据不同时刻所生成的所述目标图像的立体图像，生成所述目标图像的立体视频。
在一个实施例中，所述处理器200用于与显示设备400与通信连接，所述处理 器200在生成所述目标物体P的立体图像后，发送所述立体图像至所述显示设备400。
当所述无人机100为两台时，所述处理器200可为其中一台无人机100的飞行控制器，或者两台所述无人机100的飞行控制器的组合，或者，所述处理器200可为独立设置的控制器。
当所述无人机100为一台时，所述处理器200可为所述无人机100的飞行控制器，或者，所述处理器200可为独立设置的控制器。
进一步地，所述基于无人机的立体成像装置还可包括存储装置。所述存储装置可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储装置也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储装置还可以包括上述种类的存储器的组合。可选地，所述存储装置用于存储程序指令。所述处理器200可以调用所述程序指令，实现如上述实施例一的相应方法。
需要说明的是，本发明实施例的所述处理器200的具体实现可参考上述各个实施例中相应内容的描述，在此不赘述。
实施例三
本发明实施例三提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行上述实施例一所述的基于无人机的立体成像方法的步骤。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
“具体示例”、或“一些示例”等的描述意指结合所述实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施例的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能， 这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施例中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施例中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (47)

  1. 一种基于无人机的立体成像方法，其特征在于，包括：
    通过无人机从不同的位置获取目标物体的至少两幅目标图像，其中，至少两幅所述目标图像中的所述目标物体至少部分重合；
    根据至少两幅所述目标图像，生成所述目标物体的立体图像。
  2. 根据权利要求1所述的方法，其特征在于，所述根据至少两幅所述目标图像，生成所述目标物体的立体图像，包括：
    对至少两幅所述目标图像进行融合，生成所述目标物体的立体图像。
  3. 根据权利要求1所述的方法，其特征在于，所述无人机包括两台，所述不同的位置包括第一位置和第二位置；
    所述通过无人机从不同的位置获取目标物体的两幅目标图像，包括：
    控制两台所述无人机分别位于所述第一位置和所述第二位置；
    获取两台所述无人机在各自的位置拍摄的所述目标物体的目标图像。
  4. 根据权利要求3所述的方法，其特征在于，所述控制两台所述无人机分别位于所述第一位置和所述第二位置，包括：
    控制两台所述无人机同步飞行，所述第一位置和所述第二位置分别为对应无人机的实时位置。
  5. 根据权利要求4所述的方法，其特征在于，所述控制两台所述无人机同步飞行的同时，还包括：
    控制两台所述无人机之间的相对关系不变。
  6. 根据权利要求5所述的方法，其特征在于，所述相对关系包括以下至少一种：两台所述无人机的拍摄姿态、两台所述无人机之间的位置关系。
  7. 根据权利要求6所述的方法，其特征在于，两台所述无人机的拍摄姿态包括：两台所述无人机的拍摄方向的夹角。
  8. 根据权利要求6所述的方法，其特征在于，两台所述无人机之间的位置关系包括：两台所述无人机之间的距离。
  9. 根据权利要求4所述的方法，其特征在于，所述控制两台所述无人机同步飞行的同时，还包括：
    控制两台所述无人机的实时高度相等；
    控制两台所述无人机至所述目标物体的实时距离相等。
  10. 根据权利要求4所述的方法，其特征在于，所述获取两台所述无人机在各自的位置拍摄的所述目标物体的目标图像，包括：
    获取两台所述无人机在各自的位置同步拍摄的所述目标物体的目标图像。
  11. 根据权利要求1所述的方法，其特征在于，所述无人机包括一台，所述不同的位置包括第一位置和第二位置；
    所述通过无人机从不同的位置获取目标物体的至少两幅目标图像，包括：
    控制所述无人机分别位于所述第一位置和所述第二位置；
    获取所述无人机在对应的位置拍摄的所述目标物体的目标图像。
  12. 根据权利要求11所述的方法，其特征在于，所述第一位置和所述第二位置属于同一飞行轨迹。
  13. 根据权利要求11所述的方法，其特征在于，所述第一位置和所述第二位置位于不同的飞行轨迹上。
  14. 根据权利要求13所述的方法，其特征在于，所述不同的飞行轨迹包括第一飞行轨迹和第二飞行轨迹，所述控制所述无人机分别位于第一位置和第二位置，包括：
    控制所述无人机先后沿着所述第一飞行轨迹和所述第二飞行轨迹飞行；
    从所述第一飞行轨迹上选取所述第一位置，从所述第二飞行轨迹上选取所述第二位置。
  15. 根据权利要求14所述的方法，其特征在于，所述控制所述无人机先后沿着所述第一飞行轨迹和所述第二飞行轨迹飞行，包括：
    控制所述无人机先后沿着第一飞行轨迹和第二飞行轨迹横向飞行。
  16. 根据权利要求14所述的方法，其特征在于，所述从所述第一飞行轨迹上选取所述第一位置，从所述第二飞行轨迹上选取所述第二位置，包括：
    从所述第一飞行轨迹上选取多个第一位置，从所述第二飞行轨迹上选取多个第二位置，其中多个所述第一位置与多个所述第二位置一一对应；
    所述获取所述无人机在对应的位置拍摄的所述目标物体的目标图像，包括：
    获取所述无人机在对应的第一位置和第二位置拍摄的所述目标物体的目标图像。
  17. 根据权利要求12至16任一项所述的方法，其特征在于，所述无人机在所述第一位置和所述第二位置的相对关系不变。
  18. 根据权利要求17所述的方法，其特征在于，所述相对关系包括以下至少一种：所述无人机在所述第一位置和所述第二位置的拍摄姿态、所述无人机在所述第一位置和所述第二位置的位置关系。
  19. 根据权利要求18所述的方法，其特征在于，所述无人机在所述第一位置和所述第二位置的拍摄姿态包括：所述无人机在所述第一位置和所述第二位置的拍摄方向的夹角。
  20. 根据权利要求18所述的方法，其特征在于，所述无人机在所述第一位置和所述第二位置的位置关系包括：所述无人机在所述第一位置和所述第二位置之间的距离。
  21. 根据权利要求12至16任一项所述的方法，其特征在于，所述第一位置至所述目标物体的距离和所述第二位置至所述目标物体的距离相等，所述第一位置的高度和所述第二位置的高度也相等。
  22. 根据权利要求1所述的方法，其特征在于，所述根据两幅所述目标图像，生成所述目标物体的立体图像之后，还包括：
    根据不同时刻所生成的所述目标图像的立体图像，生成所述目标图像的立体视频。
  23. 根据权利要求1所述的方法，其特征在于，所述生成所述目标物体的立体图像后，还包括：
    发送所述立体图像至显示设备。
  24. 一种基于无人机的立体成像装置，包括无人机，其特征在于，还包括一个或多个处理器，单独地或共同地工作，所述处理器与所述无人机通信连接；
    所述处理器用于：
    通过无人机从不同的位置获取目标物体的至少两幅目标图像，其中，至少两幅所述目标图像中的所述目标物体至少部分重合；
    根据至少两幅所述目标图像，生成所述目标物体的立体图像。
  25. 根据权利要求24所述的立体成像装置，其特征在于，所述处理器，用于对至少两幅所述目标图像进行融合，生成所述目标物体的立体图像。
  26. 根据权利要求24所述的立体成像装置，其特征在于，所述无人机包括两台，两台所述无人机均与所述处理器通信连接；
    所述不同的位置包括第一位置和第二位置；
    所述处理器，用于控制两台所述无人机分别位于所述第一位置和所述第二位置；
    获取两台所述无人机在各自的位置拍摄的所述目标物体的目标图像。
  27. 根据权利要求26所述的立体成像装置，其特征在于，所述处理器，用于控制两台所述无人机同步飞行，所述第一位置和所述第二位置分别为对应无人机的实时位置。
  28. 根据权利要求27所述的立体成像装置，其特征在于，所述处理器在控制两台所述无人机同步飞行的同时，还用于
    控制两台所述无人机之间的相对关系不变。
  29. 根据权利要求28所述的立体成像装置，其特征在于，所述相对关系包括以下至少一种：两台所述无人机的拍摄姿态、两台所述无人机之间的位置关系。
  30. 根据权利要求29所述的立体成像装置，其特征在于，两台所述无人机的拍摄姿态包括：两台所述无人机的拍摄方向的夹角。
  31. 根据权利要求29所述的立体成像装置，其特征在于，两台所述无人机之间的位置关系包括：两台所述无人机之间的距离。
  32. 根据权利要求27所述的立体成像装置，其特征在于，所述处理器在控制两台所述无人机同步飞行的同时，还用于
    控制两台所述无人机的实时高度相等；
    控制两台所述无人机至所述目标物体的实时距离相等。
  33. 根据权利要求27所述的立体成像装置，其特征在于，所述处理器，用于
    获取两台所述无人机在各自的位置同步拍摄的所述目标物体的目标图像。
  34. 根据权利要求24所述的立体成像装置，其特征在于，所述无人机包括一台，所述不同的位置包括第一位置和第二位置；
    所述处理器，用于
    控制所述无人机分别位于所述第一位置和所述第二位置；
    获取所述无人机在对应的位置拍摄的所述目标物体的目标图像。
  35. 根据权利要求34所述的立体成像装置，其特征在于，所述第一位置和所述第二位置属于同一飞行轨迹。
  36. 根据权利要求34所述的立体成像装置，其特征在于，所述第一位置和所述第二位置位于不同的飞行轨迹上。
  37. 根据权利要求36所述的立体成像装置，其特征在于，所述不同的飞行轨迹包括第一飞行轨迹和第二飞行轨迹，所述处理器，用于
    控制所述无人机先后沿着所述第一飞行轨迹和所述第二飞行轨迹飞行；
    从所述第一飞行轨迹上选取所述第一位置，从所述第二飞行轨迹上选取所述第二位置。
  38. 根据权利要求37所述的立体成像装置，其特征在于，所述处理器，用于控制所述无人机先后沿着第一飞行轨迹和第二飞行轨迹横向飞行。
  39. 根据权利要求37所述的立体成像装置，其特征在于，所述处理器，用于从所述第一飞行轨迹上选取多个第一位置，从所述第二飞行轨迹上选取多个第二位置，其中多个所述第一位置与多个所述第二位置一一对应；并且，获取所述无人机在对应的第一位置和第二位置拍摄的所述目标物体的目标图像。
  40. 根据权利要求35至39任一项所述的立体成像装置，其特征在于，所述无人机在所述第一位置和所述第二位置的相对关系不变。
  41. 根据权利要求40所述的立体成像装置，其特征在于，所述相对关系包括以下至少一种：所述无人机在所述第一位置和所述第二位置的拍摄姿态、所述无人机在所述第一位置和所述第二位置的位置关系。
  42. 根据权利要求41所述的立体成像装置，其特征在于，所述无人机在所述第一位置和所述第二位置的拍摄姿态包括：所述无人机在所述第一位置和所述第二位置的拍摄方向的夹角。
  43. 根据权利要求41所述的立体成像装置，其特征在于，所述无人机在所述第一位置和所述第二位置的位置关系包括：所述无人机在所述第一位置和所述第二位置之间的距离。
  44. 根据权利要求35至39任一项所述的立体成像装置，其特征在于，所述第一位置至所述目标物体的距离和所述第二位置至所述目标物体的距离相等，所述第一位置的高度和所述第二位置的高度也相等。
  45. 根据权利要求24所述的立体成像装置，其特征在于，所述处理器在根据两幅所述目标图像，生成所述目标物体的立体图像之后，还用于
    根据不同时刻所生成的所述目标图像的立体图像，生成所述目标图像的立体视频。
  46. 根据权利要求24所述的立体成像装置，其特征在于，所述处理器用于与显示 设备与通信连接，所述处理器在生成所述目标物体的立体图像后，发送所述立体图像至所述显示设备。
  47. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行权利要求1至23任一项所述的基于无人机的立体成像方法的步骤。
PCT/CN2017/118034 2017-12-22 2017-12-22 基于无人机的立体成像方法和装置 WO2019119426A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780018614.4A CN109076206B (zh) 2017-12-22 2017-12-22 基于无人机的立体成像方法和装置
PCT/CN2017/118034 WO2019119426A1 (zh) 2017-12-22 2017-12-22 基于无人机的立体成像方法和装置
CN202110004601.XA CN112672133A (zh) 2017-12-22 2017-12-22 基于无人机的立体成像方法和装置、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/118034 WO2019119426A1 (zh) 2017-12-22 2017-12-22 基于无人机的立体成像方法和装置

Publications (1)

Publication Number Publication Date
WO2019119426A1 true WO2019119426A1 (zh) 2019-06-27

Family

ID=64812363

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/118034 WO2019119426A1 (zh) 2017-12-22 2017-12-22 基于无人机的立体成像方法和装置

Country Status (2)

Country Link
CN (2) CN109076206B (zh)
WO (1) WO2019119426A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110068306A (zh) * 2019-04-19 2019-07-30 弈酷高科技(深圳)有限公司 一种无人机巡查测度***及方法
CN111757084A (zh) * 2020-07-30 2020-10-09 北京博清科技有限公司 一种立体图像的采集方法、采集装置及可读存储介质
CN112684456B (zh) * 2020-12-22 2024-05-17 安徽配隆天环保科技有限公司 一种无人机超声立体成像模型***
CN113542718B (zh) * 2021-07-20 2024-06-28 翁均明 一种无人机立体摄影方法
CN113608550A (zh) * 2021-08-06 2021-11-05 寰宇鹏翔航空科技(深圳)有限公司 无人机数据采集控制方法、无人机及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100295927A1 (en) * 2009-04-17 2010-11-25 The Boeing Company System and method for stereoscopic imaging
WO2012056443A2 (en) * 2010-10-24 2012-05-03 Rafael Advanced Defense Systems Ltd. Tracking and identification of a moving object from a moving sensor using a 3d model
CN105225241A (zh) * 2015-09-25 2016-01-06 广州极飞电子科技有限公司 无人机深度图像的获取方法及无人机
CN105245846A (zh) * 2015-10-12 2016-01-13 西安斯凯智能科技有限公司 一种多无人机协同跟踪的拍摄***及拍摄方法
CN205507553U (zh) * 2016-04-07 2016-08-24 吉林禾熙科技开发有限公司 一种无人机三维场景数据采集控制装置
CN107124606A (zh) * 2017-05-31 2017-09-01 东莞市妙音广告传媒有限公司 基于无人机航拍的数字视频广告远程拍摄方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105391939B (zh) * 2015-11-04 2017-09-29 腾讯科技（深圳）有限公司 无人机拍摄控制方法和装置、无人机拍摄方法和无人机
CN106162145B (zh) * 2016-07-26 2018-06-08 北京奇虎科技有限公司 基于无人机的立体图像生成方法、装置
CN106296821A (zh) * 2016-08-19 2017-01-04 刘建国 基于无人机的多视角三维重建方法及***
CN106331684B (zh) * 2016-08-30 2018-04-27 长江三峡勘测研究院有限公司（武汉） 一种工程地质调查中基于小型无人机录像的三维影像获取方法
CN106485736B (zh) * 2016-10-27 2022-04-12 深圳市道通智能航空技术股份有限公司 一种无人机全景视觉跟踪方法、无人机以及控制终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100295927A1 (en) * 2009-04-17 2010-11-25 The Boeing Company System and method for stereoscopic imaging
WO2012056443A2 (en) * 2010-10-24 2012-05-03 Rafael Advanced Defense Systems Ltd. Tracking and identification of a moving object from a moving sensor using a 3d model
CN105225241A (zh) * 2015-09-25 2016-01-06 广州极飞电子科技有限公司 无人机深度图像的获取方法及无人机
CN105245846A (zh) * 2015-10-12 2016-01-13 西安斯凯智能科技有限公司 一种多无人机协同跟踪的拍摄***及拍摄方法
CN205507553U (zh) * 2016-04-07 2016-08-24 吉林禾熙科技开发有限公司 一种无人机三维场景数据采集控制装置
CN107124606A (zh) * 2017-05-31 2017-09-01 东莞市妙音广告传媒有限公司 基于无人机航拍的数字视频广告远程拍摄方法

Also Published As

Publication number Publication date
CN112672133A (zh) 2021-04-16
CN109076206A (zh) 2018-12-21
CN109076206B (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
US11649052B2 (en) System and method for providing autonomous photography and videography
US11347217B2 (en) User interaction paradigms for a flying digital assistant
WO2019119426A1 (zh) 基于无人机的立体成像方法和装置
CN109238240B (zh) 一种顾及地形的无人机倾斜摄影方法及其摄影***
JP6835392B2 (ja) 撮像装置により取得された画像を制御するためのシステム及び方法
JP6596745B2 (ja) 対象物体を撮像するシステム
JP6784434B2 (ja) 方法、ｕａｖ制御プログラム、無人航空機、及び制御システム
WO2018086130A1 (zh) 飞行轨迹的生成方法、控制装置及无人飞行器
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
JP2017513245A (ja) Ｕａｖによるパノラマ画像撮影方法
WO2019155335A1 (en) Unmanned aerial vehicle including an omnidirectional depth sensing and obstacle avoidance aerial system and method of operating same
JP2017503226A5 (zh)
KR101896654B1 (ko) 드론을 이용한 3d 영상 처리 시스템 및 방법
WO2019127344A1 (zh) 控制云台复位的方法和装置、云台、无人飞行器
US11611700B2 (en) Unmanned aerial vehicle with virtual un-zoomed imaging
WO2017201698A1 (zh) 一种追踪目标的方法及装置
WO2020062024A1 (zh) 基于无人机的测距方法、装置及无人机
JP6800918B2 (ja) エラー回復を実行するための方法、システム、及びプログラム
CN110162075A (zh) 一种飞行器控制方法、装置及飞行器
JP2021073796A (ja) 制御装置、及び画像を取得する方法
WO2020107487A1 (zh) 图像处理方法和无人机
JP2016194782A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17935067

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17935067

Country of ref document: EP

Kind code of ref document: A1