WO2022094883A1 - 影像处理方法及***、影像采集装置、云端设备、可移动平台和存储介质 - Google Patents

影像处理方法及***、影像采集装置、云端设备、可移动平台和存储介质 Download PDF

Info

Publication number
WO2022094883A1
WO2022094883A1 PCT/CN2020/126835 CN2020126835W WO2022094883A1 WO 2022094883 A1 WO2022094883 A1 WO 2022094883A1 CN 2020126835 W CN2020126835 W CN 2020126835W WO 2022094883 A1 WO2022094883 A1 WO 2022094883A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
data
format
processed
processing method
Prior art date
Application number
PCT/CN2020/126835
Other languages
English (en)
French (fr)
Inventor
冯颖臻
白高平
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2020/126835 priority Critical patent/WO2022094883A1/zh
Publication of WO2022094883A1 publication Critical patent/WO2022094883A1/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays

Definitions

  • the present invention generally relates to the technical field of data processing, and more particularly to an image processing method and system, an image acquisition device, a cloud device, a removable platform and a storage medium.
  • the present invention provides an image processing method and system, an image acquisition device, a cloud device, a movable platform and a storage medium.
  • a first aspect of the present invention provides an image processing method, which is applied to an image acquisition device, and the image acquisition device is communicatively connected to a cloud device, and the image processing method includes:
  • a target image with image effects corresponding to the specific shooting scene and/or the specific shooting mode is obtained.
  • a second aspect of the present invention provides an image processing method, which is applied to a cloud device, wherein the cloud device is communicatively connected to an image acquisition device, and the image processing method includes:
  • the processed data is sent to the image capture device, so that the image capture device obtains a target image with an image effect corresponding to the specific shooting scene and/or a specific shooting mode based on the processed data.
  • a third aspect of the present invention provides an image processing method, which is applied to an image processing system, where the image processing system includes an image acquisition device and a cloud device, the image acquisition device and the cloud device are communicatively connected, and the image processing method includes :
  • the image capturing device sends image data captured in a specific shooting scene and/or a specific shooting mode to the cloud device;
  • the cloud device acquires the image data, and processes the image data to obtain processed data
  • the image acquisition device acquires the processed data, and based on the processed data, acquires a target image with an image effect corresponding to the specific shooting scene and/or a specific shooting mode.
  • a fourth aspect of the present invention provides an image acquisition device, the image acquisition device comprising:
  • An image sensor at least for capturing image data in a specific shooting scene and/or a specific shooting mode
  • a communication interface for enabling the image capture device to communicate with an external device
  • processors for executing the program instructions stored in the memory, causing the processors to perform the following steps:
  • a target image with image effects corresponding to the specific shooting scene and/or the specific shooting mode is obtained.
  • a fifth aspect of the present invention provides a cloud device, and the cloud device includes:
  • a communication interface for enabling the cloud device to communicate with an external device
  • One or more processors are configured to execute the program instructions stored in the memory, so that the processors execute the image processing method according to the second aspect.
  • a sixth aspect of the present invention is an image processing system, comprising: an image acquisition device and a cloud device, the image acquisition device and the cloud device are communicatively connected, wherein,
  • the image capturing device is configured to send image data captured in a specific shooting scene and/or a specific shooting mode to a cloud device;
  • the cloud device is configured to acquire the image data and process the image data to obtain processed data
  • the image acquisition device is configured to acquire the processed data, and based on the processed data, acquire a target image having an image effect corresponding to the specific shooting scene and/or a specific shooting mode.
  • a sixth aspect of the present invention provides a movable platform, comprising:
  • the image capture device is disposed on the movable platform body.
  • a seventh aspect of the present invention provides a computer storage medium on which a computer program is stored, and when the computer program is executed by a processor, the aforementioned image processing method is implemented.
  • the image data captured in a specific shooting scene and/or a specific shooting mode is sent to a cloud device, so that the cloud device processes the image data, so as to obtain the image data with the specific shooting scene and the specific shooting mode.
  • the target image of the image effect corresponding to the scene and/or a specific shooting mode so that low-end devices that do not have the ability to process complex image data or devices that require power consumption can use the image acquisition device and the cloud device. It sends the image data captured in a specific shooting scene and/or a specific shooting mode to the cloud device, and performs post-processing on the image through the computing resources of the cloud device to achieve better and more complex image processing effects.
  • FIG. 1 shows a schematic flow chart of a conventional image processing method
  • FIG. 2 shows a schematic flowchart of an image processing method in an embodiment of the present invention
  • FIG. 3 is a schematic diagram showing the flow of image data in different formats when the wireless bandwidth is high in an embodiment of the present invention
  • FIG. 4 shows a schematic flowchart of an image processing method in a case of low wireless bandwidth in an embodiment of the present invention
  • FIG. 5 shows a schematic flowchart of an image processing method in an HDR mode according to an embodiment of the present invention
  • FIG. 6 shows a schematic flowchart of an image processing method for LTM in an embodiment of the present invention
  • FIG. 7 shows a schematic flowchart of a panoramic image processing method in an embodiment of the present invention.
  • FIG. 8 shows a schematic flowchart of an image processing method in another embodiment of the present invention.
  • FIG. 9 shows a schematic flowchart of an image processing method in still another embodiment of the present invention.
  • FIG. 10 shows a schematic block diagram of an image capturing apparatus in an embodiment of the present invention.
  • FIG. 11 shows a schematic block diagram of a cloud device in an embodiment of the present invention.
  • FIG. 12 shows a schematic block diagram of an image processing system in an embodiment of the present invention.
  • FIG. 1 is a schematic flowchart of a conventional image processing method.
  • the image processing method can be applied to an aircraft with an embedded image system (such as an unmanned aerial vehicle) or a handheld gimbal.
  • the aircraft or the handheld gimbal can be combined with
  • the terminal device is communicatively connected, and the terminal device can be hand-held or wearable.
  • terminal devices may include smartphones, tablets, desktops, computers, glasses, gloves, helmets, microphones, or any combination thereof.
  • the terminal device may include a user interface such as a keyboard, mouse, joystick, touch screen or display. Any suitable user input may interact with the terminal, such as manual input of commands, voice control, gesture control, or position control (eg, through movement, position, or tilt of the terminal).
  • a terminal device such as a portable device (such as a smart phone) obtains an operation instruction input by the user, the operation instruction includes initiating a photo/video operation, the control center obtains the operation instruction, and according to the corresponding operation instruction and configure and control the camera to shoot, as shown in Figure 1 11, 12.
  • An application program (Application, APP for short) may be installed on the terminal device, and the application program is used to receive the operation instructions input by the user.
  • a number of control data are provided, and the control data of the terminal device can lead to load control, such as controlling the operation of a camera or other image capture device (capturing still or moving images, zooming, turning on or off, switching imaging modes, changing image resolution, changing focal length, changing depth of field, changing exposure time, changing viewing angle or field of view).
  • the camera sensor captures the RAW data and transmits it to the image processor (such as Image Signal Processor (ISP)), the ISP performs image processing and converts the RAW data into YUV data, and then sends the YUV data to the encoder for encoding.
  • the camera encodes the YUV data into JPEG photo data or MP4 video data according to the shooting requirements, and finally stores it on a storage medium (that is, a memory) (such as an SD card).
  • a storage medium that is, a memory
  • a storage medium such as an SD card
  • the present application provides an image processing method, which is applied to an image acquisition device, the image acquisition device is communicatively connected to a cloud device, and the image processing method includes: The image data captured in the shooting mode is sent to the cloud device, so that the cloud device processes the image data; the processed data processed by the cloud device is obtained; based on the processed data, the Describe the target image of the image effect corresponding to the specific shooting scene and/or the specific shooting mode.
  • a low-end device that does not have the ability to process complex image data or a device that requires power consumption can use the communication link between the image capture device and the cloud device.
  • the image data captured in the scene and/or a specific shooting mode is sent to the cloud device, and the image is post-processed through the computing resources of the cloud device to achieve better and more complex image processing effects, providing users with more intelligent shooting functions and providing more Many convenient and easy-to-use features improve user experience.
  • the image processing method 200 is applied to an image acquisition device, and the image acquisition device is communicatively connected to a cloud device.
  • step S201 the image data captured in a specific shooting scene and/or a specific shooting mode is sent to a cloud device, so that the cloud device can process the image data.
  • step S202 the processed data processed by the cloud device is acquired; in step S203, based on the processed data, an image corresponding to the specific shooting scene and/or specific shooting mode is acquired The target image for the effect.
  • the image processing method further includes: acquiring an operation instruction input by a user, where the operation instruction is used to control the image capture device to shoot, for example, in a specific shooting scene and/or a specific shooting shooting in the mode; based on the operation instruction, the image capturing device is controlled to shoot in the specific shooting scene and/or the specific shooting mode.
  • the image capture device may have a display, which may be used to display image data such as images or videos, and may also provide a user interface through which various operation instructions input by the user are received, such as controlling the image capture device to shoot.
  • a selection instruction of a specific shooting mode input by the user can be obtained, and the image capture device can be controlled to shoot in the corresponding specific shooting mode based on the user's selection instruction.
  • a communication connection can also be established through, for example, a terminal device and an image capture device, and the terminal device can control the image capture device to perform various operations.
  • the terminal device can be, for example, a portable device (such as a mobile computing or communication device such as a smart phone) and wearable devices, computers such as desktop computers, notebooks, tablets, etc.).
  • the image processing method further includes: acquiring configuration information sent by the cloud device, where the configuration information includes the cloud device based on the specific shooting scene and/or a specific shooting mode
  • the set information may be different from the inherent configuration information of the image capture device itself.
  • the inherent configuration information of the image capture device itself needs to shoot 9 images continuously for synthesizing HDR images, and the cloud device sends
  • the configuration information of the image capture device can be the HDR image synthesized by the user by continuously shooting 7 images.
  • the cloud device can update the configuration information of the image capture device according to the scene information of the scene to be shot, such as ISO and other information, and control the camera according to the configuration information.
  • the image capturing device performs the shooting of the specific shooting scene and/or the specific shooting mode.
  • the control center of the image acquisition device controls the image acquisition device to perform photography according to corresponding operation instructions and configuration information.
  • the specific shooting scene and the specific shooting mode may be any shooting scene or shooting mode well known to those skilled in the art, for example, the specific shooting scene may include a high light ratio scene; the specific shooting mode includes the following modes At least one of: high dynamic range image capture mode, panorama capture mode, or asteroid capture mode, etc.
  • the image capture device After the image capture device completes the shooting, the image capture device sends the image data captured in the specific shooting scene and/or the specific shooting mode to the cloud device, so that the cloud device can process the image data.
  • the image capturing device may be a device having an image sensor, such as a camera, a video camera, or other devices.
  • An image sensor (also referred to herein as a camera sensor) is a device for capturing image data, which may be, for example, a CMOS image sensor, a CCD image sensor, or the like.
  • the image capturing device may also be disposed on the body of the movable platform (eg, an aircraft, a handheld gimbal) in the form of an embedded image system.
  • the image capture device can be set on the body of the movable platform as a load, and the user can control the image capture device through the terminal.
  • the image data includes first image data having a first format, second image data having a second format, and third image data having the same data format as the target image, wherein the first image data It includes data collected by an image sensor (such as raw data collected), the first format includes, for example, a RAW format, and the second image data includes the first image data after being processed by an image processor (such as an ISP) of the image capture device
  • the second format includes, for example, the YUV format
  • the third image data includes the data obtained by the encoder of the image acquisition device encoding the second image data with the second format.
  • the format of the third image data can be, for example, Including JPEG format or MP4 format.
  • the image data may include one or more of image data, audio data or video data. It should be noted that the method of the present application is not limited to the processing of images, but can also be used for co-processing of audio and video.
  • short-distance or long-distance wireless or wired connections can be used to transmit image data (RAW, YUV, JPEG/MP4) at different stages in the shooting process to cloud devices (for example, according to different shooting modes or scenes)
  • the server terminal (such as a mobile phone, etc.) performs corresponding processing on the data
  • the processed data is transmitted back to the image acquisition device for subsequent processing.
  • FIG. 3 shows the flow of image data in different formats.
  • the cloud device may process the image data to obtain processed data, wherein the cloud device may process the image data into image data with image effects corresponding to the specific shooting scene and/or specific shooting mode, for example , synthesizing multiple images (such as 2, 3... or even dozens of images) captured by the image capture device in the HDR shooting mode into an HDR image, and for example, enhancing the image captured in a scene with a large light ratio Processing, such as LTM processing or Local Laplacian Processing (LLP), etc., to improve the quality and effect of the image.
  • LTM processing Local Laplacian Processing
  • LLP Local Laplacian Processing
  • the cloud device can determine the processing method of the obtained image data based on the information of the shooting scene or shooting mode sent by the image acquisition device, and the cloud device can also determine the shooting scene or the image data according to the feature information of the obtained image data.
  • Shooting mode which automatically performs corresponding processing on the acquired image data. For example, when the cloud device determines that it is the image data shot in the large light ratio scene according to the characteristic information of the acquired image data, the acquired image data is automatically enhanced. For example, LTM processing or LLP processing is performed.
  • the processed data processed by the cloud device has the same data format as the image data, or the processed data has a different data format from the image data, for example, when the data format of the processed data and
  • the predetermined data formats of the target images are different
  • step S203 based on the processed data, obtain a target image with image effects corresponding to the specific shooting scene and/or specific shooting mode, including: image capture
  • the apparatus processes the processed data to obtain a target image having a predetermined data format.
  • the image data includes first image data having a first format
  • the first image data includes data collected by an image sensor of the image capturing device, such as RAW data 33
  • image The acquisition device sends the RAW data to the cloud device, and the cloud device processes the RAW data to obtain processed data, and the data format of the processed data can be the first format, such as RAW, and then, the image acquisition device processes the processed data.
  • Processing the data for processing to obtain a target image having a predetermined data format comprising: processing the processed data in the first format by an image processor (eg, an ISP) to obtain processed data in a second format , such as data in YUV format; then, the processed data in the second format is processed by an encoder to obtain a target image (such as stream data or image data) with a predetermined data format, such as a target in JPEG or MP4 format image.
  • an image processor eg, an ISP
  • a second format such as data in YUV format
  • an encoder to obtain a target image (such as stream data or image data) with a predetermined data format, such as a target in JPEG or MP4 format image.
  • the image data includes second image data having a second format
  • the second image data includes passing the first image data through an image processor (for example, ISP) processed data, send the second image data to the cloud device for processing to obtain the processed data
  • the data format of the processed data is the second format
  • the cloud device sends the processed data to the image capture device
  • the image acquisition device acquires the processed data, and processes the processed data to obtain a target image with a predetermined data format, including: processing the processed data in the second format through an encoder to obtain a target image in a predetermined data format.
  • Obtain a target image in a predetermined data format eg, stream data or image data
  • a target image in JPEG or MP4 format such as a target image in JPEG or MP4 format.
  • the image data processing process is shown in FIG. 5 .
  • the image sensor of the image capture device captures multiple pieces of RAW data, and sends the multiple pieces of RAW data to Cloud device, the cloud device processes the multiple RAW data, such as fusion processing, and obtains the processed RAW data 56, for example, after fusion, a high dynamic range RAW image is synthesized, and then the processed RAW data 56 is sent back to the ISP
  • the processed RAW data 56 is processed by ISP to obtain YUV data 57, and then the YUV data is sent to the encoder, and the encoder encodes the YUV data into stream data or image data 58 such as JPEG photo data or MP4 video data, and finally Generate an HDR photo, and finally store the stream data or image data on a storage medium (ie, memory) (eg, an SD card).
  • a storage medium ie, memory
  • the corresponding media 59 such as image files or video files are retrieved from the storage
  • the current shooting scene can be determined to be a high light ratio scene based on the status information of the image capture device.
  • the YUV data 64 processed by the ISP can be sent to the cloud device for enhanced processing (such as LTM, LLP, etc.), and then the processed YUV data 67 can be sent back to the encoder of the image acquisition device.
  • the processor encodes the processed YUV data into stream data or image data 68 such as JPEG photo data or MP4 video data, and finally generates a better photo.
  • the stream data or image data is stored on a storage medium (ie, a memory) (eg, an SD card).
  • a storage medium ie, a memory
  • the corresponding media 69 such as image files or video files are retrieved from the storage medium for media playback, so that the image capture device can obtain photos with HDR effects and improve user experience.
  • an image acquisition device such as a camera captures photos or videos that require more complex processing, such as panoramas and asteroids
  • the process is shown in Figure 7, and the image data in JPEG or MP4 format encoded by the encoder can be (For example, multiple JPEG images 75) are transmitted to the cloud device, and the cloud device performs further splicing, frame extraction and other processing on the multiple JPEG images 75 to obtain a processed JPEG image 78 with better effect, and finally the JPEG image 78 is stored on a storage medium (ie, memory) (eg, an SD card).
  • a storage medium ie, memory
  • the corresponding media 69 such as image files or video files, is retrieved from the storage medium for media playback, thereby realizing an advanced shooting mode that is not supported by the body itself.
  • the image acquisition device includes a processor, and the processor includes a control unit.
  • the control unit (also referred to as a control center) controls the flow of data through the control center.
  • the control center obtains a terminal such as a portable device or obtains a cloud device such as a computing server.
  • Send various control instructions or data information, and control the acquired control instructions or data information to be sent to the corresponding device in the image acquisition device for example, send the control instructions and configuration information related to camera control to the image sensor to control
  • the image sensor takes pictures or videos according to the control instructions and configuration information.
  • the control center controls the specific device of the image acquisition device to send the corresponding image data output to the cloud device, and transmits the processed image back from the cloud device.
  • the data is sent to another specific device, for example, the RAW data captured by the image sensor is sent to the cloud device, and the RAW data processed by the cloud device is sent to the ISP.
  • the YUV data output by the ISP is sent to the cloud device, and the data is sent to the cloud device.
  • the YUV data processed by the cloud device is sent to the encoder.
  • the JPEG or MP4 format data output by the encoder is sent to the cloud device, and the JPEG or MP4 format data processed by the cloud device is sent to the storage for storage.
  • the image processing method further includes: storing the target image in a memory.
  • storing the target image in the memory it is convenient for the user to view the target image.
  • the image data captured by the image acquisition device can be processed in real time through the cloud device.
  • step S201 when the data transmission speed between the image capture device and the cloud device is less than or equal to a first threshold, step S201 includes: shooting at least a specific shooting scene and/or a specific shooting mode Part of the image data is stored in the memory, and the at least part of the image data includes image data in, for example, JPEG or MP4 format; when the image capture device performs a shooting operation or when the data transmission speed is greater than or equal to a second threshold, the The image data stored in the memory is sent to the cloud device.
  • the processing of image data can be completed without the user's perception, and the user experience can be improved.
  • the user initiates a photo/video operation, and the control center controls the camera to shoot according to the corresponding instruction and configuration.
  • the image sensor captures the RAW data 43 and transmits it to an image processor (such as an Image Signal Processor (ISP)), the ISP performs image processing and converts the RAW data into YUV data 44, and then sends the YUV data to the encoder.
  • ISP Image Signal Processor
  • the encoder encodes the YUV data into stream data or image data 45 such as JPEG photo data or MP4 video data, and finally stores it on a storage medium (that is, a memory) (such as an SD card), when the image capture device performs a shooting operation Or when the data transmission speed is greater than or equal to the second threshold, the image data stored in the memory is sent to the cloud device, so that the cloud device processes the image data (such as stream data or image data), and sends the data to the cloud device.
  • the processed image data (such as stream data or image data) is sent to the memory of the image capture device for storage.
  • the first threshold and the second threshold may be reasonably set according to prior experience, wherein the first threshold and the second threshold may be the same value, or the first threshold may be smaller than the second threshold, for example, the first threshold may be 1MB/ s, the first threshold may be 4MB/s.
  • the data transmission speed also refers to the wireless transmission speed.
  • storing at least part of the image data captured in a specific shooting scene and/or a specific shooting mode into the memory includes: while shooting in the specific shooting scene and/or a specific shooting mode, The first part of the image data is sent to the cloud device, so that the cloud device processes the first part of the image data, and stores the second part of the image data that has been captured in the memory.
  • the image capture device performs a shooting operation Or when the data transmission speed is greater than or equal to the second threshold, the second part of the image data stored in the memory is sent to the cloud device, so that the cloud device processes the second part of the image data to finally obtain processed image data.
  • the image data collected by the image sensor can be completely processed by the image collection device, and the image data in JPEG or MP4 format can be processed. After being stored in the storage medium, the redundant time of the system is used to transmit the data back to the cloud device for post-processing.
  • the image data in JPEG or MP4 format has a smaller size than image data in other formats, and therefore, its transmission is faster, enabling the cloud device to quickly obtain the image data that needs to be processed.
  • the user triggers wide-angle panoramic shooting, a total of 9 photos need to be taken, and the user cannot perform other operations during the shooting process; suppose, the shooting time of each photo is about 2s; the size of each photo is about 2.5MB; the limited wireless transmission speed is about 1MB/s, and the unrestricted wireless transmission speed is about 4MB/s; it takes 18s to shoot all the photos needed for the panorama, and a total of 22.5MB needs to be transferred to the cloud device.
  • 16MB of data can be downloaded through background download (that is, background download), and the remaining 6.5M of data can be downloaded in the background (at this time, the image capture device can obtain other control instructions from the user, and perform other Shooting operation), or download at high speed when the bandwidth of the transmission link is sufficient (for example, when the data transmission speed is greater than or equal to the second threshold), so that the transmission and processing of panoramic photos can be completed without the user's perception.
  • the image acquisition device is disposed on the body of the movable platform, and the processed data includes processing and obtained by the cloud device based on the image data and the state information of the movable platform during shooting,
  • the state information includes at least one of the following information: GPS position information, measurement information of a gyroscope, or attitude information.
  • the cloud device may obtain the above state information from various sensors used to measure the state information of the image acquisition device or the state information of the movable platform where the image acquisition device is located, as shown in FIG. 3 .
  • the cloud device can also process or correct the image data with a specific algorithm based on the status information, to further improve the effect of the target image and enhance the robustness of the cloud image processing.
  • the image processing method further includes: acquiring a shooting template stored in the cloud device; controlling the image acquisition device to shoot according to the shooting template, and the shooting template may be any shooting template, for example, when the image When the acquisition device is set on the drone, the shooting templates stored on the drone are fixed. If it is not updated, the user can only shoot according to these fixed shooting templates, and the selectivity is small.
  • the shooting template can be obtained from the cloud device, which can get rid of the functional limitations of the APP of the fuselage or terminal (such as a mobile phone), and can provide users with more shooting options and playability, thereby improving the user experience.
  • the cloud device may include a terminal device or a cloud server, wherein the terminal device may be, for example, a portable device (such as a mobile computing or communication device such as a smartphone and a wearable device, a computer such as a desktop computer) , laptops, tablets, etc.).
  • the cloud server may include backend computing devices or clusters on the cloud.
  • the image processing method 800 is applied to a cloud device, and the cloud device is communicatively connected to an image capture device.
  • the image processing method 800 includes the following steps: in step S801, acquiring image data captured by the image capture device in a specific shooting scene and/or a specific shooting mode; in step S802 , process the image data to obtain processed data; in step S803 , send the processed data to the image acquisition device, so that the image acquisition device obtains data with the The target image of the image effect corresponding to the specific shooting scene and/or the specific shooting mode.
  • low-end devices that do not have the ability to process complex image data or devices that require power consumption can use the communication link between the image acquisition device and the cloud device, and the cloud device can obtain the The image data captured in a specific shooting scene and/or a specific shooting mode, and post-processing the image through the computing resources of the cloud device to achieve better and more complex image processing effects, provide users with more intelligent shooting functions and provide more Many convenient and easy-to-use features improve user experience.
  • the image processing method further includes: setting the configuration information of the image capture device based on the specific shooting scene and/or a specific shooting mode; sending the image capture device to the image capture device the configuration information, so that the image capture device performs the shooting of the specific shooting scene and/or the specific shooting mode according to the configuration information.
  • the set information may be different from the inherent configuration information of the image capture device itself.
  • the inherent configuration information of the image capture device itself needs to shoot 9 images continuously for synthesizing HDR images, and the configuration information sent by the cloud device can be continuous. 7 images are taken by the user to synthesize an HDR image.
  • the cloud device can update the configuration information of the image capture device, such as ISO and other information, according to the scene information of the scene to be captured, and control the image capture device to perform all the operations according to the configuration information. Describe the shooting of a specific shooting scene and/or a specific shooting mode.
  • the image processing method further includes: acquiring an operation instruction input by a user, where the operation instruction is used to control the image capture device to shoot ; Send the operation instruction to the image capture device, so as to control the image capture device to perform the shooting in the specific shooting scene and/or in the specific shooting mode based on the operation instruction.
  • the selection instruction of the specific shooting mode input by the user can be acquired, and the image capture device can be controlled to shoot in the corresponding specific shooting mode based on the selection instruction of the user.
  • a communication connection can also be established through, for example, a terminal device and an image capture device, and the terminal device can control the image capture device to perform various operations.
  • the terminal device can be, for example, a portable device (such as a mobile computing or communication device such as a smart phone) and wearable devices, computers such as desktop computers, notebooks, tablets, etc.).
  • the control center of the image acquisition device controls the image acquisition device to photograph according to the corresponding operation instructions and configuration information.
  • the specific shooting scene and the specific shooting mode may be any shooting scene or shooting mode well known to those skilled in the art, for example, the specific shooting scene may include a high light ratio scene; the specific shooting mode includes the following modes At least one of: high dynamic range image capture mode, panorama capture mode, or asteroid capture mode, etc.
  • the image capture device After the image capture device completes the shooting, the image capture device sends the image data captured in the specific shooting scene and/or the specific shooting mode to the cloud device, and the cloud device obtains and processes the image data.
  • the processed data has the same data format as the image data, or the processed data has a different data format from the image data.
  • the image data further includes third image data, the third image data has the same data format as the target image, the processed data has the same data format as the target image, then The target image includes the processed data.
  • the third image data includes data obtained by encoding the second image data in the second format by the encoder of the image acquisition device, and the second image data includes the first image data in the first format through which the first image data is processed.
  • the first image data includes data collected by an image sensor of the image capturing device.
  • the first format includes RAW format
  • the second format includes YUV format
  • the format of the third image data includes JPEG format or MP4 format.
  • the cloud device can process image data in different formats.
  • a short-range or long-distance wireless or wired connection can be used.
  • the terminal (such as a mobile phone, etc.) acquires the image data (RAW, YUV, JPEG/MP4) at different stages in the shooting process and performs corresponding processing on the data, and then transmits the processed data back to the image acquisition device for subsequent processing.
  • 3 shows the flow of video data in different formats.
  • the cloud device may process the image data to obtain processed data, wherein the cloud device may process the image data to have image effects corresponding to the specific shooting scene and/or specific shooting mode
  • multiple images such as 2, 3... or even dozens of images
  • the captured image is enhanced, such as LTM processing or LLP processing, to improve the quality and effect of the image.
  • LTM processing or LLP processing to improve the quality and effect of the image.
  • the cloud device can perform processing such as splicing and frame extraction.
  • the cloud device can determine the processing method of the obtained image data based on the information of the shooting scene or shooting mode sent by the image acquisition device, and the cloud device can also determine the shooting scene or the image data according to the feature information of the obtained image data.
  • Shooting mode which automatically performs corresponding processing on the acquired image data. For example, when the cloud device determines that it is the image data shot in the large light ratio scene according to the characteristic information of the acquired image data, the acquired image data is automatically enhanced. For example, LTM processing or LLP processing is performed.
  • the method for processing the impact data by the cloud device may be any processing method known to those skilled in the art, which is specifically limited herein.
  • step S803 the processed data is sent to the image acquisition device, so that the image acquisition device obtains an image corresponding to the specific shooting scene and/or specific shooting mode based on the processed data
  • the target image of the effect wherein the cloud device can send the processed data to the control center of the image capture device, and the control center then sends the processed data to the device of the image capture device.
  • the cloud device can send the processed data to the control center of the image capture device, and the control center then sends the processed data to the device of the image capture device.
  • the image data captured by the image acquisition device can be processed in real time through the cloud device.
  • step S801 when the data transmission speed between the image capture device and the cloud device is less than or equal to a first threshold, step S801 includes: when the image capture device performs a shooting operation or when the data When the transmission speed is greater than or equal to the second threshold, acquire image data stored in the memory of the image capture device, wherein the image data in the memory includes at least part of the image captured in a specific shooting scene and/or a specific shooting mode image data.
  • the first threshold and the second threshold may be reasonably set according to prior experience, wherein the first threshold and the second threshold may be the same value, or the first threshold may be smaller than the second threshold, for example, the first threshold may be 1MB/ s, the first threshold may be 4MB/s.
  • the data transmission speed also refers to the wireless transmission speed.
  • acquiring the image data stored in the memory of the image capturing device includes: acquiring, by the cloud device, the first part of the image that has been captured while shooting in the specific shooting scene and/or the specific shooting mode data, and process the first part of the image data, when the image acquisition device performs a shooting operation or when the data transmission speed is greater than or equal to a second threshold, the cloud device stores the second part in the memory image data, and process the second part of the image data to finally obtain the processed image data.
  • the cloud device stores the second part in the memory image data, and process the second part of the image data to finally obtain the processed image data.
  • the image acquisition device is disposed on the body of the movable platform, and the processed data includes processing and obtained by the cloud device based on the image data and the state information of the movable platform during shooting,
  • the state information includes at least one of the following information: GPS position information, measurement information of a gyroscope, or attitude information.
  • the cloud device may obtain the above state information from various sensors used to measure the state information of the image acquisition device or the state information of the movable platform where the image acquisition device is located, as shown in FIG. 3 .
  • the cloud device can also process or correct the image data with a specific algorithm based on the status information, to further improve the effect of the target image and enhance the robustness of the cloud image processing.
  • the image processing method further includes: sending the stored shooting template to the image acquisition device, so as to control the image acquisition device to perform shooting according to the shooting template.
  • the shooting template can be any shooting template.
  • the shooting template stored on the drone is fixed. If it is not updated, the user can only shoot according to these fixed shooting templates. , the selectivity is small, and through the method of the present application, the shooting template can be obtained from the cloud device, which can get rid of the functional limitations of the APP of the fuselage or terminal (such as a mobile phone), and can provide users with more shooting options and playable to enhance the user experience.
  • the image acquisition device is disposed on the body of the movable platform, and the processed data includes processing and obtained by the cloud device based on the image data and the state information of the movable platform during shooting,
  • the state information includes at least one of the following information: GPS position information, measurement information of a gyroscope, or attitude information.
  • the cloud device may obtain the above state information from various sensors used to measure the state information of the image acquisition device or the state information of the movable platform where the image acquisition device is located, as shown in FIG. 3 .
  • the cloud device can also process or correct the image data with a specific algorithm based on the status information, to further improve the effect of the target image and enhance the robustness of the cloud image processing.
  • the image processing method 900 is applied to an image processing system, the image processing system includes an image acquisition device and a cloud device, and the image acquisition device and the cloud device are communicatively connected.
  • the terminal device can be connected in communication with an image capture device (such as a camera), so that an application program executed on the terminal device can perform information interaction with the image capture device.
  • the image processing method includes: in step S901, the image acquisition device sends image data captured in a specific shooting scene and/or a specific shooting mode to a cloud device; in step S902 , the cloud device acquires the image data, and processes the image data to obtain processed data; in step S903, the image acquisition device acquires the processed data, and based on the processed data data to obtain a target image with image effects corresponding to the specific shooting scene and/or the specific shooting mode.
  • the image processing method further includes: the cloud device sets configuration information of the image capture device based on the specific shooting scene and/or a specific shooting mode; the cloud device Send the configuration information to the image capture device; the image capture device obtains the configuration information sent by the cloud device; the image capture device controls the image capture device to perform the specific shooting scene according to the configuration information and/or shooting in a specific shooting mode.
  • the set information may be different from the inherent configuration information of the image capture device itself.
  • the inherent configuration information of the image capture device itself needs to shoot 9 images continuously for synthesizing HDR images, and the configuration information sent by the cloud device can be continuous. 7 images are taken by the user to synthesize an HDR image.
  • the cloud device can update the configuration information of the image capture device, such as ISO and other information, according to the scene information of the scene to be captured, and control the image capture device to perform all the operations according to the configuration information. Describe the shooting of a specific shooting scene and/or a specific shooting mode.
  • the image processing method further includes: acquiring, by the cloud device (eg, a portable device (eg, a mobile phone)) an operation instruction input by a user, where the operation instruction is used to control the image capturing apparatus shooting; the cloud device sends the operation instruction to the image acquisition device; the image acquisition device obtains the operation instruction; the image acquisition device controls the image acquisition device to perform the operation instruction based on the operation instruction describe specific shooting scenarios and/or shooting in specific shooting modes.
  • the cloud device eg, a portable device (eg, a mobile phone)
  • the cloud device sends the operation instruction to the image acquisition device
  • the image acquisition device obtains the operation instruction
  • the image acquisition device controls the image acquisition device to perform the operation instruction based on the operation instruction describe specific shooting scenarios and/or shooting in specific shooting modes.
  • the control center of the image acquisition device controls the image acquisition device to photograph according to the corresponding operation instructions and configuration information.
  • the specific shooting scene and the specific shooting mode may be any shooting scene or shooting mode well known to those skilled in the art, for example, the specific shooting scene may include a high light ratio scene; the specific shooting mode includes the following modes At least one of: high dynamic range image capture mode, panorama capture mode, or asteroid capture mode, etc.
  • the image capture device After the image capture device completes the shooting, the image capture device sends the image data captured in the specific shooting scene and/or the specific shooting mode to the cloud device, so that the cloud device can process the image data.
  • the processed data has the same data format as the image data, or the processed data has a different data format than the image data.
  • the image acquisition device processes the processed data to obtain a target image with a predetermined data format.
  • the image data includes first image data having a first format
  • the first image data includes data collected by an image sensor of the image collection device
  • the processed data has a data format of the In the first format
  • the image acquisition device processes the processed data to obtain a target image with a predetermined data format, including: processing the processed data in the first format by an image processor to obtain a target image with a predetermined data format.
  • the image data includes second image data having a second format
  • the second image data includes data after processing the first image data by an image processor of the image capture device
  • the The first image data includes data collected by an image sensor of the image collection device
  • the data format of the processed data is the second format
  • the image collection device processes the processed data to obtain a predetermined image.
  • the target image in a data format includes: processing the processed data in the second format by an encoder to obtain a target image with a predetermined data format.
  • the image data further includes third image data, the third image data has the same data format as the target image, and the processed data has the same data format as the target image, then the The target image includes the processed data.
  • the third image data includes data obtained by encoding second image data having a second format by an encoder of the image capturing device, and the second image data includes first image data having a first format.
  • the image data is processed by the image processor of the image capture device, and the first image data includes data collected by the image sensor of the image capture device.
  • the first format includes RAW format
  • the second format includes YUV format
  • the format of the third image data includes JPEG format or MP4 format.
  • short-distance or long-distance wireless or wired connections can be used to transmit image data (RAW, YUV, JPEG/MP4) at different stages in the shooting process to cloud devices (for example, according to different shooting modes or scenes)
  • the server terminal (such as a mobile phone, etc.) performs corresponding processing on the data
  • the processed data is transmitted back to the image acquisition device for subsequent processing.
  • FIG. 3 shows the flow of image data in different formats.
  • the cloud device may process the image data to obtain processed data, wherein the cloud device may process the image data into image data with image effects corresponding to the specific shooting scene and/or specific shooting mode, for example , synthesizing multiple images (such as 2, 3... or even dozens of images) captured by the image capture device in the HDR shooting mode into an HDR image, and for example, enhancing the image captured in a scene with a large light ratio Processing, such as LTM processing or LLP processing, to improve the quality and effect of the image, and for example, when the user takes photos or videos that require more complex processing, such as panoramas and asteroids, the captured image data is sent to the cloud device.
  • the cloud device can perform processing such as splicing and frame extraction.
  • the cloud device can determine the processing method of the obtained image data based on the information of the shooting scene or shooting mode sent by the image acquisition device, and the cloud device can also determine the shooting scene or the image data according to the feature information of the obtained image data.
  • Shooting mode which automatically performs corresponding processing on the acquired image data. For example, when the cloud device determines that it is the image data shot in the large light ratio scene according to the characteristic information of the acquired image data, the acquired image data is automatically enhanced. For example, LTM processing or LLP processing is performed.
  • the image processing method further includes: the image acquisition device stores the target image in a memory.
  • the image data captured by the image acquisition device can be processed in real time through the cloud device.
  • Sending the image data to the cloud device includes: the image capture device stores at least part of the image data captured in a specific shooting scene and/or a specific shooting mode in a memory; when the image capture device performs a shooting operation or when the image capture device performs a shooting operation or when the When the data transmission speed is greater than or equal to the second threshold, the image data stored in the memory is sent to the cloud device.
  • the image capturing device stores at least part of the image data captured in a specific shooting scene and/or a specific shooting mode in a memory, including: the image capturing device is in the specific shooting scene and/or a specific shooting While shooting in the mode, the first part of the image data that has been captured is sent to the cloud device, and the second part of the image data that has been captured is stored in the memory. Send the image data stored in the memory to the cloud device.
  • the processing of the image data can be completed without the user's perception, and the user experience can be improved.
  • the first threshold and the second threshold may be reasonably set according to prior experience, wherein the first threshold and the second threshold may be the same value, or the first threshold may be smaller than the second threshold, for example, the first threshold may be 1MB/ s, the first threshold may be 4MB/s.
  • the data transmission speed also refers to the wireless transmission speed.
  • the image processing method further includes: the cloud device sends the stored shooting template to the image acquisition device; the image acquisition device acquires the shooting template, and shoots according to the shooting template.
  • the shooting templates stored on the drone are fixed. If it is not updated, the user can only shoot according to these fixed shooting templates, and the selectivity is small.
  • the application method can obtain the shooting template from the cloud device, can get rid of the functional limitations of the APP of the body or terminal (such as a mobile phone), and can provide users with more shooting options and playability, thereby improving user experience.
  • the image acquisition device is disposed on the body of the movable platform, and the processed data includes processing and obtained by the cloud device based on the image data and the state information of the movable platform during shooting,
  • the state information at least includes at least one of the following information: GPS position information, measurement information of a gyroscope, or attitude information.
  • the cloud device may obtain the above state information from various sensors used to measure the state information of the image acquisition device or the state information of the movable platform where the image acquisition device is located, as shown in FIG. 3 .
  • the cloud device can also process or correct the image data with a specific algorithm based on the status information, to further improve the effect of the target image and enhance the robustness of the cloud image processing.
  • the communication link between the image acquisition device and the cloud device can be effectively used, and the computing resources of the cloud device such as mobile phones, cloud servers, etc. can be used to achieve Better and more complex image processing effects, so that low-end equipment can also enjoy high-end equipment to support advanced shooting functions.
  • the photography function allows power-sensitive devices to use different image processing strategies for different scenarios to achieve a balance between power consumption and image quality, and improve user experience;
  • the data that has been stored in the memory of the image acquisition device can be downloaded in the background, so as to achieve the purpose of post-processing the image without the user's perception, and improve the user experience;
  • the image acquisition device can get rid of the functional limitations of its own or the APP of the terminal device, and provide users with more playability and shooting selectivity.
  • the image capturing apparatus of the present application will be described with reference to FIG. 10 , wherein the image capturing apparatus 1010 can be used to execute the relevant steps in the aforementioned image processing method 200 .
  • the image capture device 1010 includes one or more processors 1001 , an image sensor 1002 , a memory 1003 , a communication interface 1004 and the like. These components are interconnected by a bus system and/or other form of connection mechanism (not shown).
  • the memory 1003 is used for storing executable instructions, for example, for storing corresponding steps and program instructions for implementing the image processing method 200 according to the embodiment of the present application.
  • the memory 1003 can store the operating system (including programs for processing various basic system services and for performing hardware-related tasks), application programs required for at least one function (such as the control function of the image capture device, the sound playback function, the image playback function) function, etc.) etc.
  • One or more computer program products may be included, which may include various forms of computer-readable storage media, such as volatile memory and/or non-volatile memory.
  • the volatile memory may include, for example, random access memory (RAM) and/or cache memory, or the like.
  • the non-volatile memory may include, for example, a read only memory (ROM), a hard disk, a flash memory (eg, an SD card), and the like.
  • the communication interface 1004 can be used for communication between the image capturing apparatus 1010 and a terminal device or other devices, including wired or wireless communication.
  • the communication interface 1004 may be for accessing a wireless network based on a communication standard, such as WiFi (eg WiFi6), software-defined radio (SDR for short), 2G, 3G, 4G, 5G or a combination thereof.
  • 1004 receives broadcast signals or broadcast related information from an external broadcast management system via a broadcast channel.
  • 1004 also includes a near field communication (NFC) module to facilitate short-range communication.
  • the NFC module may be implemented based on radio frequency identification (RFID) technology, infrared data association (IrDA) technology, ultra-wideband (UWB) technology, Bluetooth (BT) technology and other technologies.
  • RFID radio frequency identification
  • IrDA infrared data association
  • UWB ultra-wideband
  • Bluetooth Bluetooth
  • Image sensor 1002 (also referred to herein as a camera sensor) is a device for capturing image data, which may be, for example, a CMOS image sensor, a CCD image sensor, or the like.
  • the image sensor 1002 is at least used to capture image data in a specific shooting scene and/or a specific shooting mode.
  • the image capture device further includes a display (not shown), a device for displaying images or video generated by the processor assembly.
  • the display may include, for example, a liquid crystal display (LCD) device or an organic light emitting diode (OLED) device.
  • the display may display various images, such as menus, selected operating parameters, a capture mode selection interface, images captured by an image sensor, received by the processor, etc. and/or received from a user interface of the device other information, etc.
  • the image capture device further includes an input device, which may be a device used by the user to input various operations, such as a keyboard, a mouse, a function key (such as a volume control key, a switch key, etc.), a joystick, a microphone, and a touch screen, etc. one or more of.
  • an input device which may be a device used by the user to input various operations, such as a keyboard, a mouse, a function key (such as a volume control key, a switch key, etc.), a joystick, a microphone, and a touch screen, etc. one or more of.
  • the processor 1001 may be a central processing unit (CPU), a graphics processing unit (GPU), an application specific integrated circuit (ASIC), a field programmable gate array (FPGA), or other form of processing with data processing capabilities and/or instruction execution capabilities unit, and can control other components in the image capture device to perform desired functions.
  • the processor 1001 can execute the instructions stored in the memory 1003 to perform corresponding steps of the image processing method described herein.
  • processor 1001 can include one or more embedded processors, processor cores, microprocessors, logic circuits, hardware finite state machines (FSMs), digital signal processors (DSPs), ISPs, encoders, or combinations thereof combination.
  • FSMs hardware finite state machines
  • DSPs digital signal processors
  • ISPs encoders, or combinations thereof combination.
  • the processor 1001 is configured to execute program instructions stored in the memory, causing one or more processors to perform the following actions, the actions including: shooting images captured in a specific shooting scene and/or a specific shooting mode
  • the image data is sent to the cloud device, so that the cloud device processes the image data; the processed data processed by the cloud device is obtained; / or the target image of the image effect corresponding to a specific shooting mode.
  • the processed data has the same data format as the image data, or the processed data has a different data format from the image data.
  • the target image of the effect includes: processing the processed data to obtain a target image with a predetermined data format.
  • the first image data has a first format
  • the first image data includes data collected by an image sensor of the image collection device
  • the data format of the processed data is the first format
  • the The processing of the processed data to obtain a target image having a predetermined data format includes: processing the processed data of the first format by an image processor, such as an ISP, to obtain a processed data of the second format. data; processing the processed data in the second format by an encoder to obtain a target image having a predetermined data format.
  • the image data includes second image data having a second format
  • the second image data includes data obtained by processing the first image data by an image processor of the image capture device
  • the first image data is processed by an image processor of the image acquisition device.
  • an image data includes data collected by an image sensor of the image collection device, the data format of the processed data is the second format, and the processed data is processed to obtain a target image with a predetermined data format
  • the method includes: processing the processed data in the second format by an encoder to obtain a target image having a predetermined data format.
  • the image data further includes third image data, the third image data has the same data format as the target image, the processed data has the same data format as the target image, then The target image includes the processed data.
  • the third image data includes data obtained by encoding second image data having a second format by an encoder of the image capturing device, and the second image data includes first image data having a first format.
  • the image data is processed by the image processor of the image capture device, and the first image data includes data collected by the image sensor of the image capture device.
  • the first format includes RAW format; the second format includes YUV format, and the third format includes JPEG format or MP4 format.
  • the processor is further configured to: store the target image in a memory.
  • the image data captured in a specific shooting scene and/or a specific shooting mode is sent to the cloud device , including: storing at least part of the image data captured in a specific shooting scene and/or a specific shooting mode into a memory; when the image capturing device performs a shooting operation or when the data transmission speed is greater than or equal to a second threshold, Send the image data stored in the memory to the cloud device.
  • storing at least part of the image data captured in a specific shooting scene and/or a specific shooting mode into the memory includes:
  • the first part of the image data that has been captured is sent to the cloud device, and the second part of the image data that has been captured is stored in the memory.
  • the processor 1001 is further configured to: acquire configuration information sent by the cloud device, where the configuration information includes information set by the cloud device based on the specific shooting scene and/or a specific shooting mode ; according to the configuration information, control the image capture device to perform the shooting of the specific shooting scene and/or the specific shooting mode.
  • the processor 1001 is further configured to: acquire an operation instruction input by a user, where the operation instruction is used to control the image capture device to perform shooting; and based on the operation instruction, control the image capture device to perform the image capture device. describe specific shooting scenarios and/or shooting in specific shooting modes.
  • the processor 1001 is further configured to: acquire a shooting template stored in the cloud device; and control the image capture device to shoot according to the shooting template.
  • the image acquisition device is disposed on the body of the movable platform, and the processed data includes processing and obtained by the cloud device based on the image data and the state information of the movable platform during shooting,
  • the state information at least includes at least one of the following information: GPS position information, measurement information of a gyroscope, or attitude information.
  • the cloud device of the present application will be described with reference to FIG. 11 , wherein the cloud device 110 can be used to execute the relevant steps in the aforementioned image processing method 800 .
  • the cloud device 110 includes one or more processors 1101 , a memory 1102 , a communication interface 1103 , and the like. These components are interconnected by a bus system and/or other form of connection mechanism (not shown).
  • the cloud device 110 may include a terminal device or a cloud server, where the terminal device may be, for example, a portable device (eg, mobile computing or communication devices such as smartphones and wearable devices, computers such as desktop computers, notebooks, tablet computers, etc.).
  • the cloud server may include backend computing devices or clusters on the cloud.
  • the memory 1102 is used for storing executable instructions, for example, for storing corresponding steps and program instructions for implementing the image processing method 800 according to the embodiment of the present application.
  • the memory 1102 can store the operating system (including programs for processing various basic system services and for performing hardware-related tasks), application programs required for at least one function (such as the control function of the image capture device, the sound playback function, the image playback function) function, etc.) etc.
  • One or more computer program products may be included, which may include various forms of computer-readable storage media, such as volatile memory and/or non-volatile memory.
  • the volatile memory may include, for example, random access memory (RAM) and/or cache memory, or the like.
  • the non-volatile memory may include, for example, read only memory (ROM), hard disk, flash memory, and the like.
  • the communication interface 1103 may be used for communication between the terminal device and the image capturing apparatus 1010 or other devices, including wired or wireless communication.
  • the communication interface 1103 may be for accessing a wireless network based on a communication standard, such as WiFi (eg WiFi6), software-defined radio (SDR for short), 2G, 3G, 4G, 5G or a combination thereof.
  • the communication interface 1103 receives broadcast signals or broadcast related information from an external broadcast management system via a broadcast channel.
  • the communication interface 1103 also includes a near field communication (NFC) module to facilitate short-range communication.
  • the NFC module may be implemented based on radio frequency identification (RFID) technology, infrared data association (IrDA) technology, ultra-wideband (UWB) technology, Bluetooth (BT) technology and other technologies.
  • RFID radio frequency identification
  • IrDA infrared data association
  • UWB ultra-wideband
  • Bluetooth Bluetooth
  • the cloud device 110 also includes a display (not shown), a device for displaying images or videos generated by the processor component.
  • the display may include, for example, a liquid crystal display (LCD) device or an organic light emitting diode (OLED) device.
  • the display may display various images, such as menus, selected operating parameters, a capture mode selection interface, images captured by an image sensor, received by the processor, etc. and/or received from a user interface of the device other information, etc.
  • the cloud device 110 further includes an input device, which may be a device used by the user to input various operations, such as a keyboard, a mouse, a function key (such as a volume control key, a switch key, etc.), a joystick, a microphone, a touch screen, etc. one or more of.
  • an input device which may be a device used by the user to input various operations, such as a keyboard, a mouse, a function key (such as a volume control key, a switch key, etc.), a joystick, a microphone, a touch screen, etc. one or more of.
  • the processor 1101 may be a central processing unit (CPU), a graphics processing unit (GPU), an application specific integrated circuit (ASIC), a field programmable gate array (FPGA), or other form of processing with data processing capabilities and/or instruction execution capabilities unit, and can control other components in the cloud device 110 to perform desired functions.
  • the processor 1101 is capable of executing the instructions stored in the memory 1102 to perform corresponding steps of the image processing method 800 described herein.
  • processor 1101 can include one or more embedded processors, processor cores, microprocessors, logic circuits, hardware finite state machines (FSMs), digital signal processors (DSPs), ISPs, encoders, or combinations thereof combination.
  • FSMs hardware finite state machines
  • DSPs digital signal processors
  • ISPs encoders, or combinations thereof combination.
  • the processor 1101 is configured to execute program instructions stored in the memory, so that one or more processors execute the relevant steps of the image processing method 800 in the foregoing embodiment.
  • the relevant steps of the image processing method 800 please refer to The foregoing description will not be repeated here.
  • the image processing system 120 of the present application will be described with reference to FIG. 12 , wherein the image processing system 120 may be used to execute the relevant steps in the aforementioned image processing method 900 .
  • the image processing system 120 includes the aforementioned image acquisition device 1010 and the cloud device 110 .
  • the image capture device is connected in communication with the cloud device, wherein the image capture device 1010 is configured to send image data captured in a specific shooting scene and/or a specific shooting mode to the cloud device 110; the cloud device 110 for acquiring the image data, and processing the image data to obtain processed data; the image acquisition device 1010 is configured to acquire the processed data, and based on the processed data, obtain Describe the target image of the image effect corresponding to the specific shooting scene and/or the specific shooting mode.
  • the image capture apparatus 1010 may be communicatively connected to a terminal device such as a portable device and also to a cloud device such as a cloud server, and the terminal device may be a user terminal device, and a user can control the image capture device through the user terminal device and operations, such as controlling it to shoot, acquiring captured image data, updating its configuration, etc.
  • the cloud server can communicate with the terminal device, and the two can synchronize heterogeneous data.
  • the user terminal device may also be installed with an application program, and information interaction with the image acquisition device, cloud server, etc., can be performed through the application program.
  • the present application also provides a movable platform, and the image capturing device can be arranged on the movable platform body.
  • the mobile platform includes an aircraft (eg, an unmanned aerial vehicle), an aircraft, a robot, a vehicle, a gimbal, or a boat.
  • the platform body is the fuselage of the unmanned aerial vehicle, wherein the image acquisition device can be disposed on the movable platform body in the form of an embedded image system.
  • the platform body is the body of the vehicle.
  • the vehicle may be a self-driving car or a semi-autonomous driving car, which is not limited here.
  • the image acquisition device is applied to the robot, the platform body is the robot.
  • the platform body is the hull.
  • the image acquisition device can be installed on the movable platform body as a load, such as the fuselage of the aircraft, and the movable platform body can also be equipped with one or more sensors such as GPS sensors, motion sensors, inertial sensors (eg IMU) , proximity sensor or gyroscope, etc. These sensors can measure and know the state information of the image capture device when shooting, and send the state information to the cloud device, and the cloud device can process the image data captured by the image capture device based on the state information.
  • sensors such as GPS sensors, motion sensors, inertial sensors (eg IMU) , proximity sensor or gyroscope, etc.
  • an embodiment of the present invention further provides a computer storage medium, on which a computer program is stored.
  • One or more computer program instructions may be stored on the computer-readable storage medium, and the processor may execute the program instructions stored in the storage device to implement (implemented by the processor) the embodiments of the present invention described herein. function and/or other desired functions, for example, to execute corresponding steps of the image processing method according to the embodiment of the present invention, various application programs and various data may also be stored in the computer-readable storage medium, such as the application Various data used and/or generated by the program, etc.
  • the computer storage medium may include, for example, a memory card for a smartphone, a storage unit for a tablet computer, a hard disk for a personal computer, read only memory (ROM), erasable programmable read only memory (EPROM), portable compact disk Read only memory (CD-ROM), USB memory, or any combination of the above storage media.
  • the computer-readable storage medium can be any combination of one or more computer-readable storage media.
  • high-speed short-distance and long-distance communication networks such as 5G, SDR (Software-defined radio), WIFI6, etc.
  • 5G Fifth Generation
  • SDR Software-defined radio
  • WIFI6 Wireless Fidelity
  • the transmission link is unstable, the data that has been stored in the memory of the image capture device can be downloaded in the background, so as to achieve the purpose of post-processing the image without the user's perception, and improve the user experience; in addition, the image capture device By obtaining the intelligent shooting template provided by the cloud, you can get rid of the functional limitations of your own or the APP of the terminal device, providing users with more playability and shooting selectivity. Moreover, in the case of device replacement, as long as the information is transmitted to the cloud device through a simple firmware upgrade, old users can also enjoy new features and functions.
  • the disclosed apparatus and method may be implemented in other manners.
  • the device embodiments described above are only illustrative.
  • the division of the units is only a logical function division. In actual implementation, there may be other division methods.
  • multiple units or components may be combined or May be integrated into another device, or some features may be omitted, or not implemented.
  • Various component embodiments of the present invention may be implemented in hardware, or in software modules running on one or more processors, or in a combination thereof.
  • a microprocessor or a digital signal processor (DSP) may be used in practice to implement some or all of the functions of some modules according to the embodiments of the present invention.
  • DSP digital signal processor
  • the present invention may also be implemented as apparatus programs (e.g., computer programs and computer program products) for performing part or all of the methods described herein.
  • Such a program implementing the present invention may be stored on a computer-readable medium, or may be in the form of one or more signals. Such signals may be downloaded from Internet sites, or provided on carrier signals, or in any other form.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种影像处理方法及***、影像采集装置、云端设备、可移动平台和存储介质,该影像处理方法(200)应用于影像采集装置,影像采集装置和云端设备通信连接,包括:将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备,以使云端设备对影像数据进行处理(S201);获取经云端设备处理后的已处理数据(S202);基于已处理数据,获得具有与特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像(S203)。该方法通过云端设备的计算资源对影像进行后处理实现更好更复杂的影像处理效果,给用户提供更多的智能拍摄功能以及提供更多的便利易用特性,提升用户体验。

Description

影像处理方法及***、影像采集装置、云端设备、可移动平台和存储介质
说明书
技术领域
本发明总地涉及数据处理技术领域,更具体地涉及一种影像处理方法及***、影像采集装置、云端设备、可移动平台和存储介质。
背景技术
随着技术的发展,摄影不再是单纯的拍照和录像,越来越多的智能摄影方式被提出和实现,例如高动态范围图像(High-Dynamic Range,简称HDR)、全景、延时摄影(Time Lapse)等等,这类计算摄影已成为摄影发展的趋势。但是随着计算的复杂度越来越高,这些高级摄影功能也越来越依赖强大的硬件支持。这就导致在低规格产品上无法支撑这些功能,或者在高端设备上在其他高规格功能下无法再并发支持在线处理,部分设备也会因为功耗问题不得不让这些智能摄影方式与用户失之交臂。
因此,鉴于上述问题的存在,本发明提出一种影像处理方法及***、影像采集装置、云端设备、可移动平台和存储介质。
发明内容
为了解决上述问题中的至少一个而提出了本发明。具体地,本发明第一方面提供一种影像处理方法,应用于影像采集装置,所述影像采集装置和云端设备通信连接,所述影像处理方法包括:
将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备,以使所述云端设备对所述影像数据进行处理;
获取经所述云端设备处理后的已处理数据;
基于所述已处理数据,获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像。
本发明第二方面提供一种影像处理方法,应用于云端设备,所述云端设备和影像采集装置通信连接,所述影像处理方法包括:
获取所述影像采集装置在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据;
对所述影像数据进行处理,以获得已处理数据;
将所述已处理数据发送给所述影像采集装置,以使所述影像采集装置基于所述已处理数据获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像。
本发明第三方面提供一种影像处理方法,应用于影像处理***,所述影像处理***包 括影像采集装置和云端设备,所述影像采集装置和所述云端设备通信连接,所述影像处理方法包括:
所述影像采集装置将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备;
所述云端设备获取所述影像数据,并对所述影像数据进行处理,以获得已处理数据;
所述影像采集装置获取所述已处理数据,并基于所述已处理数据,获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像。
本发明第四方面提供一种影像采集装置,所述影像采集装置包括:
图像传感器,至少用于在特定拍摄场景和/或特定拍摄模式下拍摄影像数据;
存储器,用于存储可执行的程序指令;
通信接口,用于使所述影像采集装置和外部设备进行通信;
一个或多个处理器,用于执行所述存储器中存储的所述程序指令,使得所述处理器执行以下步骤:
将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备,以使所述云端设备对所述影像数据进行处理;
获取经所述云端设备处理后的已处理数据;
基于所述已处理数据,获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像。
本发明第五方面提供一种云端设备,所述云端设备包括:
存储器,用于存储可执行的程序指令;
通信接口,用于使所述云端设备和外部设备进行通信;
一个或多个处理器,用于执行所述存储器中存储的所述程序指令,使得所述处理器执行如第二方面所述的影像处理方法。
本发明第六方面一种影像处理***,包括:影像采集装置和云端设备,所述影像采集装置和所述云端设备通信连接,其中,
所述影像采集装置用于将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备;
所述云端设备用于获取所述影像数据,并对所述影像数据进行处理,以获得已处理数据;
所述影像采集装置用于获取所述已处理数据,并基于所述已处理数据,获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像。
本发明第六方面提供一种可移动平台,包括:
可移动平台本体;
前述的影像采集装置,所述影像采集装置设置于所述可移动平台本体。
本发明第七方面提供一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现前述的影像处理方法。
根据本申请的方法,通过将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备,以使所述云端设备对所述影像数据进行处理,从而获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像,进而让不具备对复杂的影像数据进行处理能力的低端设备或对功耗有要求的设备,能够利用影像采集装置和云端设备之间的通信链路,将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备,通过云端设备的计算资源对影像进行后处理实现更好更复杂的影像处理效果,给用户提供更多的智能拍摄功能以及提供更多的便利易用特性,提升用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出了一种常规的影像处理方法的示意性流程图;
图2示出了本发明一个实施例中的影像处理方法的示意性流程图;
图3示出了本发明一个实施例中的高无线带宽时不同格式的影像数据流向的示意图;
图4示出了本发明一个实施例中的低无线带宽时影像处理方法的示意性流程图;
图5示出了本发明一个实施例中的HDR模式时影像处理方法的示意性流程图;
图6示出了本发明一个实施例中的LTM的影像处理方法的示意性流程图;
图7示出了本发明一个实施例中的全景的影像处理方法的示意性流程图;
图8示出了本发明另一个实施例中的影像处理方法的示意性流程图;
图9示出了本发明再一个实施例中的影像处理方法的示意性流程图;
图10示出了本发明一个实施例中的影像采集装置的示意性框图;
图11示出了本发明一个实施例中的云端设备的示意性框图;
图12示出了本发明一个实施例中的影像处理***的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
在下文的描述中,给出了大量具体的细节以便提供对本发明更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本发明可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本发明发生混淆,对于本领域公知的一些技术特征未进行描述。
应当理解的是,本发明能够以不同形式实施,而不应当解释为局限于这里提出的实施例。相反地,提供这些实施例将使公开彻底和完全,并且将本发明的范围完全地传递给本领域技术人员。
在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制。在此使用时,单数形式的“一”、“一个”和“所述/该”也意图包括复数形式,除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”,当在该说明书中使用时,确定所述特征、整数、步骤、操作、元件和/或部件的存在,但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时,术语“和/或”包括相关所列项目的任何及所有组合。
为了彻底理解本发明,将在下列的描述中提出详细的结构,以便阐释本发明提出的技术方案。本发明的可选实施例详细描述如下,然而除了这些详细描述外,本发明还可以具有其他实施方式。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
图1为一种常规的影像处理方法的示意性流程图,该影像处理方法可以应用于具有嵌入式影像***的飞行器(例如无人机)或者手持云台等,通常飞行器或手持云台可以和终端设备通信连接,所述终端设备可以是手持的或者穿戴式的。例如,终端设备可以包括智能手机、平板电脑、桌上型电脑、计算机、眼镜、手套、头盔、麦克风或者其中任意的结合。终端设备可以包括用户界面,如键盘、鼠标、操纵杆、触摸屏或者显示器。任何适合的用户输入可以与终端交互,如手动输入指令、声音控制、手势控制或者位置控制(如通过终端的运动、位置或者倾斜)。
如图1所示,首先,终端设备例如便携式设备(例如智能手机)获取用户输入的操作指令,该操作指令包括发起一次拍照/录像的操作,控制中心获取该操作指令,并根据相 应的操作指令和配置控制相机进行拍摄,如图1中11、12所示。
终端设备上可以安装有应用程序(Application,简称APP),该应用程序用于接收用户输入的操作指令,终端设备根据用户输入的操作指令,向飞行器或云台、承载体及负载中的一个或者多个提供控制数据,终端设备的控制数据可以导致负载控制,如控制相机或者其它影像采集装置的操作(捕获静止或者运动的影像、变焦、开启或关闭、切换成像模式、改变影像分辨率、改变焦距、改变景深、改变曝光时间、改变可视角度或者视场)。
相机传感器抓取RAW数据传送给图像处理器(例如图像信号处理器(Image Signal Processor,简称ISP)),ISP进行图像处理并将RAW数据转换为YUV数据,然后将YUV数据发送给编码器,编码器根据拍摄需求将YUV数据编码成JPEG照片数据或者MP4视频数据,最后存放至存储介质(也即存储器)上(例如SD卡)。如图1中13、14、15、16所示,当需要时,从存储介质中调取相应的媒体例如图像文件或视频文件进行媒体播放。
随着技术的发展,摄影不再是单纯的拍照和录像,越来越多的智能摄影方式被提出和实现,例如高动态范围图像(High-Dynamic Range,简称HDR)、全景、延时摄影(Time Lapse)、局部色调映射(Local tone mapping,简称LTM)等等,这类计算摄影已成为摄影发展的趋势。但是随着计算的复杂度越来越高,这些高级摄影功能也越来越依赖强大的硬件支持,这使得目前的具有例如相机等影响采集装置的设备存在以下缺点:1、在低端设备中,受限于ISP及数字信号处理(Digital Signal Processing,简称DSP)硬件,无法做到例如全景、HDR等高级功能的拍摄,导致功能缺失;2、在中高端设备中,在核心功能或者最大规格功能加持的情况下,剩余的资源不足以支撑这些智能功能的加持;3、虽然硬件性能足够处理复杂的拍摄需求,但是受限于功耗增长,造成发热续航缩短等问题,不得不折中取消一些场景下的智能摄影功能。4、产品一旦发布,其功能往往受限于其硬件配置,隔一段时间更新产品后,因为计算资源等问题,新功能与老产品用户几乎都失之交臂。
因此,鉴于上述问题的存在,本申请提供一种影像处理方法,应用于影像采集装置,所述影像采集装置和云端设备通信连接,所述影像处理方法包括:将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备,以使所述云端设备对所述影像数据进行处理;获取经所述云端设备处理后的已处理数据;基于所述已处理数据,获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像。根据本申请的方法,可以让不具备对复杂的影像数据进行处理能力的低端设备或对功耗有要求的设备,能够利用影像采集装置和云端设备之间的通信链路,将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备,通过云端设备的计算资源对影像进行后处理实现更好更复杂的影像处理效果,给用户提供更多的智能拍摄功能以及提供更多的便利易用特性,提升用户体验。
下面,参考图2基于影像采集装置的角度对该影像处理方法200进行描述。影像处理方法200应用于影像采集装置,所述影像采集装置和云端设备通信连接。
首先,如图2所示,在步骤S201中,将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备,以使所述云端设备对所述影像数据进行处理。接着,在步骤S202中,获取经所述云端设备处理后的已处理数据;在步骤S203中,基于所述已处理数据,获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像。
在一个示例中,在步骤S201之前,所述影像处理方法还包括:获取用户输入的操作指令,所述操作指令用于控制所述影像采集装置进行拍摄,例如在特定拍摄场景和/或特定拍摄模式下进行拍摄;基于所述操作指令,控制所述影像采集装置进行所述特定拍摄场景和/或特定拍摄模式下的拍摄。示例性地,影像采集装置可以具有显示器,显示器可以用于显示图像或视频等影像数据,并还可以提供用户界面,通过该用户界面接收用户输入的各种操作指令,例如控制影像采集装置进行拍摄的控制指令,或者,可以获取用户输入的特定拍摄模式的选择指令,并控制影像采集装置基于用户的选择指令在对应的特定拍摄模式下进行拍摄。在其他示例中,还可以通过例如终端设备和影像采集装置建立通信连接,并由终端设备控制影像采集装置进行各种操作,该终端设备可以例如为便携式设备(例如移动计算或通信设备例如智能手机和可穿戴设备,计算机例如台式计算机、笔记本、平板电脑等)。
在另一个示例中,在步骤S201之前,所述影像处理方法还包括:获取所述云端设备发送的配置信息,所述配置信息包括所述云端设备基于所述特定拍摄场景和/或特定拍摄模式而设定的信息,例如该设定的信息可以和影像采集装置自身固有的配置信息不同,例如影像采集装置自身的固有配置信息为需要连续拍摄9张图像用于合成HDR图像,而云端设备发送的配置信息可以是连续拍摄7张图像用户合成HDR图像,再例如,云端设备可以根据待拍摄场景的场景信息,更新影像采集装置的配置信息,例如ISO等信息,根据所述配置信息,控制所述影像采集装置进行所述特定拍摄场景和/或特定拍摄模式的拍摄。
当用户通过终端或者通过影像采集装置的用户界面发起一次拍照/录像的操作,影像采集装置的控制中心(例如处理器的控制单元)根据相应的操作指令和配置信息控制影像采集装置进行拍摄。
在本文中,特定拍摄场景、特定拍摄模式可以为本领域技术人员人员熟知的任意的拍摄场景或拍摄模式,例如,所述特定拍摄场景可以包括大光比场景;所述特定拍摄模式包括以下模式中的至少一种:高动态范围图像拍摄模式、全景拍摄模式或小行星拍摄模式等。
在影像采集装置拍摄完成后,影像采集装置将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备,以使所述云端设备对所述影像数据进行处理。
影像采集装置可以是具有图像传感器的装置,例如相机、摄像机、或者还可以是其他装置。图像传感器(本文也称相机传感器)是用于捕获图像数据的器件,其例如可以为CMOS图像传感器、CCD图像传感器等。在一个示例中,影像采集装置还可以是以嵌入式影像***的方式设置于可移动平台(例如飞行器、手持云台)的本体上。可选地,影像采集装置可以作为负载设置于可移动平台的本体上,用户可以通过终端控制该影像采集装置。
在一个示例中,所述影像数据包括具有第一格式的第一影像数据、具有第二格式的第二影像数据、具有和目标影像相同的数据格式的第三影像数据,其中,第一影像数据包括图像传感器采集的数据(例如采集的原始数据),第一格式例如包括RAW格式,所述第二影像数据包括将第一影像数据经所述影像采集装置的图像处理器(例如ISP)处理后的数据,第二格式例如包括YUV格式,所述第三影像数据包括所述影像采集装置的编码器对具有第二格式的第二影像数据进行编码而获得数据,第三影像数据的格式例如可以包括JPEG格式或MP4格式。影像数据可以包括图像数据、音频数据或视频数据中的一种或几种,需要说明的是,本申请的方法不限于对图像的处理,还可以用于音频、视频的协同处理。
本申请中可以利用近距或者远距的无线或有线的连接,根据不同的拍摄模式或场景,将拍摄流程中的不同阶段的影像数据(RAW、YUV、JPEG/MP4)传送至云端设备(例如服务器、终端例如手机等)对数据进行相应的处理后,再将处理后的数据传输回影像采集装置进行后续的处理,图3中示出了不同格式的影像数据流向。
云端设备可以对所述影像数据进行处理,以获得已处理数据,其中,云端设备可以将影像数据处理成具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的影像数据,例如,将影像采集装置在HDR拍摄模式下拍摄的多张图像(例如2张,3张……甚至几十张图像)合成为HDR图像,又例如,将在大光比场景下拍摄的图像进行增强处理,例如进行LTM处理或者局部拉普拉斯处理(Local Laplacian Processing,简称LLP)等,以提升图像的质量和效果,再例如,当用户拍摄全景、小行星等需要进行较为复杂处理的照片或视频时,将拍摄的影像数据传送给云端设备,云端设备可以对其进行拼接、抽帧等处理。
云端设备可以基于影像采集装置发送的拍摄场景或拍摄模式的信息,确定对获得的影像数据进行处理的处理方式,云端设备还可以根据获得的影像数据的特征信息,确定该影像数据的拍摄场景或者拍摄模式,自动对获得的影像数据进行对应的处理,例如当云端设备根据获得影像数据的特征信息,确定为在大光比场景下拍摄的影像数据,则自动对获取的影像数据进行增强处理,例如进行LTM处理或者LLP处理等。
经云端设备处理后的已处理数据具有和所述影像数据相同的数据格式,或者,所述已处理数据具有和所述影像数据不同的数据格式,例如,当所述已处理数据的数据格式和所述目标影像的预定数据格式不同时,在步骤S203中,基于所述已处理数据,获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像,包括:影像采集装置对所述已处理数据进行处理,以获得具有预定数据格式的目标影像。
在一个示例中,如图3所示,所述影像数据包括具有第一格式的第一影像数据,所述第一影像数据包括所述影像采集装置的图像传感器采集的数据例如RAW数据33,影像采集装置将RAW数据发送给云端设备,云端设备对该RAW数据进行处理后获得已处理数据,该已处理数据的数据格式可以为所述第一格式例如RAW,随后,影像采集装置对所述已处理数据进行处理,以获得具有预定数据格式的目标影像,包括:通过图像处理器(例如ISP)对所述第一格式的所述已处理数据进行处理,以获得具有第二格式的已处理数据,例如YUV格式的数据;之后,通过编码器对所述第二格式的已处理数据进行处理,以获得具有预定数据格式的目标影像(例如流数据或图像数据),例如JPEG或MP4格式的目标影像。
在另一个示例中,如图3所示,所述影像数据包括具有第二格式的第二影像数据,所述第二影像数据包括将第一影像数据经所述影像采集装置的图像处理器(例如ISP)处理后的数据,将该第二影像数据发送给云端设备进行处理获得已处理数据,所述已处理数据的数据格式为所述第二格式,云端设备将已处理数据发送给影像采集装置,影像采集装置获取该已处理数据,并对所述已处理数据进行处理,以获得具有预定数据格式的目标影像,包括:通过编码器对所述第二格式的已处理数据进行处理,以获得具有预定数据格式的目标影像(例如流数据或图像数据),例如JPEG或MP4格式的目标影像。
在一个具体示例中,当影像采集装置在HDR模式下进行照片拍摄时,影像数据的处理过程如图5所示,影像采集装置的图像传感器拍摄多张RAW数据,并将多张RAW数据发送给云端设备,云端设备对该多张RAW数据进行处理例如融合处理,获得处理后的RAW数据56,例如融合后合成一张高动态范围的RAW图后,再将处理后的RAW数据56传送回ISP,之后,处理后的RAW数据56经ISP处理后获得YUV数据57,然后将YUV数据发送给编码器,编码器将YUV数据编码成流数据或图像数据58例如JPEG照片数据或者MP4视频数据,最终生成一张HDR的照片,最后将流数据或图像数据存放至存储介质(也即存储器)上(例如SD卡)。当需要时,从存储介质中调取相应的媒体59例如图像文件或视频文件进行媒体播放,从而使得影像采集装置能够获得具有HDR效果的照片,提升用户体验。
在另一个具体示例中,当影像采集装置例如相机在大光比场景下拍摄单张照片时,例如,可以通过影像采集装置的状态信息确定当前的拍摄场景为大光比场景,这种场景下, 如图6所示,可以将ISP处理完的YUV数据64传送给云端设备做增强处理后(例如LTM、LLP等),再将处理后的YUV数据67传送回影像采集装置的编码器,编码器将处理后的YUV数据编码成流数据或图像数据68例如JPEG照片数据或者MP4视频数据,最终生成一张效果更好的照片。最后将流数据或图像数据存放至存储介质(也即存储器)上(例如SD卡)。当需要时,从存储介质中调取相应的媒体69例如图像文件或视频文件进行媒体播放,从而使得影像采集装置能够获得具有HDR效果的照片,提升用户体验。
在又一个具体示例中,当影像采集装置例如相机拍摄全景、小行星等需要进行较为复杂处理的照片或视频时,流程如图7所示,可以将编码器编码的JPEG或MP4格式的影像数据(例如可以是多张JPEG图像75)传送给云端设备,云端设备对多张JPEG图像75做进一步的拼接、抽帧等处理,以获得效果更好的处理后的JPEG图像78,最后将JPEG图像78存放至存储介质(也即存储器)上(例如SD卡)。当需要时,从存储介质中调取相应的媒体69例如图像文件或视频文件进行媒体播放,从而实现机身本身不支持的高级拍摄模式。
影像采集装置包括处理器,该处理器包括控制单元,该控制单元(也可以称为控制中心),通过该控制中心控制数据的流向,例如控制中心获取终端例如便携式设备或获取云端设备例如计算服务器发送的各种控制指令或者数据信息,并控制经获取到的控制指令或者数据信息发送给影像采集装置中对应的器件,例如,将相机控制相关的控制指令和配置信息发送给图像传感器,以控制图像传感器根据控制指令和配置信息进行拍照或者录像等,再例如,控制中心控制影像采集装置的特定器件将其输出的对应的影像数据发送给云端设备,并将云端设备传输回的处理后的影像数据发送给另一特定器件,例如将图像传感器拍摄的RAW数据发送给云端设备,并将云端设备处理后的RAW数据发送给ISP,再例如,将ISP输出的YUV数据发送给云端设备,并将云端设备处理后的YUV数据发送给编码器,又例如,将编码器输出的JPEG或MP4格式的数据发送给云端设备,并将云端设备处理后的JPEG或MP4格式的数据发送给存储进行存储。
在一个示例中,在步骤S203之后,该影像处理方法还包括:将所述目标影像存储至存储器。通过将目标影像存储至存储器可以方便用户查看目标影像。
进一步,当云端设备和影像采集装置之间的数据传输速度大于或等于第二阈值时,可以通过云端设备实时的对影像采集装置拍摄的影像数据进行处理。
在另一个示例中,当所述影像采集装置和所述云端设备之间的数据传输速度小于或等于第一阈值时,步骤S201包括:将在特定拍摄场景和/或特定拍摄模式下拍摄的至少部分影像数据存储至存储器,该至少部分影像数据包括例如JPEG或MP4格式的影像数据;当所述影像采集装置执行拍摄操作时或当所述数据传输速度大于或等于第二阈值时,将所述存储器中存储的影像数据发送给所述云端设备。通过这样的设置,可以在用户无感知的情 况下完成对影像数据的处理,提升用户体验。
如图4所示,用户发起一次拍照/录像的操作,控制中心根据相应的指令和配置控制相机进行拍摄。图像传感器抓取RAW数据43传送给图像处理器(例如图像信号处理器(Image Signal Processor,简称ISP)),ISP进行图像处理并将RAW数据转换为YUV数据44,然后将YUV数据发送给编码器,编码器将YUV数据编码成流数据或图像数据45例如JPEG照片数据或者MP4视频数据,最后存放至存储介质(也即存储器)上(例如SD卡),当所述影像采集装置执行拍摄操作时或当所述数据传输速度大于或等于第二阈值时,将所述存储器中存储的影像数据发送给所述云端设备,使云端设备对影像数据(例如流数据或图像数据)进行处理,并将处理后的影像数据(例如流数据或图像数据)发送给影像采集装置的存储器进行存储。
第一阈值和第二阈值可以根据先验经验合理设定,其中,第一阈值和第二阈值可以为相同的值,或者,第一阈值小于第二阈值,例如,第一阈值可以为1MB/s,第一阈值可以为4MB/s。当影像采集装置和云端设备通过无线通信时,数据传输速度也即指无线传输速度。
在一个示例中,将在特定拍摄场景和/或特定拍摄模式下拍摄的至少部分影像数据存储至存储器中,包括:在所述特定拍摄场景和/或特定拍摄模式下拍摄的同时,将已拍摄的第一部分影像数据发送给所述云端设备,使云端设备对该第一部分影像数据进行处理,并将已拍摄的第二部分影像数据存储至所述存储器,当所述影像采集装置执行拍摄操作时或当所述数据传输速度大于或等于第二阈值时,将所述存储器中存储的第二部分影像数据发送给所述云端设备,使云端设备对该第二部分影像数据进行处理,以最终获得处理后的影像数据。
值得一提的是,在数据传输速度低于第一阈值时,如图4所示,可以通过影像采集装置对图像传感器采集的影像数据做完完整的处理,将例如JPEG或MP4格式的影像数据存放于存储介质后,再利用***冗余时间将数据传回云端设备做后处理。其中,JPEG或MP4格式的影像数据相比其他格式的影像数据其大小更小,因此,其传输更快,能够使得云端设备能够快速获得需要处理的影像数据。以广角全景拍摄为例:首先,用户触发广角全景拍摄,一共需拍摄9张照片,拍摄过程中用户无法执行其他操作;假设,每张照片的拍摄时间约为2s;每张照片的大小约为2.5MB;受限的无线传输速度约为1MB/s,未受限的无线传输速度约为4MB/s;拍摄完所有全景需要的照片需要18s,共22.5MB大小需要传输至云端设备。在全景拍摄过程中通过背景下载(也即后台下载)可以下载16MB的数据,剩余的6.5M的数据部分既能在后台继续下载(此时影像采集装置可以获取用户的其他控 制指令,进行其他的拍摄操作),也可以在传输链路带宽足够时(例如数据传输速度大于或等于第二阈值时)再高速下载,这样全景照片的传输和处理可以在用户无感知的情况下完成。
在一个示例中,所述影像采集装置设置于可移动平台的本体上,所述已处理数据包括所述云端设备基于所述影像数据和拍摄时所述可移动平台的状态信息而处理获得的,所述状态信息至少包括以下信息中的至少一种:GPS位置信息、陀螺仪的测量信息或姿态信息。例如云端设备可以从用于测量影像采集装置的状态信息或者影像采集装置所在的可移动平台的状态信息的各种传感器获得上述状态信息,如图3所示。例如当基于陀螺仪的测量信息判断拍摄时的平稳性,当拍摄时有运动或者颠簸时,则可能会影像拍摄的图像或者视频等的拍摄效果,例如使得图像具有鬼影、运动模糊等,因此,云端设备还可以基于状态信息,针对性的对影像数据做特定算法的处理或校正,进一步提升目标影像的效果,增强云端图像处理的鲁棒性。
在一个示例中,所述影像处理方法还包括:获取所述云端设备中存储的拍摄模板;控制所述影像采集装置按照所述拍摄模板进行拍摄,拍摄模板可以是任意的拍摄模板,例如当影像采集装置设置在无人机上时,无人机上存储的拍摄模板是固定的,如果不对其进行更新,用户只能根据该些固定的拍摄模板进行拍摄,可选择性小,而通过本申请的方法,可以从云端设备中获取拍摄模板,可以摆脱机身或者终端(例如手机)的APP的功能限制,可以给用户提供更多的拍摄选择和可玩性,从而提升用户体验。
值得一提的是,在本申请中,云端设备可以包括终端设备或云服务器,其中,该终端设备可以例如为便携式设备(例如移动计算或通信设备例如智能手机和可穿戴设备,计算机例如台式计算机、笔记本、平板电脑等)。云服务器可以包括云上后台计算设备或者集群。
下面,参考图8基于云端设备的角度对该影像处理方法800进行描述。影像处理方法800应用于云端设备,所述云端设备和影像采集装置通信连接。
作为示例,如图8所示,所述影像处理方法800包括以下步骤:在步骤S801中,获取所述影像采集装置在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据;在步骤S802中,对所述影像数据进行处理,以获得已处理数据;在步骤S803中,将所述已处理数据发送给所述影像采集装置,以使所述影像采集装置基于所述已处理数据获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像。根据本申请的方法,可以让不具备对复杂的影像数据进行处理能力的低端设备或对功耗有要求的设备,能够利用影 像采集装置和云端设备之间的通信链路,云端设备通过获取在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据,并通过云端设备的计算资源对影像进行后处理实现更好更复杂的影像处理效果,给用户提供更多的智能拍摄功能以及提供更多的便利易用特性,提升用户体验。
在一个示例中,在步骤S801之前,所述影像处理方法还包括:基于所述特定拍摄场景和/或特定拍摄模式,设定所述影像采集装置的配置信息;向所述影像采集装置发送所述配置信息,以使所述影像采集装置根据所述配置信息进行所述特定拍摄场景和/或特定拍摄模式的拍摄。例如该设定的信息可以和影像采集装置自身固有的配置信息不同,例如影像采集装置自身的固有配置信息为需要连续拍摄9张图像用于合成HDR图像,而云端设备发送的配置信息可以是连续拍摄7张图像用户合成HDR图像,再例如,云端设备可以根据待拍摄场景的场景信息,更新影像采集装置的配置信息,例如ISO等信息,根据所述配置信息,控制所述影像采集装置进行所述特定拍摄场景和/或特定拍摄模式的拍摄。
在一个示例中,在步骤S801之前,当所述云端设备例如为终端设备时,所述影像处理方法还包括:获取用户输入的操作指令,所述操作指令用于控制所述影像采集装置进行拍摄;将所述操作指令发送给所述影像采集装置,以控制所述影像采集装置基于所述操作指令进行所述特定拍摄场景和/或特定拍摄模式下的拍摄。可以获取用户输入的特定拍摄模式的选择指令,并控制影像采集装置基于用户的选择指令在对应的特定拍摄模式下进行拍摄。在其他示例中,还可以通过例如终端设备和影像采集装置建立通信连接,并由终端设备控制影像采集装置进行各种操作,该终端设备可以例如为便携式设备(例如移动计算或通信设备例如智能手机和可穿戴设备,计算机例如台式计算机、笔记本、平板电脑等)。
当用户通过终端或者通过影像采集装置的用户界面发起一次拍照/录像的操作,影像采集装置的控制中心(例如处理器的控制单元)根据相应的操作指令和配置信息控制影像采集装置进行拍摄。
在本文中,特定拍摄场景、特定拍摄模式可以为本领域技术人员人员熟知的任意的拍摄场景或拍摄模式,例如,所述特定拍摄场景可以包括大光比场景;所述特定拍摄模式包括以下模式中的至少一种:高动态范围图像拍摄模式、全景拍摄模式或小行星拍摄模式等。
在影像采集装置拍摄完成后,影像采集装置将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备,所述云端设备获取对所述影像数据进行处理。
可选地,所述已处理数据具有和所述影像数据相同的数据格式,或者,所述已处理数据具有和所述影像数据不同的数据格式。
在一个示例中,所述影像数据还包括第三影像数据,所述第三影像数据具有和所述目 标影像相同的数据格式,所述已处理数据具有和所述目标影像相同的数据格式,则所述目标影像包括所述已处理数据。所述第三影像数据包括所述影像采集装置的编码器对具有第二格式的第二影像数据进行编码而获得的数据,所述第二影像数据包括具有第一格式的第一影像数据经所述影像采集装置的图像处理器(例如ISP)处理后的数据,所述第一影像数据包括所述影像采集装置的图像传感器采集的数据。可选地,所述第一格式包括RAW格式;所述第二格式包括YUV格式、所述第三影像数据的格式包括JPEG格式或MP4格式。
在步骤S802中,云端设备可以对不同格式的影像数据进行处理,本申请中可以利用近距或者远距的无线或有线的连接,根据不同的拍摄模式或场景,云端设备传送至(例如服务器、终端例如手机等)获取拍摄流程中的不同阶段的影像数据(RAW、YUV、JPEG/MP4)并对数据进行相应的处理后,再将处理后的数据传输回影像采集装置进行后续的处理,图3中示出了不同格式的影像数据流向。
在步骤S802中,云端设备可以对所述影像数据进行处理,以获得已处理数据,其中,云端设备可以将影像数据处理成具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的影像数据,例如,将影像采集装置在HDR拍摄模式下拍摄的多张图像(例如2张,3张……甚至几十张图像)合成为HDR图像,又例如,将在大光比场景下拍摄的图像进行增强处理,例如进行LTM处理或者LLP处理等,以提升图像的质量和效果,再例如,当用户拍摄全景、小行星等需要进行较为复杂处理的照片或视频时,将拍摄的影像数据传送给云端设备,云端设备可以对其进行拼接、抽帧等处理。
云端设备可以基于影像采集装置发送的拍摄场景或拍摄模式的信息,确定对获得的影像数据进行处理的处理方式,云端设备还可以根据获得的影像数据的特征信息,确定该影像数据的拍摄场景或者拍摄模式,自动对获得的影像数据进行对应的处理,例如当云端设备根据获得影像数据的特征信息,确定为在大光比场景下拍摄的影像数据,则自动对获取的影像数据进行增强处理,例如进行LTM处理或者LLP处理等。
具体地,云端设备对影响数据进行处理的方法可以是本领域技术人员熟知的任何的处理方法,在此对其做具体限定。
在步骤S803中,将所述已处理数据发送给所述影像采集装置,以使所述影像采集装置基于所述已处理数据获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像,其中,云端设备可以将已处理数据发送给影像采集装置的控制中心,控制中心再将已处理数据发送给影像采集装置的器件。其中,所述影像采集装置基于所述已处理数据获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像的方法可以参考前文的描述。
进一步,当云端设备和影像采集装置之间的数据传输速度大于或等于第二阈值时,可以通过云端设备实时的对影像采集装置拍摄的影像数据进行处理。
在另一个示例中,当所述影像采集装置和所述云端设备之间的数据传输速度小于或等于第一阈值时,步骤S801包括:当所述影像采集装置执行拍摄操作时或当所述数据传输速度大于或等于第二阈值时,获取存储在所述影像采集装置的存储器中的影像数据,其中,所述存储器中的影像数据包括在特定拍摄场景和/或特定拍摄模式下拍摄的至少部分影像数据。通过这样的设置,可以在用户无感知的情况下完成对影像数据的处理,提升用户体验。
第一阈值和第二阈值可以根据先验经验合理设定,其中,第一阈值和第二阈值可以为相同的值,或者,第一阈值小于第二阈值,例如,第一阈值可以为1MB/s,第一阈值可以为4MB/s。当影像采集装置和云端设备通过无线通信时,数据传输速度也即指无线传输速度。
在一个示例中,获取存储在所述影像采集装置的存储器中的影像数据,包括:在所述特定拍摄场景和/或特定拍摄模式下拍摄的同时,所述云端设备获取已拍摄的第一部分影像数据,并对该第一部分影像数据进行处理,当所述影像采集装置执行拍摄操作时或当所述数据传输速度大于或等于第二阈值时,所述云端设备所述存储器中存储的第二部分影像数据,并对该第二部分影像数据进行处理,以最终获得处理后的影像数据。通过这样的设置,在后台下载数据,可以在用户无感知的情况下完成对影像数据的处理,从而提升用户体验。
在一个示例中,所述影像采集装置设置于可移动平台的本体上,所述已处理数据包括所述云端设备基于所述影像数据和拍摄时所述可移动平台的状态信息而处理获得的,所述状态信息至少包括以下信息中的至少一种:GPS位置信息、陀螺仪的测量信息或姿态信息。例如云端设备可以从用于测量影像采集装置的状态信息或者影像采集装置所在的可移动平台的状态信息的各种传感器获得上述状态信息,如图3所示。例如当基于陀螺仪的测量信息判断拍摄时的平稳性,当拍摄时有运动或者颠簸时,则可能会影像拍摄的图像或者视频等的拍摄效果,例如使得图像具有鬼影、运动模糊等,因此,云端设备还可以基于状态信息,针对性的对影像数据做特定算法的处理或校正,进一步提升目标影像的效果,增强云端图像处理的鲁棒性。
在一个示例中,所述影像处理方法还包括:将存储的拍摄模板发送给所述影像采集装置,以控制所述影像采集装置按照所述拍摄模板进行拍摄。拍摄模板可以是任意的拍摄模板,例如当影像采集装置设置在无人机上时,无人机上存储的拍摄模板是固定的,如果不对其进行更新,用户只能根据该些固定的拍摄模板进行拍摄,可选择性小,而通过本申请 的方法,可以从云端设备中获取拍摄模板,可以摆脱机身或者终端(例如手机)的APP的功能限制,可以给用户提供更多的拍摄选择和可玩性,从而提升用户体验。
在一个示例中,所述影像采集装置设置于可移动平台的本体上,所述已处理数据包括所述云端设备基于所述影像数据和拍摄时所述可移动平台的状态信息而处理获得的,所述状态信息至少包括以下信息中的至少一种:GPS位置信息、陀螺仪的测量信息或姿态信息。例如云端设备可以从用于测量影像采集装置的状态信息或者影像采集装置所在的可移动平台的状态信息的各种传感器获得上述状态信息,如图3所示。例如当基于陀螺仪的测量信息判断拍摄时的平稳性,当拍摄时有运动或者颠簸时,则可能会影像拍摄的图像或者视频等的拍摄效果,例如使得图像具有鬼影、运动模糊等,因此,云端设备还可以基于状态信息,针对性的对影像数据做特定算法的处理或校正,进一步提升目标影像的效果,增强云端图像处理的鲁棒性。
下面,参考图9基于影像处理的角度对该影像处理方法900进行描述。影像处理方法900应用于影像处理***,所述影像处理***包括影像采集装置和云端设备,所述影像采集装置和所述云端设备通信连接。该终端设备可以和影像采集装置(例如相机)通信连接,从而可以使在该终端设备上执行的应用程序和影像采集装置进行信息交互。
作为示例,如图9所示,所述影像处理方法包括:在步骤S901中,所述影像采集装置将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备;在步骤S902中,所述云端设备获取所述影像数据,并对所述影像数据进行处理,以获得已处理数据;在步骤S903中,所述影像采集装置获取所述已处理数据,并基于所述已处理数据,获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像。
在一个示例中,在步骤S901之前,所述影像处理方法还包括:所述云端设备基于所述特定拍摄场景和/或特定拍摄模式,设定所述影像采集装置的配置信息;所述云端设备向所述影像采集装置发送所述配置信息;所述影像采集装置获取所述云端设备发送的配置信息;所述影像采集装置根据所述配置信息,控制所述影像采集装置进行所述特定拍摄场景和/或特定拍摄模式的拍摄。例如该设定的信息可以和影像采集装置自身固有的配置信息不同,例如影像采集装置自身的固有配置信息为需要连续拍摄9张图像用于合成HDR图像,而云端设备发送的配置信息可以是连续拍摄7张图像用户合成HDR图像,再例如,云端设备可以根据待拍摄场景的场景信息,更新影像采集装置的配置信息,例如ISO等信息,根据所述配置信息,控制所述影像采集装置进行所述特定拍摄场景和/或特定拍摄模式的拍摄。
在一个示例中,在步骤S901之前,所述影像处理方法还包括:所述云端设备(例如 便携式设备(例如手机))获取用户输入的操作指令,所述操作指令用于控制所述影像采集装置进行拍摄;所述云端设备将所述操作指令发送给所述影像采集装置;所述影像采集装置获取所述操作指令;所述影像采集装置基于所述操作指令,控制所述影像采集装置进行所述特定拍摄场景和/或特定拍摄模式下的拍摄。
当用户通过终端或者通过影像采集装置的用户界面发起一次拍照/录像的操作,影像采集装置的控制中心(例如处理器的控制单元)根据相应的操作指令和配置信息控制影像采集装置进行拍摄。
在本文中,特定拍摄场景、特定拍摄模式可以为本领域技术人员人员熟知的任意的拍摄场景或拍摄模式,例如,所述特定拍摄场景可以包括大光比场景;所述特定拍摄模式包括以下模式中的至少一种:高动态范围图像拍摄模式、全景拍摄模式或小行星拍摄模式等。
在影像采集装置拍摄完成后,影像采集装置将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备,以使所述云端设备对所述影像数据进行处理。
在一个示例中,所述已处理数据具有和所述影像数据相同的数据格式,或者,所述已处理数据具有和所述影像数据不同的数据格式。
在一个示例中,当所述已处理数据的数据格式和所述目标影像的预定数据格式不同时,基于所述已处理数据,获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像,包括:所述影像采集装置对所述已处理数据进行处理,以获得具有预定数据格式的目标影像。
在一个示例中,所述影像数据包括具有第一格式的第一影像数据,所述第一影像数据包括所述影像采集装置的图像传感器采集的数据,所述已处理数据的数据格式为所述第一格式,所述影像采集装置对所述已处理数据进行处理,以获得具有预定数据格式的目标影像,包括:通过图像处理器对所述第一格式的所述已处理数据进行处理,以获得具有第二格式的已处理数据;通过编码器对所述第二格式的已处理数据进行处理,以获得具有预定数据格式的目标影像。
在另一个示例中,所述影像数据包括具有第二格式的第二影像数据,所述第二影像数据包括将第一影像数据经所述影像采集装置的图像处理器处理后的数据,所述第一影像数据包括所述影像采集装置的图像传感器采集的数据,所述已处理数据的数据格式为所述第二格式,所述影像采集装置对所述已处理数据进行处理,以获得具有预定数据格式的目标影像,包括:通过编码器对所述第二格式的已处理数据进行处理,以获得具有预定数据格式的目标影像。
可选地,所述影像数据还包括第三影像数据,所述第三影像数据具有和所述目标影像相同的数据格式,所述已处理数据具有和所述目标影像相同的数据格式,则所述目标影像 包括所述已处理数据。
在一个示例中,所述第三影像数据包括所述影像采集装置的编码器对具有第二格式的第二影像数据进行编码而获得数据,所述第二影像数据包括具有第一格式的第一影像数据经所述影像采集装置的图像处理器处理后的数据,所述第一影像数据包括所述影像采集装置的图像传感器采集的数据。
可选地,所述第一格式包括RAW格式;所述第二格式包括YUV格式、所述第三影像数据的格式包括JPEG格式或MP4格式。
本申请中可以利用近距或者远距的无线或有线的连接,根据不同的拍摄模式或场景,将拍摄流程中的不同阶段的影像数据(RAW、YUV、JPEG/MP4)传送至云端设备(例如服务器、终端例如手机等)对数据进行相应的处理后,再将处理后的数据传输回影像采集装置进行后续的处理,图3中示出了不同格式的影像数据流向。
云端设备可以对所述影像数据进行处理,以获得已处理数据,其中,云端设备可以将影像数据处理成具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的影像数据,例如,将影像采集装置在HDR拍摄模式下拍摄的多张图像(例如2张,3张……甚至几十张图像)合成为HDR图像,又例如,将在大光比场景下拍摄的图像进行增强处理,例如进行LTM处理或者LLP处理等,以提升图像的质量和效果,再例如,当用户拍摄全景、小行星等需要进行较为复杂处理的照片或视频时,将拍摄的影像数据传送给云端设备,云端设备可以对其进行拼接、抽帧等处理。
云端设备可以基于影像采集装置发送的拍摄场景或拍摄模式的信息,确定对获得的影像数据进行处理的处理方式,云端设备还可以根据获得的影像数据的特征信息,确定该影像数据的拍摄场景或者拍摄模式,自动对获得的影像数据进行对应的处理,例如当云端设备根据获得影像数据的特征信息,确定为在大光比场景下拍摄的影像数据,则自动对获取的影像数据进行增强处理,例如进行LTM处理或者LLP处理等。
具体地,处理过程可以参考前文中的描述,在此为了避免重复,不再进行赘述。
在一个示例中,在步骤903之后,影像处理方法还包括:所述影像采集装置将所述目标影像存储至存储器。
进一步,当云端设备和影像采集装置之间的数据传输速度大于或等于第二阈值时,可以通过云端设备实时的对影像采集装置拍摄的影像数据进行处理。
在另一个示例中,当所述影像采集装置和所述云端设备之间的数据传输速度小于或等于第一阈值时,所述影像采集装置将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备,包括:所述影像采集装置将在特定拍摄场景和/或特定拍摄模式下拍摄的至少部分影像数据存储至存储器;当所述影像采集装置执行拍摄操作时或当所述数据 传输速度大于或等于第二阈值时,将所述存储器中存储的影像数据发送给所述云端设备。可选地,所述影像采集装置将在特定拍摄场景和/或特定拍摄模式下拍摄的至少部分影像数据存储至存储器中,包括:所述影像采集装置在所述特定拍摄场景和/或特定拍摄模式下拍摄的同时,将已拍摄的第一部分影像数据发送给所述云端设备,并将已拍摄的第二部分影像数据存储至所述存储器。将所述存储器中存储的影像数据发送给所述云端设备。通过这样的设置,可以在用户无感知的情况下完成对影像数据的处理,提升用户体验。
第一阈值和第二阈值可以根据先验经验合理设定,其中,第一阈值和第二阈值可以为相同的值,或者,第一阈值小于第二阈值,例如,第一阈值可以为1MB/s,第一阈值可以为4MB/s。当影像采集装置和云端设备通过无线通信时,数据传输速度也即指无线传输速度。
在一个示例中,所述影像处理方法还包括:所述云端设备将存储的拍摄模板发送给所述影像采集装置;所述影像采集装置获取所述拍摄模板,并按照所述拍摄模板进行拍摄。例如当影像采集装置设置在无人机上时,无人机上存储的拍摄模板是固定的,如果不对其进行更新,用户只能根据该些固定的拍摄模板进行拍摄,可选择性小,而通过本申请的方法,可以从云端设备中获取拍摄模板,可以摆脱机身或者终端(例如手机)的APP的功能限制,可以给用户提供更多的拍摄选择和可玩性,从而提升用户体验。
在一个示例中,所述影像采集装置设置于可移动平台的本体上,所述已处理数据包括所述云端设备基于所述影像数据和拍摄时所述可移动平台的状态信息而处理获得的,所述状态信息至少包括以下信息中的至少一种:GPS位置信息、陀螺仪的测量信息或姿态信息。例如云端设备可以从用于测量影像采集装置的状态信息或者影像采集装置所在的可移动平台的状态信息的各种传感器获得上述状态信息,如图3所示。例如当基于陀螺仪的测量信息判断拍摄时的平稳性,当拍摄时有运动或者颠簸时,则可能会影像拍摄的图像或者视频等的拍摄效果,例如使得图像具有鬼影、运动模糊等,因此,云端设备还可以基于状态信息,针对性的对影像数据做特定算法的处理或校正,进一步提升目标影像的效果,增强云端图像处理的鲁棒性。
综上所述,根据本申请的方法可以获得以下有益效果:
1、在低端设备中或在对功耗有要求的情况下,有效利用影像采集装置和云端设备的通信链路例如无线链路带宽,通过云端设备的计算资源例如手机、云服务器等,实现更好更复杂的图像处理效果,让低端设备也能享受到高端设备才能支持高级拍摄的功能,在中高端设备保证最大规格功能或者核心功能的前提下,也可以给用户提供增量的智能摄影功能让对功耗敏感的设备可以针对不同场景使用不同的图像处理策略,达到功耗和画质的平 衡点,提升用户体验;
2、在传输链路不稳定的情况下,能够通过后台下载已存储在影像采集装置的存储器中的数据方式,达到用户无感知的影像后处理的目的,提升用户体验;
3、影像采集装置通过获取云端提供的智能拍摄模板,可以摆脱自身或者终端设备的APP的功能限制,给用户提供了更多可玩性和拍摄选择性。
4、在设备更新换代的情况下,只要通过简单的固件升级来给云端设备传输信息,老用户也可以享受新特性,新功能。
下面,参考附图10对本申请的影像采集装置进行描述,其中,该影像采集装置1010可以用于执行前述的影像处理方法200中的相关步骤。
在一个示例中,如图10所示,影像采集装置1010包括一个或多个处理器1001、图像传感器1002、存储器1003、通信接口1004等。这些组件通过总线***和/或其它形式的连接机构(未示出)互连。
存储器1003用于存储可执行指令,例如用于存储用于实现根据本申请实施例的影像处理方法200中的相应步骤和程序指令。存储器1003可存储操作***(包括用于处理各种基本***服务和用于执行硬件相关任务的程序)、至少一个功能所需的应用程序(比如影像采集装置的控制功能、声音播放功能、图像播放功能等)等。可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存(例如SD卡)等。
通信接口1004可以用于影像采集装置1010和终端设备或其他设备之间进行通信,包括有线或者无线方式的通信。通信接口1004可以为接入基于通信标准的无线网络,如WiFi(例如WiFi6)、软件无线电(Software-defined radio,简称SDR)、2G、3G、4G、5G或它们的组合。在一个示例性实施例中,1004经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,1004还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
图像传感器1002(本文也称相机传感器)是用于捕获图像数据的器件,其例如可以为CMOS图像传感器、CCD图像传感器等。图像传感器1002至少用于在特定拍摄场景和/或特定拍摄模式下拍摄影像数据。
可选地,影像采集装置还包括显示器(未示出),用于显示由处理器组件产生的图像或视频的器件。显示器可以包括,例如,液晶显示(LCD)装置或有机发光二极管(OLED)装置。基于从处理器获取的数据,显示器可以显示各种图像,例如菜单、所选择的操作参数、拍摄模式选择界面、由图像传感器捕获的图像、用处理器等和/或从设备的用户界面接收的其它信息等。
可选地,影像采集装置还包括输入装置可以是用户用来输入各种操作的装置,例如可以包括键盘、鼠标、功能键(比如音量控制按键、开关按键等)、操作杆、麦克风和触摸屏等中的一个或多个。
处理器1001可以是中央处理单元(CPU)、图像处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制影像采集装置中的其它组件以执行期望的功能。处理器1001能够执行存储器1003中存储的所述指令,以执行本文描述的影像处理方法的相应步骤。例如,处理器1001能够包括一个或多个嵌入式处理器、处理器核心、微型处理器、逻辑电路、硬件有限状态机(FSM)、数字信号处理器(DSP)、ISP、编码器或它们的组合。
在一个示例中,处理器1001用于执行所述存储器中存储的程序指令,使得一个或多个处理器执行以下动作,所述动作包括:将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备,以使所述云端设备对所述影像数据进行处理;获取经所述云端设备处理后的已处理数据;基于所述已处理数据,获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像。
可选地,所述已处理数据具有和所述影像数据相同的数据格式,或者,所述已处理数据具有和所述影像数据不同的数据格式。
可选地,当所述已处理数据的数据格式和所述目标影像的预定数据格式不同时,基于所述已处理数据,获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像,包括:对所述已处理数据进行处理,以获得具有预定数据格式的目标影像。
在一个示例中,具有第一格式的第一影像数据,所述第一影像数据包括所述影像采集装置的图像传感器采集的数据,所述已处理数据的数据格式为所述第一格式,对所述已处理数据进行处理,以获得具有预定数据格式的目标影像,包括:通过图像处理器例如ISP对所述第一格式的所述已处理数据进行处理,以获得具有第二格式的已处理数据;通过编码器对所述第二格式的已处理数据进行处理,以获得具有预定数据格式的目标影像。
在一个示例中,所述影像数据包括具有第二格式的第二影像数据,所述第二影像数据包括将第一影像数据经所述影像采集装置的图像处理器处理后的数据,所述第一影像数据包括所述影像采集装置的图像传感器采集的数据,所述已处理数据的数据格式为所述第二 格式,对所述已处理数据进行处理,以获得具有预定数据格式的目标影像,包括:通过编码器对所述第二格式的已处理数据进行处理,以获得具有预定数据格式的目标影像。
在一个示例中,所述影像数据还包括第三影像数据,所述第三影像数据具有和所述目标影像相同的数据格式,所述已处理数据具有和所述目标影像相同的数据格式,则所述目标影像包括所述已处理数据。
在一个示例中,所述第三影像数据包括所述影像采集装置的编码器对具有第二格式的第二影像数据进行编码而获得数据,所述第二影像数据包括具有第一格式的第一影像数据经所述影像采集装置的图像处理器处理后的数据,所述第一影像数据包括所述影像采集装置的图像传感器采集的数据。
在一个示例中,所述第一格式包括RAW格式;所述第二格式包括YUV格式、所述第三格式包括JPEG格式或MP4格式。
在一个示例中,所述处理器还用于:将所述目标影像存储至存储器。
在一个示例中,当所述影像采集装置和所述云端设备之间的数据传输速度小于或等于第一阈值时,将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备,包括:将在特定拍摄场景和/或特定拍摄模式下拍摄的至少部分影像数据存储至存储器;当所述影像采集装置执行拍摄操作时或当所述数据传输速度大于或等于第二阈值时,将所述存储器中存储的影像数据发送给所述云端设备。
在一个示例中,将在特定拍摄场景和/或特定拍摄模式下拍摄的至少部分影像数据存储至存储器中,包括:
在所述特定拍摄场景和/或特定拍摄模式下拍摄的同时,将已拍摄的第一部分影像数据发送给所述云端设备,并将已拍摄的第二部分影像数据存储至所述存储器。
在一个示例中,所述处理器1001还用于:获取所述云端设备发送的配置信息,所述配置信息包括所述云端设备基于所述特定拍摄场景和/或特定拍摄模式而设定的信息;根据所述配置信息,控制所述影像采集装置进行所述特定拍摄场景和/或特定拍摄模式的拍摄。
在一个示例中,所述处理器1001还用于:获取用户输入的操作指令,所述操作指令用于控制所述影像采集装置进行拍摄;基于所述操作指令,控制所述影像采集装置进行所述特定拍摄场景和/或特定拍摄模式下的拍摄。
在一个示例中,所述处理器1001还用于:获取所述云端设备中存储的拍摄模板;控制所述影像采集装置按照所述拍摄模板进行拍摄。
在一个示例中,所述影像采集装置设置于可移动平台的本体上,所述已处理数据包括所述云端设备基于所述影像数据和拍摄时所述可移动平台的状态信息而处理获得的,所述状态信息至少包括以下信息中的至少一种:GPS位置信息、陀螺仪的测量信息或姿态信息。
下面,参考附图11对本申请的云端设备进行描述,其中,该云端设备110可以用于执行前述的影像处理方法800中的相关步骤。
在一个示例中,如图11所示,云端设备110包括一个或多个处理器1101、存储器1102、通信接口1103等。这些组件通过总线***和/或其它形式的连接机构(未示出)互连。云端设备110可以包括终端设备或云服务器,其中,该终端设备可以例如为便携式设备(例如移动计算或通信设备例如智能手机和可穿戴设备,计算机例如台式计算机、笔记本、平板电脑等)。云服务器可以包括云上后台计算设备或者集群。
存储器1102用于存储可执行指令,例如用于存储用于实现根据本申请实施例的影像处理方法800中的相应步骤和程序指令。存储器1102可存储操作***(包括用于处理各种基本***服务和用于执行硬件相关任务的程序)、至少一个功能所需的应用程序(比如影像采集装置的控制功能、声音播放功能、图像播放功能等)等。可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
通信接口1103可以用于终端设备和影像采集装置1010或其他设备之间进行通信,包括有线或者无线方式的通信。通信接口1103可以为接入基于通信标准的无线网络,如WiFi(例如WiFi6)、软件无线电(Software-defined radio,简称SDR)、2G、3G、4G、5G或它们的组合。在一个示例性实施例中,通信接口1103经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,通信接口1103还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
可选地,云端设备110还包括显示器(未示出),用于显示由处理器组件产生的图像或视频的器件。显示器可以包括,例如,液晶显示(LCD)装置或有机发光二极管(OLED)装置。基于从处理器获取的数据,显示器可以显示各种图像,例如菜单、所选择的操作参数、拍摄模式选择界面、由图像传感器捕获的图像、用处理器等和/或从设备的用户界面接收的其它信息等。
可选地,云端设备110还包括输入装置可以是用户用来输入各种操作的装置,例如可以包括键盘、鼠标、功能键(比如音量控制按键、开关按键等)、操作杆、麦克风和触摸屏等中的一个或多个。
处理器1101可以是中央处理单元(CPU)、图像处理单元(GPU)、专用集成电路(ASIC)、 现场可编程门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制云端设备110中的其它组件以执行期望的功能。处理器1101能够执行存储器1102中存储的所述指令,以执行本文描述的影像处理方法800的相应步骤。例如,处理器1101能够包括一个或多个嵌入式处理器、处理器核心、微型处理器、逻辑电路、硬件有限状态机(FSM)、数字信号处理器(DSP)、ISP、编码器或它们的组合。
在一个示例中,处理器1101用于执行所述存储器中存储的程序指令,使得一个或多个处理器执行前述实施例中影像处理方法800的相关步骤,具体影像处理方法800的相关步骤可参考前文的描述,在此不再重复描述。
下面,参考附图12对本申请的影像处理***120进行描述,其中,影像处理***120可以用于执行前述的影像处理方法900中的相关步骤。
该影像处理***120包括前述的影像采集装置1010和云端设备110。所述影像采集装置和所述云端设备通信连接,其中,所述影像采集装置1010用于将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备110;所述云端设备110用于获取所述影像数据,并对所述影像数据进行处理,以获得已处理数据;所述影像采集装置1010用于获取所述已处理数据,并基于所述已处理数据,获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像。
在一个示例中,影像采集装置1010可以和终端设备例如便携式设备通信连接同时还和云端设备例如云服务器通信连接,并且终端设备可以是用户终端设备,用户可以通过用户终端设备对影像采集装置进行控制和操作,例如,控制其进行拍摄、获取拍摄的影像数据、更新其配置等。云服务器可以和终端设备通信连接,两者可以为异构数据同步。
用户终端设备还可以安装有应用程序,通过应用程序和影像采集装置、云服务器等进行信息交互等。
具体地,影像采集装置1010和云端设备110在影像处理***中所执行的动作可以参考前文的描述,在此不再重复进行描述。
本申请还提供一种可移动平台,影像采集装置可以设置于所述可移动平台本体。在某些实施方式中,移动平台包括飞行器(例如无人飞行器)、飞行器、机器人、车辆、云台或船。当影像采集装置应用于无人飞行器时,平台本体为无人飞行器的机身,其中,影像采集装置可以以嵌入式影像***的方式设置于可移动平台本体。当影像采集装置应用于车辆时,平台本体为车辆的车身。该车辆可以是自动驾驶汽车或者半自动驾驶汽车,在此不做限制。当影像采集装置应用于机器人时,平台本体为机器人。当影像采集装置应用于船 时,平台本体为船身。
在某些实施例中,影像采集装置可以作为负载设置于可移动平台本体例如飞行器的机身,可移动平台本体还可以设置一个或者多个传感器如GPS传感器、运动传感器、惯性传感器(例如IMU)、近程传感器或陀螺仪等。通过该些传感器可以测量获知影像采集装置拍摄时的状态信息,并将该状态信息发送给云端设备,云端设备可以基于该状态信息,对影像采集装置拍摄的影像数据进行处理。
另外,本发明实施例还提供了一种计算机存储介质,其上存储有计算机程序。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器可以运行存储装置存储的所述程序指令,以实现本文所述的本发明实施例中(由处理器实现)的功能以及/或者其它期望的功能,例如以执行根据本发明实施例的影像处理方法的相应步骤,在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
例如,所述计算机存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
综上所述,通过本申请的影像采集装置、云端设备、影像处理***、可移动平台和计算机存储介质,能够利用高速的短距、远距通讯网络例如5G、SDR(Software-defined radio)、WIFI6等,连接云端设备进行点对点的数据传输,并通过云端设备强大的计算资源对影像进行后处理,可以实现更好更复杂的图像处理效果,让低端设备也能享受到高端设备才能支持高级拍摄的功能,在中高端设备保证最大规格功能或者核心功能的前提下,也可以给用户提供增量的智能摄影功能让对功耗敏感的设备可以针对不同场景使用不同的图像处理策略,达到功耗和画质的平衡点,给用户提供更多的便利易用特性,提升用户体验。再者,在传输链路不稳定的情况下,能够通过后台下载已存储在影像采集装置的存储器中的数据方式,达到用户无感知的影像后处理的目的,提升用户体验;另外,影像采集装置通过获取云端提供的智能拍摄模板,可以摆脱自身或者终端设备的APP的功能限制,给用户提供了更多可玩性和拍摄选择性。再者,在设备更新换代的情况下,只要通过简单的固件升级来给云端设备传输信息,老用户也可以享受新特性,新功能。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要 求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例 如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (67)

  1. 一种影像处理方法,其特征在于,应用于影像采集装置,所述影像采集装置和云端设备通信连接,所述影像处理方法包括:
    将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备,以使所述云端设备对所述影像数据进行处理;
    获取经所述云端设备处理后的已处理数据;
    基于所述已处理数据,获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像。
  2. 如权利要求1所述的影像处理方法,其特征在于,所述已处理数据具有和所述影像数据相同的数据格式,或者,所述已处理数据具有和所述影像数据不同的数据格式。
  3. 如权利要求1所述的影像处理方法,其特征在于,当所述已处理数据的数据格式和所述目标影像的预定数据格式不同时,基于所述已处理数据,获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像,包括:
    对所述已处理数据进行处理,以获得具有预定数据格式的目标影像。
  4. 如权利要求3所述的影像处理方法,其特征在于,所述影像数据包括具有第一格式的第一影像数据,所述第一影像数据包括所述影像采集装置的图像传感器采集的数据,所述已处理数据的数据格式为所述第一格式,对所述已处理数据进行处理,以获得具有预定数据格式的目标影像,包括:
    通过图像处理器对所述第一格式的所述已处理数据进行处理,以获得具有第二格式的已处理数据;
    通过编码器对所述第二格式的已处理数据进行处理,以获得具有预定数据格式的目标影像。
  5. 如权利要求3所述的影像处理方法,其特征在于,所述影像数据包括具有第二格式的第二影像数据,所述第二影像数据包括将第一影像数据经所述影像采集装置的图像处理器处理后的数据,所述第一影像数据包括所述影像采集装置的图像传感器采集的数据,所述已处理数据的数据格式为所述第二格式,对所述已处理数据进行处理,以获得具有预定数据格式的目标影像,包括:
    通过编码器对所述第二格式的已处理数据进行处理,以获得具有预定数据格式的目标影像。
  6. 如权利要求1所述的影像处理方法,其特征在于,所述影像数据还包括第三影像数据,所述第三影像数据具有和所述目标影像相同的数据格式,所述已处理数据具有和所述目标影像相同的数据格式,则所述目标影像包括所述已处理数据。
  7. 如权利要求6所述的影像处理方法,其特征在于,所述第三影像数据包括所述影像采集装置的编码器对具有第二格式的第二影像数据进行编码而获得数据,所述第二影像数据包括具有第一格式的第一影像数据经所述影像采集装置的图像处理器处理后的数据,所述第一影像数据包括所述影像采集装置的图像传感器采集的数据。
  8. 如权利要求7所述的影像处理方法,其特征在于,所述第一格式包括RAW格式;所述第二格式包括YUV格式、所述第三影像数据的格式包括JPEG格式或MP4格式。
  9. 如权利要求1至8任一项所述的影像处理方法,其特征在于,所述影像处理方法还包括:
    将所述目标影像存储至存储器。
  10. 如权利要求1所述的影像处理方法,其特征在于,当所述影像采集装置和所述云端设备之间的数据传输速度小于或等于第一阈值时,将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备,包括:
    将在特定拍摄场景和/或特定拍摄模式下拍摄的至少部分影像数据存储至存储器;
    当所述影像采集装置执行拍摄操作时或当所述数据传输速度大于或等于第二阈值时,将所述存储器中存储的影像数据发送给所述云端设备。
  11. 如权利要求10所述的影像处理方法,其特征在于,将在特定拍摄场景和/或特定拍摄模式下拍摄的至少部分影像数据存储至存储器中,包括:
    在所述特定拍摄场景和/或特定拍摄模式下拍摄的同时,将已拍摄的第一部分影像数据发送给所述云端设备,并将已拍摄的第二部分影像数据存储至所述存储器。
  12. 如权利要求1所述的影像处理方法,其特征在于,所述影像处理方法还包括:
    获取所述云端设备发送的配置信息,所述配置信息包括所述云端设备基于所述特定拍摄场景和/或特定拍摄模式而设定的信息;
    根据所述配置信息,控制所述影像采集装置进行所述特定拍摄场景和/或特定拍摄模式的拍摄。
  13. 如权利要求1所述的影像处理方法,其特征在于,所述影像处理方法还包括:
    获取用户输入的操作指令,所述操作指令用于控制所述影像采集装置进行拍摄;
    基于所述操作指令,控制所述影像采集装置进行所述特定拍摄场景和/或特定拍摄模式下的拍摄。
  14. 如权利要求1所述的影像处理方法,其特征在于,所述影像处理方法还包括:
    获取所述云端设备中存储的拍摄模板;
    控制所述影像采集装置按照所述拍摄模板进行拍摄。
  15. 如权利要求1至14任一项所述的影像处理方法,其特征在于,所述特定拍摄场 景包括大光比场景;
    所述特定拍摄模式包括以下模式中的至少一种:高动态范围图像拍摄模式、全景拍摄模式或小行星拍摄模式。
  16. 如权利要求1至15任一项所述的影像处理方法,其特征在于,所述影像采集装置设置于可移动平台的本体上,所述已处理数据包括所述云端设备基于所述影像数据和拍摄时所述可移动平台的状态信息而处理获得的,所述状态信息至少包括以下信息中的至少一种:GPS位置信息、陀螺仪的测量信息或姿态信息。
  17. 如权利要求1至16任一项所述的影像处理方法,其特征在于,所述云端设备包括以下设备中的至少一种:终端设备或云端服务器。
  18. 一种影像处理方法,其特征在于,应用于云端设备,所述云端设备和影像采集装置通信连接,所述影像处理方法包括:
    获取所述影像采集装置在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据;
    对所述影像数据进行处理,以获得已处理数据;
    将所述已处理数据发送给所述影像采集装置,以使所述影像采集装置基于所述已处理数据获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像。
  19. 如权利要求18所述的影像处理方法,其特征在于,所述已处理数据具有和所述影像数据相同的数据格式,或者,所述已处理数据具有和所述影像数据不同的数据格式。
  20. 如权利要求18所述的影像处理方法,其特征在于,所述影像数据还包括第三影像数据,所述第三影像数据具有和所述目标影像相同的数据格式,所述已处理数据具有和所述目标影像相同的数据格式,则所述目标影像包括所述已处理数据。
  21. 如权利要求20所述的影像处理方法,其特征在于,所述第三影像数据包括所述影像采集装置的编码器对具有第二格式的第二影像数据进行编码而获得的数据,所述第二影像数据包括具有第一格式的第一影像数据经所述影像采集装置的图像处理器处理后的数据,所述第一影像数据包括所述影像采集装置的图像传感器采集的数据。
  22. 如权利要求21所述的影像处理方法,其特征在于,所述第一格式包括RAW格式;所述第二格式包括YUV格式、所述第三影像数据的格式包括JPEG格式或MP4格式。
  23. 如权利要求18所述的影像处理方法,其特征在于,当所述影像采集装置和所述云端设备之间的数据传输速度小于或等于第一阈值时,获取所述影像采集装置在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据,包括:
    当所述影像采集装置执行拍摄操作时或当所述数据传输速度大于或等于第二阈值时,获取存储在所述影像采集装置的存储器中的影像数据,其中,所述存储器中的影像数据包括在特定拍摄场景和/或特定拍摄模式下拍摄的至少部分影像数据。
  24. 如权利要求18所述的影像处理方法,其特征在于,所述影像处理方法还包括:
    基于所述特定拍摄场景和/或特定拍摄模式,设定所述影像采集装置的配置信息;
    向所述影像采集装置发送所述配置信息,以使所述影像采集装置根据所述配置信息进行所述特定拍摄场景和/或特定拍摄模式的拍摄。
  25. 如权利要求18所述的影像处理方法,其特征在于,所述影像处理方法还包括:
    获取用户输入的操作指令,所述操作指令用于控制所述影像采集装置进行拍摄;
    将所述操作指令发送给所述影像采集装置,以控制所述影像采集装置基于所述操作指令进行所述特定拍摄场景和/或特定拍摄模式下的拍摄。
  26. 如权利要求18所述的影像处理方法,其特征在于,所述影像处理方法还包括:
    将存储的拍摄模板发送给所述影像采集装置,以控制所述影像采集装置按照所述拍摄模板进行拍摄。
  27. 如权利要求18至26任一项所述的影像处理方法,其特征在于,所述特定拍摄场景包括大光比场景;
    所述特定拍摄模式包括以下模式中的至少一种:高动态范围图像拍摄模式、全景拍摄模式或小行星拍摄模式。
  28. 如权利要求18至27任一项所述的影像处理方法,其特征在于,所述影像采集装置设置于可移动平台的本体上,所述已处理数据包括所述云端设备基于所述影像数据和拍摄时所述可移动平台的状态信息而处理获得的,所述状态信息至少包括以下信息中的至少一种:GPS位置信息、陀螺仪的测量信息或姿态信息。
  29. 如权利要求18至28任一项所述的影像处理方法,其特征在于,所述云端设备包括以下设备中的至少一种:终端设备或云端服务器。
  30. 一种影像处理方法,其特征在于,应用于影像处理***,所述影像处理***包括影像采集装置和云端设备,所述影像采集装置和所述云端设备通信连接,所述影像处理方法包括:
    所述影像采集装置将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备;
    所述云端设备获取所述影像数据,并对所述影像数据进行处理,以获得已处理数据;
    所述影像采集装置获取所述已处理数据,并基于所述已处理数据,获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像。
  31. 如权利要求30所述的影像处理方法,其特征在于,所述已处理数据具有和所述影像数据相同的数据格式,或者,所述已处理数据具有和所述影像数据不同的数据格式。
  32. 如权利要求30所述的影像处理方法,其特征在于,当所述已处理数据的数据格 式和所述目标影像的预定数据格式不同时,基于所述已处理数据,获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像,包括:
    所述影像采集装置对所述已处理数据进行处理,以获得具有预定数据格式的目标影像。
  33. 如权利要求32所述的影像处理方法,其特征在于,所述影像数据包括具有第一格式的第一影像数据,所述第一影像数据包括所述影像采集装置的图像传感器采集的数据,所述已处理数据的数据格式为所述第一格式,所述影像采集装置对所述已处理数据进行处理,以获得具有预定数据格式的目标影像,包括:
    通过图像处理器对所述第一格式的所述已处理数据进行处理,以获得具有第二格式的已处理数据;
    通过编码器对所述第二格式的已处理数据进行处理,以获得具有预定数据格式的目标影像。
  34. 如权利要求32所述的影像处理方法,其特征在于,所述影像数据包括具有第二格式的第二影像数据,所述第二影像数据包括将第一影像数据经所述影像采集装置的图像处理器处理后的数据,所述第一影像数据包括所述影像采集装置的图像传感器采集的数据,所述已处理数据的数据格式为所述第二格式,所述影像采集装置对所述已处理数据进行处理,以获得具有预定数据格式的目标影像,包括:
    通过编码器对所述第二格式的已处理数据进行处理,以获得具有预定数据格式的目标影像。
  35. 如权利要求30所述的影像处理方法,其特征在于,所述影像数据还包括第三影像数据,所述第三影像数据具有和所述目标影像相同的数据格式,所述已处理数据具有和所述目标影像相同的数据格式,则所述目标影像包括所述已处理数据。
  36. 如权利要求35所述的影像处理方法,其特征在于,所述第三影像数据包括所述影像采集装置的编码器对具有第二格式的第二影像数据进行编码而获得数据,所述第二影像数据包括具有第一格式的第一影像数据经所述影像采集装置的图像处理器处理后的数据,所述第一影像数据包括所述影像采集装置的图像传感器采集的数据。
  37. 如权利要求36所述的影像处理方法,其特征在于,所述第一格式包括RAW格式;所述第二格式包括YUV格式、所述第三影像数据的格式包括JPEG格式或MP4格式。
  38. 如权利要求30至37任一项所述的影像处理方法,其特征在于,所述影像处理方法还包括:
    所述影像采集装置将所述目标影像存储至存储器。
  39. 如权利要求30所述的影像处理方法,其特征在于,当所述影像采集装置和所述云端设备之间的数据传输速度小于或等于第一阈值时,所述影像采集装置将在特定拍摄场 景和/或特定拍摄模式下拍摄的影像数据发送给云端设备,包括:
    所述影像采集装置将在特定拍摄场景和/或特定拍摄模式下拍摄的至少部分影像数据存储至存储器;
    当所述影像采集装置执行拍摄操作时或当所述数据传输速度大于或等于第二阈值时,将所述存储器中存储的影像数据发送给所述云端设备。
  40. 如权利要求39所述的影像处理方法,其特征在于,所述影像采集装置将在特定拍摄场景和/或特定拍摄模式下拍摄的至少部分影像数据存储至存储器中,包括:
    所述影像采集装置在所述特定拍摄场景和/或特定拍摄模式下拍摄的同时,将已拍摄的第一部分影像数据发送给所述云端设备,并将已拍摄的第二部分影像数据存储至所述存储器。
  41. 如权利要求30所述的影像处理方法,其特征在于,所述影像处理方法还包括:
    所述云端设备基于所述特定拍摄场景和/或特定拍摄模式,设定所述影像采集装置的配置信息;
    所述云端设备向所述影像采集装置发送所述配置信息;
    所述影像采集装置获取所述云端设备发送的配置信息;
    所述影像采集装置根据所述配置信息,控制所述影像采集装置进行所述特定拍摄场景和/或特定拍摄模式的拍摄。
  42. 如权利要求30所述的影像处理方法,其特征在于,所述影像处理方法还包括:
    所述云端设备获取用户输入的操作指令,所述操作指令用于控制所述影像采集装置进行拍摄;
    所述云端设备将所述操作指令发送给所述影像采集装置;
    所述影像采集装置获取所述操作指令;
    所述影像采集装置基于所述操作指令,控制所述影像采集装置进行所述特定拍摄场景和/或特定拍摄模式下的拍摄。
  43. 如权利要求30所述的影像处理方法,其特征在于,所述影像处理方法还包括:
    所述云端设备将存储的拍摄模板发送给所述影像采集装置;
    所述影像采集装置获取所述拍摄模板,并按照所述拍摄模板进行拍摄。
  44. 如权利要求30至43任一项所述的影像处理方法,其特征在于,所述特定拍摄场景包括大光比场景;
    所述特定拍摄模式包括以下模式中的至少一种:高动态范围图像拍摄模式、全景拍摄模式或小行星拍摄模式。
  45. 如权利要求30至44任一项所述的影像处理方法,其特征在于,所述影像采集装 置设置于可移动平台的本体上,所述已处理数据包括所述云端设备基于所述影像数据和拍摄时所述可移动平台的状态信息而处理获得的,所述状态信息至少包括以下信息中的至少一种:GPS位置信息、陀螺仪的测量信息或姿态信息。
  46. 如权利要求30至45任一项所述的影像处理方法,其特征在于,所述云端设备包括以下设备中的至少一种:终端设备或云端服务器。
  47. 一种影像采集装置,其特征在于,所述影像采集装置包括:
    图像传感器,至少用于在特定拍摄场景和/或特定拍摄模式下拍摄影像数据;
    存储器,用于存储可执行的程序指令;
    通信接口,用于使所述影像采集装置和外部设备进行通信;
    一个或多个处理器,用于执行所述存储器中存储的所述程序指令,使得所述处理器执行以下步骤:
    将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备,以使所述云端设备对所述影像数据进行处理;
    获取经所述云端设备处理后的已处理数据;
    基于所述已处理数据,获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像。
  48. 如权利要求47所述的影像采集装置,其特征在于,所述已处理数据具有和所述影像数据相同的数据格式,或者,所述已处理数据具有和所述影像数据不同的数据格式。
  49. 如权利要求47所述的影像采集装置,其特征在于,当所述已处理数据的数据格式和所述目标影像的预定数据格式不同时,基于所述已处理数据,获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像,包括:
    对所述已处理数据进行处理,以获得具有预定数据格式的目标影像。
  50. 如权利要求49所述的影像采集装置,其特征在于,所述影像数据包括具有第一格式的第一影像数据,所述第一影像数据包括所述影像采集装置的图像传感器采集的数据,所述已处理数据的数据格式为所述第一格式,对所述已处理数据进行处理,以获得具有预定数据格式的目标影像,包括:
    通过图像处理器对所述第一格式的所述已处理数据进行处理,以获得具有第二格式的已处理数据;
    通过编码器对所述第二格式的已处理数据进行处理,以获得具有预定数据格式的目标影像。
  51. 如权利要求49所述的影像采集装置,其特征在于,所述影像数据包括具有第二格式的第二影像数据,所述第二影像数据包括将第一影像数据经所述影像采集装置的图像 处理器处理后的数据,所述第一影像数据包括所述影像采集装置的图像传感器采集的数据,所述已处理数据的数据格式为所述第二格式,对所述已处理数据进行处理,以获得具有预定数据格式的目标影像,包括:
    通过编码器对所述第二格式的已处理数据进行处理,以获得具有预定数据格式的目标影像。
  52. 如权利要求47所述的影像采集装置,其特征在于,所述影像数据还包括第三影像数据,所述第三影像数据具有和所述目标影像相同的数据格式,所述已处理数据具有和所述目标影像相同的数据格式,则所述目标影像包括所述已处理数据。
  53. 如权利要求52所述的影像采集装置,其特征在于,所述第三影像数据包括所述影像采集装置的编码器对具有第二格式的第二影像数据进行编码而获得数据,所述第二影像数据包括具有第一格式的第一影像数据经所述影像采集装置的图像处理器处理后的数据,所述第一影像数据包括所述图像传感器采集的数据。
  54. 如权利要求53所述的影像采集装置,其特征在于,所述第一格式包括RAW格式;所述第二格式包括YUV格式、所述第三影像数据的格式包括JPEG格式或MP4格式。
  55. 如权利要求47至54任一项所述的影像采集装置,其特征在于,所述处理器还用于:
    将所述目标影像存储至存储器。
  56. 如权利要求47所述的影像采集装置,其特征在于,当所述影像采集装置和所述云端设备之间的数据传输速度小于或等于第一阈值时,将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备,包括:
    将在特定拍摄场景和/或特定拍摄模式下拍摄的至少部分影像数据存储至存储器;
    当所述影像采集装置执行拍摄操作时或当所述数据传输速度大于或等于第二阈值时,将所述存储器中存储的影像数据发送给所述云端设备。
  57. 如权利要求56所述的影像采集装置,其特征在于,将在特定拍摄场景和/或特定拍摄模式下拍摄的至少部分影像数据存储至存储器中,包括:
    在所述特定拍摄场景和/或特定拍摄模式下拍摄的同时,将已拍摄的第一部分影像数据发送给所述云端设备,并将已拍摄的第二部分影像数据存储至所述存储器。
  58. 如权利要求47所述的影像采集装置,其特征在于,所述处理器还用于:
    获取所述云端设备发送的配置信息,所述配置信息包括所述云端设备基于所述特定拍摄场景和/或特定拍摄模式而设定的信息;
    根据所述配置信息,控制所述影像采集装置进行所述特定拍摄场景和/或特定拍摄模式的拍摄。
  59. 如权利要求47所述的影像采集装置,其特征在于,所述处理器还用于:
    获取用户输入的操作指令,所述操作指令用于控制所述影像采集装置进行拍摄;
    基于所述操作指令,控制所述影像采集装置进行所述特定拍摄场景和/或特定拍摄模式下的拍摄。
  60. 如权利要求47所述的影像采集装置,其特征在于,所述处理器还用于:
    获取所述云端设备中存储的拍摄模板;
    控制所述影像采集装置按照所述拍摄模板进行拍摄。
  61. 如权利要求47至60任一项所述的影像采集装置,其特征在于,所述特定拍摄场景包括大光比场景;
    所述特定拍摄模式包括以下模式中的至少一种:高动态范围图像拍摄模式、全景拍摄模式或小行星拍摄模式。
  62. 如权利要求47至61任一项所述的影像采集装置,其特征在于,所述影像采集装置设置于可移动平台的本体上,所述已处理数据包括所述云端设备基于所述影像数据和拍摄时所述可移动平台的状态信息而处理获得的,所述状态信息至少包括以下信息中的至少一种:GPS位置信息、陀螺仪的测量信息或姿态信息。
  63. 一种云端设备,其特征在于,所述云端设备包括:
    存储器,用于存储可执行的程序指令;
    通信接口,用于使所述云端设备和外部设备进行通信;
    一个或多个处理器,用于执行所述存储器中存储的所述程序指令,使得所述处理器执行如权利要求18至29任一项所述的影像处理方法。
  64. 一种影像处理***,其特征在于,包括:影像采集装置和云端设备,所述影像采集装置和所述云端设备通信连接,其中,
    所述影像采集装置用于将在特定拍摄场景和/或特定拍摄模式下拍摄的影像数据发送给云端设备;
    所述云端设备用于获取所述影像数据,并对所述影像数据进行处理,以获得已处理数据;
    所述影像采集装置用于获取所述已处理数据,并基于所述已处理数据,获得具有与所述特定拍摄场景和/或特定拍摄模式相对应的影像效果的目标影像。
  65. 一种可移动平台,其特征在于,包括:
    可移动平台本体;
    如权利要求47-62任一项所述的影像采集装置,所述影像采集装置设置于所述可移动平台本体。
  66. 如权利要求65所述的可移动平台,其特征在于,所述可移动平台包括飞行器、机器人、车辆、云台或船。
  67. 一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现1至17任一项所述的影像处理方法,或者,实现18至29任一项所述的影像处理方法。
PCT/CN2020/126835 2020-11-05 2020-11-05 影像处理方法及***、影像采集装置、云端设备、可移动平台和存储介质 WO2022094883A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/126835 WO2022094883A1 (zh) 2020-11-05 2020-11-05 影像处理方法及***、影像采集装置、云端设备、可移动平台和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/126835 WO2022094883A1 (zh) 2020-11-05 2020-11-05 影像处理方法及***、影像采集装置、云端设备、可移动平台和存储介质

Publications (1)

Publication Number Publication Date
WO2022094883A1 true WO2022094883A1 (zh) 2022-05-12

Family

ID=81458561

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/126835 WO2022094883A1 (zh) 2020-11-05 2020-11-05 影像处理方法及***、影像采集装置、云端设备、可移动平台和存储介质

Country Status (1)

Country Link
WO (1) WO2022094883A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170214847A1 (en) * 2016-01-22 2017-07-27 Top Victory Investments Ltd. Method for Setting Shooting Parameters of HDR mode and Electronic Device Using the Same
CN107566529A (zh) * 2017-10-18 2018-01-09 维沃移动通信有限公司 一种拍照方法、移动终端及云端服务器
CN107968949A (zh) * 2018-01-22 2018-04-27 盎锐(上海)信息科技有限公司 基于全景影像的动态数据处理方法及全景拍摄***
CN108769642A (zh) * 2018-03-27 2018-11-06 深圳负空间科技有限公司 基于云端的动态照片渲染及裸眼vr交互方法
CN111060075A (zh) * 2019-12-10 2020-04-24 中国人民解放军军事科学院国防科技创新研究院 一种基于无人机的局部区域地形正射影像快速构建方法和***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170214847A1 (en) * 2016-01-22 2017-07-27 Top Victory Investments Ltd. Method for Setting Shooting Parameters of HDR mode and Electronic Device Using the Same
CN107566529A (zh) * 2017-10-18 2018-01-09 维沃移动通信有限公司 一种拍照方法、移动终端及云端服务器
CN107968949A (zh) * 2018-01-22 2018-04-27 盎锐(上海)信息科技有限公司 基于全景影像的动态数据处理方法及全景拍摄***
CN108769642A (zh) * 2018-03-27 2018-11-06 深圳负空间科技有限公司 基于云端的动态照片渲染及裸眼vr交互方法
CN111060075A (zh) * 2019-12-10 2020-04-24 中国人民解放军军事科学院国防科技创新研究院 一种基于无人机的局部区域地形正射影像快速构建方法和***

Similar Documents

Publication Publication Date Title
WO2021093793A1 (zh) 一种拍摄方法及电子设备
WO2021017836A1 (zh) 控制大屏设备显示的方法、移动终端及第一***
CN109756671B (zh) 使用多个相机记录图像的电子装置及其操作方法
CN109309796B (zh) 使用多个相机获取图像的电子装置和用其处理图像的方法
WO2019183819A1 (zh) 拍照方法、拍照装置和移动终端
US9742995B2 (en) Receiver-controlled panoramic view video share
WO2021129198A1 (zh) 一种长焦场景下的拍摄方法及终端
EP3001247A1 (en) Method and terminal for acquiring panoramic image
US20140071326A1 (en) Method for displaying camera preview screen in a portable terminal
CN112449099B (zh) 一种图像处理方法、电子设备及云服务器
WO2018228241A1 (zh) 图像选择方法及相关产品
CN112840634B (zh) 用于获得图像的电子装置及方法
US20180157252A1 (en) Electronic device and method of controlling electronic device
EP3621292B1 (en) Electronic device for obtaining images by controlling frame rate for external moving object through point of interest, and operating method thereof
EP4254938A1 (en) Electronic device and operation method therefor
US20150215514A1 (en) Device for wirelessly controlling a camera
US10291835B2 (en) Information processing apparatus, imaging apparatus, information processing method, and imaging system
WO2022033272A1 (zh) 图像处理方法以及电子设备
WO2022094883A1 (zh) 影像处理方法及***、影像采集装置、云端设备、可移动平台和存储介质
KR20210107958A (ko) 디지털 영상 안정화 장치, 그것의 동작 방법, 및 그것을 갖는 전자 장치
WO2019179413A1 (zh) 景深图像生成方法及移动终端
CN108496351B (zh) 无人机及其控制方法、控制终端及其控制方法
CN110545385A (zh) 一种图像处理方法及终端设备
JP5975005B2 (ja) 画像処理装置、情報処理装置、及び画像転送方法
CN117135268B (zh) 拍摄的方法和电子设备、芯片、存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20960344

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20960344

Country of ref document: EP

Kind code of ref document: A1