CN114697658A - 编解码方法、电子设备、通信***以及存储介质 - Google Patents

编解码方法、电子设备、通信***以及存储介质 Download PDF

Info

Publication number
CN114697658A
CN114697658A CN202011633834.8A CN202011633834A CN114697658A CN 114697658 A CN114697658 A CN 114697658A CN 202011633834 A CN202011633834 A CN 202011633834A CN 114697658 A CN114697658 A CN 114697658A
Authority
CN
China
Prior art keywords
image
camera
close
determining
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011633834.8A
Other languages
English (en)
Inventor
孙伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011633834.8A priority Critical patent/CN114697658A/zh
Priority to EP21913946.6A priority patent/EP4258661A4/en
Priority to PCT/CN2021/138939 priority patent/WO2022143205A1/zh
Publication of CN114697658A publication Critical patent/CN114697658A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种编解码方法、电子设备、通信***以及存储介质。编码方法包括：接收到第二设备发送的拍摄指令后，开启所述第一摄像头和所述第二摄像头；对第一全景图像进行编码，得到第一压缩图像，所述第一全景图像为所述第一全景图像流中任一图像；根据所述第一全景图像和第一特写图像，获取第一差值图像，所述第一特写图像为所述第一特写图像流中与所述第一全景图像同步采集的图像；对所述第一差值图像进行编码，得到第二压缩图像；向所述第二设备发送所述第一压缩图像和所述第二压缩图像。由于特写图像的画面是全景图像上局部区域的特写，因此差值图像的数据量很小，不会出现I帧并发导致的画面抖动问题。

Description

编解码方法、电子设备、通信***以及存储介质
技术领域
本申请实施例涉及终端技术领域，尤其涉及一种编解码方法、电子设备、通信***以及存储介质。
背景技术
本地设备需要借助远端设备得到多路图像流时，可通过网络控制远端设备开启多个摄像头，远端设备可将各个摄像头采集的图像流发送给本地设备，远端设备发送给本地设备的每路图像流的数据量都很大，而网络带宽有限制，因此，远端设备需对各路图像流进行压缩。
由于，各个摄像头是同步采集图像的，远端设备对各路图像流进行压缩后时，压缩流的I帧往往同时发生，I帧的数据量较大，会造成网络传输的数据量瞬时增大，引起本地设备的显示画面发生抖动，影响了用户的使用体验。
发明内容
本申请实施例提供一种编解码方法、电子设备、通信***以及存储介质，用于解决I帧并发引起的画面抖动问题。
第一方面，本申请实施例提供一种通信***，包括：第一设备和第二设备，所述第一设备包括：第一摄像头和第二摄像头，所述第一摄像头用于采集第一全景图像流，所述第二摄像头用于采集第一特写图像流，所述第一特写图像流中各个特写图像的画面为同步采集的全景图像上局部区域的特写；所述第一设备用于：接收到所述第二设备发送的拍摄指令后，开启所述第一摄像头和所述第二摄像头；对第一全景图像进行编码，得到第一压缩图像，所述第一全景图像为所述第一全景图像流中任一图像；根据所述第一全景图像和第一特写图像，获取第一差值图像，所述第一特写图像为所述第一特写图像流中与所述第一全景图像同步采集的图像；对所述第一差值图像进行编码，得到第二压缩图像；向所述第二设备发送所述第一压缩图像和所述第二压缩图像；所述第二设备用于：对所述第一压缩图像进行解码，得到第二全景图像；对所述第二压缩图像进行解码，得到第二差值图像；根据所述第二全景图像和所述第二差值图像，获取第二特写图像。
上述第一设备在本申请实施例也称为远端设备，上述第二设备在本申请实施例中也称为本地设备。上述第一摄像头在本申请实施例也称为全景摄像头，上述第二摄像头在本申请实施例也称为特写摄像头。
一种可能的实现方式中，所述第一设备具体用于：确定所述第一全景图像上所述第一特写图像对应的第一局部区域；从所述第一全景图像上截取所述第一局部区域，得到第一局部图像；将所述第一局部图像的尺寸调整至和所述第一特写图像的尺寸相同，得到第一放大图像；根据所述第一放大图像和所述第一特写图像，确定所述第一差值图像。
一种可能的实现方式中，所述第一设备具体用于：根据所述第一摄像头和所述第二摄像头的相对位置、所述第一摄像头的变焦倍数以及所述第二摄像头的变焦倍数，确定所述第一局部区域。
一种可能的实现方式中，所述第一设备具体用于：判断所述相对位置是否发生变化；若所述相对位置发生变化，则采用图像识别算法确定所述第一局部区域；若所述相对位置未发生变化，则判断所述第一摄像头的变焦倍数和所述第二摄像头的变焦倍数是否发生变化；若所述第一摄像头的变焦倍数和/或所述第二摄像头的变焦倍数发生变化，则根据所述第一摄像头的当前变焦倍数和所述第二摄像头的当前变焦倍数，确定所述第一局部区域；若所述第一摄像头的变焦倍数和所述第二摄像头的变焦倍数均未发生变化，则根据第一区域，确定所述第一局部区域，所述第一区域为所述第一全景图像的前一帧图像上所述第一特写图像的前一帧图像对应的局部区域。
一种可能的实现方式中，所述第一设备具体用于：根据所述第一全景图像的中心点、所述第一特写图像的尺寸、所述第一摄像头的当前变焦倍数以及所述第二摄像头的当前变焦倍数，确定所述第一局部区域。
一种可能的实现方式中，所述第一设备具体用于：根据所述第一区域、所述第一摄像头的当前变焦倍数以及所述第二摄像头的当前变焦倍数，确定所述第一局部区域。
一种可能的实现方式中，所述第一设备具体用于：根据所述第一特写图像上各个像素的色彩值和所述第一放大图像上各个像素的色彩值，确定各个像素的色彩值的差值；根据各个像素的色彩值的差值，获取所述第一差值图像。
一种可能的实现方式中，所述第二设备具体用于：确定所述第二全景图像上所述第二特写图像对应的第二局部区域；从所述第二全景图像上截取所述第二局部区域，得到第二局部图像；将所述第二局部图像的尺寸调整至和所述第二差值图像的尺寸相同，得到第二放大图像；根据所述第二放大图像和所述第二差值图像，确定所述第二特写图像。
一种可能的实现方式中，所述第二设备还用于：接收所述第一设备发送的所述第一局部区域的信息；所述第二设备具体用于：根据所述第一局部区域信息，确定所述第二局部区域。
一种可能的实现方式中，所述第二设备还用于：接收所述第一设备发送的所述第一摄像头的当前变焦倍数和所述第二摄像头的当前变焦倍数；所述第二设备具体用于：根据所述第一摄像头的当前变焦倍数和所述第二摄像头的当前变焦倍数，确定所述第二局部区域。
一种可能的实现方式中，所述第二设备具体用于：根据所述第二全景图像的中心点、所述第二差值图像的尺寸、所述第一摄像头的当前变焦倍数以及所述第二摄像头的当前变焦倍数，确定所述第二局部区域。
一种可能的实现方式中，所述第二设备具体用于：根据第二区域、所述第一摄像头的当前变焦倍数以及所述第二摄像头的当前变焦倍数，确定所述第二局部区域，所述第二区域为所述第二全景图像的前一帧图像上所述第二特写图像的前一帧图像对应的局部区域。
一种可能的实现方式中，所述第一设备具体用于：根据所述第二差值图像上各个像素的色彩值和所述第二放大图像上各个像素的色彩值，确定各个像素的色彩值的差/和值；根据各个像素的色彩值的差/和值，获取所述第二特写图像。
第二方面，本申请实施例提供一种编码方法，应用于第一设备，所述第一设备包括：第一摄像头和第二摄像头，所述第一摄像头用于采集第一全景图像流，所述第二摄像头用于采集第一特写图像流，所述第一特写图像流中各个特写图像的画面为同步采集的全景图像上局部区域的特写；所述方法包括：接收到第二设备发送的拍摄指令后，开启所述第一摄像头和所述第二摄像头；对第一全景图像进行编码，得到第一压缩图像，所述第一全景图像为所述第一全景图像流中任一图像；根据所述第一全景图像和第一特写图像，获取第一差值图像，所述第一特写图像为所述第一特写图像流中与所述第一全景图像同步采集的图像；对所述第一差值图像进行编码，得到第二压缩图像；向所述第二设备发送所述第一压缩图像和所述第二压缩图像。
一种可能的实现方式中，所述根据所述第一全景图像和第一特写图像，获取第一差值图像，包括：确定所述第一全景图像上所述第一特写图像对应的第一局部区域；从所述第一全景图像上截取所述第一局部区域，得到第一局部图像；将所述第一局部图像的尺寸调整至和所述第一特写图像的尺寸相同，得到第一放大图像；根据所述第一放大图像和所述第一特写图像，确定所述第一差值图像。
一种可能的实现方式中，所述确定所述第一全景图像上所述第一特写图像对应的第一局部区域，包括：根据所述第一摄像头和所述第二摄像头的相对位置、所述第一摄像头的变焦倍数以及所述第二摄像头的变焦倍数，确定所述第一局部区域。
一种可能的实现方式中，所述根据所述第一摄像头和所述第二摄像头的相对位置、所述第一摄像头的变焦倍数以及所述第二摄像头的变焦倍数，确定所述第一局部区域，包括：判断所述相对位置是否发生变化；若所述相对位置发生变化，则采用图像识别算法确定所述第一局部区域；若所述相对位置未发生变化，则判断所述第一摄像头的变焦倍数和所述第二摄像头的变焦倍数是否发生变化；若所述第一摄像头的变焦倍数和/或所述第二摄像头的变焦倍数发生变化，则根据所述第一摄像头的当前变焦倍数和所述第二摄像头的当前变焦倍数，确定所述第一局部区域；若所述第一摄像头的变焦倍数和所述第二摄像头的变焦倍数均未发生变化，则根据第一区域，确定所述第一局部区域，所述第一区域为所述第一全景图像的前一帧图像上所述第一特写图像的前一帧图像对应的局部区域。
一种可能的实现方式中，所述根据所述第一摄像头的当前变焦倍数和所述第二摄像头的当前变焦倍数，确定所述第一局部区域，包括：根据所述第一全景图像的中心点、所述第一特写图像的尺寸、所述第一摄像头的当前变焦倍数以及所述第二摄像头的当前变焦倍数，确定所述第一局部区域。
一种可能的实现方式中，所述根据所述第一摄像头的当前变焦倍数和所述第二摄像头的当前变焦倍数，确定所述第一局部区域，包括：根据所述第一区域、所述第一摄像头的当前变焦倍数以及所述第二摄像头的当前变焦倍数，确定所述第一局部区域。
一种可能的实现方式中，所述根据所述第一放大图像和所述第一特写图像，确定所述第一差值图像，包括：根据所述第一特写图像上各个像素的色彩值和所述第一放大图像上各个像素的色彩值，确定各个像素的色彩值的差值；根据各个像素的色彩值的差值，获取所述第一差值图像。
第三方面，本申请实施例提供一种解码方法，包括：对所述第一压缩图像进行解码，得到第二全景图像；对所述第二压缩图像进行解码，得到第二差值图像；根据所述第二全景图像和所述第二差值图像，获取第二特写图像。
一种可能的实现方式中，所述根据所述第二全景图像和所述第二差值图像，获取第二特写图像，包括：确定所述第二全景图像上所述第二特写图像对应的第二局部区域；从所述第二全景图像上截取所述第二局部区域，得到第二局部图像；将所述第二局部图像的尺寸调整至和所述第二差值图像的尺寸相同，得到第二放大图像；根据所述第二放大图像和所述第二差值图像，确定所述第二特写图像。
一种可能的实现方式中，所述方法还包括：接收所述第一设备发送的所述第一局部区域的信息；所述确定所述第二全景图像上所述第二特写图像对应的第二局部区域，包括：根据所述第一局部区域的信息，确定所述第二局部区域。
一种可能的实现方式中，所述方法还包括：接收所述第一设备发送的所述第一摄像头的当前变焦倍数和所述第二摄像头的当前变焦倍数；所述确定所述第二全景图像上所述第二特写图像对应的第二局部区域，包括：根据所述第一摄像头的当前变焦倍数和所述第二摄像头的当前变焦倍数，确定所述第二局部区域。
一种可能的实现方式中，所述根据所述第一摄像头的当前变焦倍数和所述第二摄像头的当前变焦倍数，确定所述第二局部区域，包括：根据所述第二全景图像的中心点、所述第二差值图像的尺寸、所述第一摄像头的当前变焦倍数以及所述第二摄像头的当前变焦倍数，确定所述第二局部区域。
一种可能的实现方式中，所述根据所述第一摄像头的当前变焦倍数和所述第二摄像头的当前变焦倍数，确定所述第二局部区域，包括：根据第二区域、所述第一摄像头的当前变焦倍数以及所述第二摄像头的当前变焦倍数，确定所述第二局部区域，所述第二区域为所述第二全景图像的前一帧图像上所述第二特写图像的前一帧图像对应的局部区域。
一种可能的实现方式中，所述根据所述第二放大图像和所述第二差值图像，确定所述第二特写图像，包括：根据所述第二差值图像上各个像素的色彩值和所述第二放大图像上各个像素的色彩值，确定各个像素的色彩值的差/和值；根据各个像素的色彩值的差/和值，获取所述第二特写图像。
第四方面，本申请实施例提供一种电子设备，包括：存储器、处理器、第一摄像头和第二摄像头；所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现第二方面所述的方法，所述第一摄像头用于采集第一全景图像流，所述第二摄像头用于采集第一特写图像流，所述第一特写图像流中各个特写图像的画面为同步采集的全景图像上局部区域的特写。
第五方面，本申请实施例提供一种电子设备，包括：存储器和处理器；所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现第三方面所述的方法。
第六方面，本申请实施例提供一种可读存储介质，所述可读存储介质上存储有计算机程序；所述计算机程序在被执行时，实现上述第二方面或者第三方面所述的方法。
本申请实施例提供的编解码方法，由于特写图像的画面是全景图像上局部区域的特写，即，特写图像的画面的内容和该局部区域的内容是一致的，仅是图像细节存在差异，因此差值图像的数据量很小，不会出现I帧并发导致的画面抖动问题。
附图说明
图1A为本申请实施例提供的一拍摄场景下全景摄像头采集到的图像示意图；
图1B为本申请实施例提供的图1A所示拍摄场景下特写摄像头采集到的图像示意图；
图1C为本申请实施例提供的摄像头的示意图；
图2为本申请实施例提供的***架构图；
图3为本申请实施例提供的应用场景图；
图4为本申请实施例提供的压缩流示意图一；
图5为本申请实施例提供的软件框架图一；
图6为本申请实施例提供的压缩流示意图二；
图7为本申请实施例提供的远端设备10和本地设备20的交互图；
图8为本申请实施例提供的获取第一差值图像的流程图；
图9为本申请实施例提供的确定第一局部区域的流程图；
图10A为本申请实施例提供的确定第一局部区域的原理图一；
图10B为本申请实施例提供的确定第一局部区域的原理图二；
图11为本申请实施例提供的获取第一放大图像的原理图；
图12为本申请实施例提供的获取第一差值图像的原理图；
图13为本申请实施例提供的获取第二特写图像的流程图；
图14A为本申请实施例提供的确定第二局部区域的原理图一；
图14B为本申请实施例提供的确定第二局部区域的原理图二；
图15为本申请实施例提供的获取第二放大图像的原理图；
图16为本申请实施例提供的获取第二特写图像的原理图；
图17为本申请实施例提供的编解码方法原理图；
图18为本申请实施例提供的软件框架图二；
图19为本申请实施例提供的电子设备100的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先，对本申请实施例中的一些用语进行解释：
全景摄像头：相对于特写摄像头，全景摄像头的视场角范围较大，采集到的图像画面范围较广。示例性的，图1A示出了一拍摄场景下全景摄像头采集到的图像。
特写摄像头：相对于全景摄像头，特写摄像头的视场角范围较小，采集到的图像画面范围较小，示例性的，图1B示出了相同拍摄场景下特写摄像头采集到的图像。
为方便说明，本申请实施例中将全景摄像头采集到的图像称为全景图像，将特写摄像头采集到的图像称为特写图像。特写图像的画面是全景图像上局部区域的特写。
示例性的，参见图1C所示，手机上的广角摄像头101的视场角范围大于主摄摄像头102，主摄摄像头102的视场角范围大于长焦摄像头103，则广角摄像头101可作为全景摄像头，主摄摄像头102和/或长焦摄像头103可作为特写摄像头，或者，主摄摄像头102可作为全景摄像头，长焦摄像头103可作为特写摄像头。需要说明的是：图1C中各个摄像头的排布方式仅是一种示例，本申请实施例不以此为限。
I帧(I frame)：采用空间压缩(Spatial compression)算法编码得到的图像帧，对I帧进行解码时，只需要I帧的数据就可重构完整图像。
P帧：采用时间压缩(Temporal compression)算法编码得到的图像帧，对P帧进行解码时，需要结合对前一P帧进行解码后得到的图像以及本P帧的数据才能重构完整图像。
图2为本申请实施例提供的***架构图。图2所示***架构包括远端设备10和本地设备20，远端设备10和本地设备20通过网络连接，远端设备10包括全景摄像头和特写摄像头。
下面介绍远端设备10的几种可能的形态：
一种可能的实现方式中，远端设备10为单独的终端设备，终端设备上安装有全景摄像头和特写摄像头，终端设备包括但不限于手机。如上文描述，终端设备上的广角摄像头101可作为全景摄像头，终端设备上的长焦摄像头103和/或主摄摄像头102可作为特写摄像头；或者，终端设备上的主摄摄像头102可作为全景摄像头，终端设备上的长焦摄像头103可作为特写摄像头，终端设备用于和本地设备20进行交互。
另一种可能的实现方式中，远端设备10包括终端设备和至少一个单反相机，终端设备和至少一个单反相机连接。终端设备上的摄像头可作为全景摄像头，至少一个单反相机上的摄像头可作为特写摄像头，至少一个单反相机将采集到的特写图像流发送给终端设备，终端设备用于和本地设备20进行交互。
或者，终端设备上的摄像头可作为特写摄像头，至少一个单反相机中一个单反相机上的摄像头可作为全景摄像头，其他单反相机上的摄像头可作为特写摄像头，至少一个单反相机将采集到的全景图像流和特写图像流发送给终端设备，终端设备用于和本地设备20进行交互。
另一种可能的实现方式中，远端设备10包括多个单反相机，多个单反相机相互连接，其中一个单反相机上的摄像头可作为全景摄像头，其他单反相机上的摄像头可作为特写摄像头。多个单反相机连接后，可协商确定用于和本地设备20交互的单反相机，其他单反相机将采集到的图像流发送给该单反相机，由该单反相机和本地设备20进行交互。
比如：远端设备10包括两个单反相机，分别为第一单反相机和第二单反相机，第一单反相机上的摄像头可作为全景摄像头，第二单反相机上的摄像头可作为特写摄像头。经过协商确定第一单反相机用于和本地设备20交互，第二单反相机可将采集到的特写图像流发送给第一单反相机，由第一单反相机和本地设备20进行交互。
本地设备20为具有显示功能的设备，本地设备20的形态包括但不限于手机、平板电脑、笔记本电脑或者电视。
在图2所示***架构下，图3为本申请实施例提供的一种应用场景图，图3以本地设备20为笔记本电脑，远端设备10为手机为例示意。本地设备20未安装摄像头或者安装的摄像头数量有限时，本地设备20可通过网络控制远端设备10开启广角摄像头101、主摄摄像头102以及长焦摄像头103，以使各个摄像头开始采集图像，远端设备10可将各个摄像头采集的图像流发送给本地设备20，图3中将广角摄像头101采集的图像流示意为全景图像流201，将主摄摄像头102采集的图像流示意为特写图像流202，将长焦摄像头103采集的图像流示意为特写图像流203，使得本地设备20可显示多路图像流，示例性的，本地设备20可在屏幕的区域301内显示全景图像流201，在区域302内显示特写图像流202，在区域303内显示特写图像流203。从而实现本地设备20借助远端设备10的多个摄像头得到多路图像流的目的。
图3中远端设备10发送给本地设备20的每路图像流的数据量都很大，而网络带宽有限制，因此，远端设备10需对各路图像流进行压缩。参见图4所示，由于广角摄像头101、主摄摄像头102以及长焦摄像头103是同步采集图像的，远端设备10对各路图像流进行压缩后时，压缩流的I帧往往同时发生，I帧的数据量较大，会造成网络传输的数据量瞬时增大，引起本地设备的显示画面发生抖动，影响了用户的使用体验。
在一些实施例中，可通过如下方式解决上述画面抖动问题：
参见图5所示，在远端设备10中设置数据发送模块11和数据处理模块12，数据发送模块11可以和数据处理模块12交互数据，数据处理模块12还和远端设备10的各个摄像头连接。数据发送模块11用于监测当前网络带宽，并将当前网络带宽发送给数据处理模块12。远端设备10上各个摄像头采集到图像流后，将图像流发送给数据处理模块12，图2中用流11、流21和流31示意各路图像流。数据处理模块12判断当前网络带宽小于预设值时，降低各路图像流压缩后的码率，然后将各路图像流的压缩流传给发送模块11，由发送模块11发送给本地设备20。
在本地设备20中设置数据恢复模块21、稳定帧率模块22以及数据消费模块23，数据恢复模块21、稳定帧率模块22以及数据消费模块23依次连接。数据恢复模块21接收到各路图像流的压缩流后，对各路图像流的压缩流进行解码，得到图2中流12、流22和流32。数据恢复模块21将解码后的各路图像流传给稳定帧率模块22，稳定帧率模块22用于保证同一时间段内发送给数据消费模块23的各路图像流的帧数相同，数据消费模块23可以为显示模块，显示模块用于显示稳定帧率模块22发送的各路图像流。
上述实施例中，由于数据处理模块12降低了各路图像流的码率，使得数据恢复模块21对各路图像流的压缩流进行解码后，得到的流11、流21和流31画面质量降低，影响了用户的使用体验。
本申请实施例提供一种编码方法，结合图3所示场景，远端设备10在对全景图像流201、特写图像流202以及特写图像流203进行编码时，参见图6所示，针对全景图像流201，采用传统方式对全景图像流201进行编码得到全景图像流201的压缩流。针对特写图像流202和特写图像流203，并非直接对特写图像流202和特写图像流203进行编码，而是利用特写图像和全景图像的相关性，计算特写图像和全景图像上局部区域的放大图像之间的差值图像，对差值图像流进行编码得到差值图像流的压缩流，图6中使用差值图像流401表示特写图像流202对应的差值图像流，使用差值图像流402表示特写图像流203对应的差值图像流。由于特写图像的画面是全景图像上局部区域的特写，即，特写图像的画面的内容和该局部区域的内容是相同的，仅是细节存在差异，因此差值图像的数据量很小，对差值图像进行编码得到的P’帧小于传统编码得到的P帧，因此不会出现I帧并发导致的画面抖动问题。另外，本申请实施例并未降低各路图像流的码率，和图5所示实施例相比，提升了画面质量。
基于图2所示***架构，下面详细介绍远端设备10和本地设备20的交互过程。
图7为本申请实施例提供的远端设备10和本地设备20的交互图。
具体的，当远端设备10为单独的终端设备时，由该终端设备和本地设备20进行交互。当远端设备10包括终端设备和至少一个单反相机时，由该终端设备和本地设备20进行交互。当远端设备10包括多个单反相机时，由多个单反相机中用于和本地设备20交互的单反相机来和本地设备20进行交互。图3所示交互图包括如下步骤：
S701、本地设备20向远端设备10发送拍摄指令。
S702、远端设备10接收到拍摄指令后，开启全景摄像头和特写摄像头。
一种可能的实现方式中，本地设备20上安装有相机应用，远端设备10安装有相应的远端相机代理，用户需要借助远端设备10的多个摄像头得到多路图像流时，可在相机应用上触发拍摄指令，相机应用将拍摄指令发送至远端相机代理，远端相机代理接收到该拍摄指令后，开启全景摄像头和特写摄像头，全景摄像头和特写摄像头开始同步采集图像。
另一种可能的实现方式中，本地设备20和远端设备10安装有同一视频通话应用，本地设备20和远端设备10视频通话接通后，用户可在本地设备20上安装的视频通话应用上触发拍摄指令，本地设备20上安装的视频通话应用将拍摄指令发送至远端设备10安装的视频通话应用，远端设备10安装的视频通话应用接收到该拍摄指令后，开启全景摄像头和特写摄像头，全景摄像头和特写摄像头开始同步采集图像。
为方便区分，下文将全景摄像头采集的图像流称为第一全景图像流，将特写摄像头采集的图像流称为第一特写图像流。
结合图3所示场景，远端设备10接收到拍摄指令后，开启广角摄像头101、主摄摄像头102以及长焦摄像头103。
S703、远端设备10对第一全景图像进行编码，得到第一压缩图像。
上述第一全景图像为第一全景图像流中任一图像，若需要将该第一全景图像编码为I帧，可采用空间压缩(Spatial compression)算法对该第一全景图像进行编码。若需要将该第一全景图像编码为P帧，可采用时间压缩(Temporal compression)算法对该第一全景图像进行编码。
在图3所示场景下，第一全景图像流为全景图像流201。
S704、远端设备10根据第一全景图像和第一特写图像，获取第一差值图像。
可通过执行图8所示方法来获取第一差值图像，为方便说明，将第一特写图像流中与第一全景图像同步采集的图像称为第一特写图像，第一特写图像的画面为第一全景图像上局部区域的特写。
图8所示方法具体包括：
S10、根据全景摄像头和特写摄像头的相对位置、全景摄像头的变焦倍数以及特写摄像头的变焦倍数，确定第一全景图像上第一特写图像对应的第一局部区域。
参见图9所示，可通过如下方式确定上述第一局部区域：
S20、判断全景摄像头和特写摄像头的相对位置是否发生变化。
具体的，获取第一相对位置，第一相对位置为全景摄像头采集第一全景图像的前一帧图像，特写摄像头采集第一特写图像的前一帧图像时两者的相对位置。将第一相对位置和当前相对位置进行对比，根据对比结果确定全景摄像头和特写摄像的相对位置是否发生变化。
若全景摄像头和特写摄像的相对位置发生变化，则执行S21，若未发生变化，则执行S22。
S21、采用图像识别算法确定第一局部区域。
S22、判断全景摄像头和特写摄像头的变焦倍数是否发生变化。
具体的，获取全景摄像头采集第一全景图像的前一帧图像时的变焦倍数，将全景摄像头当前变焦倍数和该变焦倍数进行对比，根据对比结果确定全景摄像头的变焦倍数是否发生变化；获取特写摄像头采集第一特写图像的前一帧图像时的变焦倍数，将特写摄像头当前变焦倍数和该变焦倍数进行对比，根据对比结果确定特写摄像头的变焦倍数是否发生变化。
若全景摄像头和特写摄像头中任一摄像头的变焦倍数发生变化，则执行S23，若全景摄像头和特写摄像头的变焦倍数均未发生变化，则执行S24。
S23、根据全景摄像头当前变焦倍数和特写摄像头当前变焦倍数，确定第一局部区域。
对于远端设备10为单独的终端设备的场景，第一全景图像和第一特写图像为中心点对齐后的图像，可根据全景摄像头当前变焦倍数、特写摄像头当前变焦倍数、第一特写图像的尺寸以及第一全景图像的中心点，确定第一局部区域。
下面举例说明：
参见图10A所示，假设全景摄像头当前变焦倍数为A倍，特写摄像头当前变焦倍数为B倍，第一特写图像的长为L，第一特写图像的宽为W，则第一局部区域501为：中心点为第一全景图像的中心点，长为L*(A/B)，宽为W*(A/B)的区域。
对于远端设备10包括终端设备和至少一个单反相机的场景，或者对于远端设备10包括多个单反相机的场景，可根据全景摄像头当前变焦倍数、特写摄像头当前变焦倍数以及第一区域，确定第一局部区域，第一区域为第一全景图像的前一帧图像上第一特写图像的前一帧图像对应的局部区域。
下面举例说明：
参见图10B所示，假设第一区域502为图10B中长为L，宽为W的区域，全景摄像头当前变焦倍数为A倍，特写摄像头当前变焦倍数为B倍，则第一局部区域501为：第一区域502的长放大A/B倍，第一区域502的宽放大A/B倍后对应的区域。
S24、根据第一区域，确定第一局部区域，第一区域为第一全景图像的前一帧图像上第一特写图像的前一帧图像对应的局部区域。
举例来说：参见图10B所示，假设第一区域502为第一全景图像的前一帧图像上长为L，宽为W的区域，在第一全景图像上找到与该第一区域502位置对应的区域，将该区域作为上述第一局部区域。
获取到第一局部区域后，执行如下步骤：
S11、从第一全景图像上截取S10确定的第一局部区域，得到第一局部图像。
S12、将第一局部图像的尺寸调整至和第一特写图像的尺寸相同，得到第一放大图像。
下面举例说明：
参见图11所示，通过S10可确定第一局部区域501为：中心点为第一全景图像的中心点，长为L*(A/B)，宽为W*(A/B)的区域，可从第一全景图像中将该区域501截取下来，得到第一局部图像，第一局部图像的长为L*(B/A)，宽为W*(B/A)，将第一局部图像的长放大至L，将第一局部图像的宽放大至W，便得到第一放大图像。
S13、根据第一放大图像和第一特写图像，确定第一差值图像。
一种可能的实现方式中，可根据第一特写图像上各个像素的色彩值和第一放大图像上各个像素的色彩值，确定各个像素的色彩值的差值；根据各个像素的色彩值的差值，获取第一差值图像。
示例性的，一方面，提取第一放大图像上各个像素点的YUV值，另一方面，提取第一特写图像上各个像素点的YUV值，然后，使用第一放大图像上各个像素点的YUV值减去第一特写图像上对应像素点的YUV值，得到每个像素点的YUV值，根据每个像素点的YUV值，渲染得到第一差值图像。
下面举例说明：
参见图12所示，通过S3034得到第一放大图像后，提取第一放大图像上各个像素点的YUV值，假设提取到第1行第1列的像素点的YUV值为(A1，B1，C1)。另一方面，提取第一特写图像上各个像素点的YUV值，假设提取到第1行第1列的像素点的YUV值为(A2，B2，C2)。使用第一放大图像上各个像素点的YUV值减去第一特写图像上对应像素点的YUV值，得到每个像素点的YUV值，例如第1行第1列的像素点的YUV值为(A0＝A1-A2,B0＝B1-B2,C0＝C1-C2)。得到每个像素点的YUV值后，根据每个像素点的YUV值，渲染得到第一差值图像。
需要说明的是：也可使用第一全景图像对应的第一特写图像上各个像素点的YUV值减去第一放大图像上对应像素点的YUV值，上述举例仅是一种示例，不构成对本申请的限制。
在图3所示场景下，第一特写图像流包括特写图像流202和特写图像流203，可根据全景图像流201和特写图像流202，获取特写图像流202对应的差值图像流401，可根据全景图像流201和特写图像流203，获取特写图像流203对应的差值图像流402。具体过程参见S10-S13，本申请实施例在此不再赘述。
S705、对第一差值图像进行编码，得到第二压缩图像。
一种可能的实现方式中，可采用空间压缩(Spatial compression)算法对第一差值图像进行编码。
S706、远端设备10将第一压缩图像和第二压缩图像发送给本地设备20。
S707、本地设备20对第一压缩图像进行解码，得到第二全景图像。
一种可能的实现方式中，若该第一压缩图像为I帧，基于该I帧的数据重构完整图像，若该第一压缩图像为P帧，基于对前一P帧进行解码后得到的图像以及本P帧的数据重构完整图像。
S708、本地设备20对第二压缩图像进行解码，得到第二差值图像。
一种可能的实现方式中，针对采用空间压缩(Spatial compression)算法编码得到的图像帧，基于该图像帧的数据重构完整图像。
S709、本地设备20根据第二全景图像和第二差值图像，获取第二特写图像。
针对第二差值图像流的每帧图像，可通过执行图13所示方法来获取对应的第二特写图像，为方便说明，将第二差值图像流中的该图像称为第二差值图像，将第二全景图像流中该图像对应的全景图像称为第二全景图像。
图13所示方法具体包括：
S30、确定第二全景图像上第二特写图像对应的第二局部区域。
当S20检测结果为全景摄像头和特写摄像的相对位置发生变化时，远端设备10在S706中向本地设备20发送第一压缩图像和第二压缩图像的同时，还可向本地设备20发送S21中确定的第一局部区域的信息，本地设备20根据该第一局部区域的信息，确定第二局部区域。
当S20检测结果为全景摄像头和特写摄像的相对位置未发生变化，S22检测结果为全景摄像头和特写摄像头的变焦倍数发生变化时，远端设备10在S706中向本地设备20发送第一压缩图像和第二压缩图像的同时，还可向本地设备20发送S23确定的第一局部区域的信息或者摄像头信息，摄像头信息包括全景摄像头当前变焦倍数和特写摄像头当前变焦倍数。若远端设备10向本地设备20发送的是S23确定的第一局部区域的信息，本地设备20根据该第一局部区域的信息，确定第二局部区域。
举例来说：假设远端设备10向本地设备20发送图10A中第一局部区域501的信息，本地设备20可根据第一局部区域501的信息，在第二全景图像上找到与该第一局部区域501位置对应的区域，将该区域作为第二局部区域。
若远端设备10向本地设备20发送的是摄像头信息，本地设备20通过如下方式确定第二局部区域：
一种可能的实现方式中，可根据全景摄像头当前变焦倍数、特写摄像头当前变焦倍数、第二差值图像的尺寸以及第二全景图像的中心点，确定第二局部区域，其中第二特写图像的尺寸等于第二差值图像的尺寸。
下面举例说明：
参见图14A所示，假设全景摄像头当前变焦倍数为A倍，特写摄像头当前变焦倍数为B倍。第二差值图像的长为L，第二差值图像的宽为W。则第二局部区域503为：中心点为第二全景图像的中心点，长为L*(A/B)，宽为W*(A/B)的区域。
另一种可能的实现方式中，可根据全景摄像头当前变焦倍数、特写摄像头当前变焦倍数以及第二区域，确定第二局部区域，第二区域为第二全景图像的前一帧图像上第二特写图像的前一帧图像对应的局部区域。
下面举例说明：
参见图14B所示，假设第二区域504为图14B中长为L，宽为W的区域，全景摄像头当前变焦倍数为A倍，特写摄像头当前变焦倍数为B倍，则第二局部区域503为第二区域504的长放大A/B倍，第二区域的宽放大A/B倍对应的区域。
获取到第二局部区域后，执行如下步骤：
S31、从第二全景图像上截取上述第二局部区域，得到第二局部图像。
S32、将第二局部图像的尺寸调整至和第二差值图像的尺寸相同，得到第二放大图像。
下面举例说明：
参见图15所示，通过S30可确定第二局部区域503为：中心点为第二全景图像的中心点，长为L*(A/B)，宽为W*(A/B)的区域，可从第二全景图像中将该区域截取下来，得到第二局部图像，第二局部图像的长为L*(B/A)，宽为W*(B/A)，将第二局部图像的长放大至L，将第二局部图像的宽放大至W，便得到第二放大图像。
S33、根据第二放大图像和第二差值图像，确定第二特写图像。
一种可能的实现方式中，可根据所述差值图像上各个像素的色彩值和第二放大图像上各个像素的色彩值，确定各个像素的色彩值的差/和值；根据各个像素的色彩值的差/和值，获取第二特写图像。
示例性的，一方面，提取第二放大图像上各个像素点的YUV值，另一方面，提取第二差值图像上各个像素点的YUV值，然后，使用第二放大图像上各个像素点的YUV值减去第二差值图像上对应像素点的YUV值，得到每个像素点的YUV值，根据两个图像上对应像素点的YUV值，渲染得到第二特写图像。
下面举例说明：
参见图16所示，通过S32得到第二放大图像后，提取第二放大图像上各个像素点的YUV值，假设提取到第1行第1列的像素点的YUV值为(A1，B1，C1)。另一方面，提取第二差值图像上各个像素点的YUV值，假设提取到第1行第1列的像素点的YUV值为(A0，B0，C0)。使用第一放大图像上各个像素点的YUV值减去第二差值图像上对应像素点的YUV值，得到每个像素点的YUV值，例如第1行第1列的像素点的YUV值为(A2＝A1-A0,B2＝B1-B0,C2＝C1-C0)。得到每个像素点的YUV值后，根据每个像素点的YUV值，渲染得到第二特写图像。
在图3所示场景下，本地设备20接收到全景图像流201的压缩流，差值图像流401的压缩流以及差值图像流402的压缩流后，对全景图像流201的压缩流进行解码，可得到解码后的全景图像流，将该解码后的全景图像流记为第1路图像流。对差值图像流401的压缩流进行解码，可得到解码后的差值图像流，可根据第1路图像流和该解码后的差值图像流，通过S30-S33获取第2路图像流。对差值图像流402的压缩流进行解码，可得到解码后的差值图像流，可根据第1路图像流和该解码后的差值图像流，通过S30-S33获取第3路图像流。本地设备可在显示屏上显示上述3路图像流，供用户查看，从而实现本地设备20借助远端设备10的多个摄像头得到多路图像流的目的。
需要说明的是：在获取第3路图像流时，也可根据第2路图像流和解码后的差值图像流，获取该第3路图像流，本申请实施例不以此为限。
本申请实施例提供的编解码方式，由于特写图像的画面是全景图像上局部区域的特写，即，特写图像的画面的内容和该局部区域的内容是一致的，仅是图像细节存在差异，因此差值图像的数据量很小，不会出现I帧并发导致的画面抖动问题。另外，本申请实施例并未降低各路图像流的码率，和图5所示实施例相比，提升了画面质量。
图17为本申请提供的另一实施例的示意图。远端设备10采集到第一全景图像和第一特写图像后，通过执行S703，得到第一压缩图像。通过执行S10和S11，得到第一局部图像。基于第一局部图像，通过执行S12，得到第一放大图像。基于第一放大图像和第一特写图像，通过执行S13，得到第一差值图像。本地设备20接收到远端设备10发送的第一压缩图像和第二压缩图像后，通过执行S707，得到第二全景图像，通过执行S708，得到第二差值图像。通过执行S30和S31，得到第二局部图像。基于第二局部图像，通过执行S32，得到第二放大图像。基于第二放大图像和第二差值图像，通过执行S33，得到第二特写图像。
图18为本申请提供的软件框架图。参见图18所示，远端设备10包括但不限于远端相机代理13、摄像头控制模块14、摄像头1-3，第一截取放大模块15、差值计算模块16以及编码模块17。本地设备20包括但不限于相机应用24、相机控制模块25、解码模块26、第二截取放大模块27、特写图恢复模块28、稳定帧率输出模块29以及数据输出模块30。
一种可能的实现方式中，为了借助远端设备10的多个摄像头得到多路图像流，用户可在相机应用24上触发拍摄指令，相机应用24将该拍摄指令发送给相机控制模块25，相机控制模块25将该拍摄指令发送给远端设备代理13，远端设备代理13进一步将该拍摄指令发送给摄像头控制模块14，摄像头控制模块14开启摄像头1-3，摄像头1开始采集全景图像，摄像头2和摄像头3开始采集特写图像。摄像头1可以为广角摄像头、摄像头2和摄像头3可分别为主摄摄像头和长焦摄像头。
远端设备10中编码模块17用于对第一全景图像进行编码，得到第一压缩图像。第一截取放大模块15用于根据全景摄像头和特写摄像头的相对位置、全景摄像头的变焦倍数以及特写摄像头的变焦倍数，确定第一全景图像上第一特写图像对应的第一局部区域，从第一全景图像上截取上述第一局部区域，得到第一局部图像，将第一局部图像的尺寸调整至和第一特写图像的尺寸相同，得到第一放大图像。差值计算模块16用于根据第一放大图像和第一特写图像，确定第一差值图像。编码模块17还用于对第一差值图像进行编码，得到第二压缩图像，并将第一压缩图像和第二压缩图像发送给本地设备20。
本地设备20中解码模块26用于对第一压缩图像进行解码，得到第二全景图像，对第二压缩图像进行解码，得到第二差值图像。第二截取放大模块27用于确定第二全景图像上第二特写图像对应的第二局部区域，从第二全景图像上截取上述第二局部区域，得到第二局部图像，将第二局部图像的尺寸调整至和第二差值图像的尺寸相同，得到第二放大图像。特写图恢复模块28用于根据第二放大图像和第二差值图像，确定第二特写图像。稳定帧率输出模块29用于控制同一时间段内发送给数据输出模30块的各路图像流的帧数相同，数据输出模块30用于将各路图像流发送给相机应用，相机应用24用于显示各路图像流。
图19示出了电子设备100的结构示意图。远端设备10和本地设备20均可采用图15示意的结构。
电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，按键190，马达191，指示器192，摄像头193，显示屏194。
可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。该指令包括本申请实施例提供的方法对应的指令，处理器110执行该指令时，可实现各个流程图中的步骤。
在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。
远端设备10采用图19所示结构时，视频编码器包括图18中编码模块17。本地设备20采用图19所示结构时，视频解码器包括图18中解码模块26。
摄像头193可包括广角摄像头、主摄摄像头和/或长焦摄像头。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (30)

1.一种通信***，其特征在于，所述通信***包括：第一设备和第二设备，所述第一设备包括：第一摄像头和第二摄像头，所述第一摄像头用于采集第一全景图像流，所述第二摄像头用于采集第一特写图像流，所述第一特写图像流中各个特写图像的画面为同步采集的全景图像上局部区域的特写；
所述第一设备用于：
接收到所述第二设备发送的拍摄指令后，开启所述第一摄像头和所述第二摄像头；
对第一全景图像进行编码，得到第一压缩图像，所述第一全景图像为所述第一全景图像流中任一图像；
根据所述第一全景图像和第一特写图像，获取第一差值图像，所述第一特写图像为所述第一特写图像流中与所述第一全景图像同步采集的图像；
对所述第一差值图像进行编码，得到第二压缩图像；
向所述第二设备发送所述第一压缩图像和所述第二压缩图像；
所述第二设备用于：
对所述第一压缩图像进行解码，得到第二全景图像；
对所述第二压缩图像进行解码，得到第二差值图像；
根据所述第二全景图像和所述第二差值图像，获取第二特写图像。
2.根据权利要求1所述的通信***，其特征在于，所述第一设备具体用于：
确定所述第一全景图像上所述第一特写图像对应的第一局部区域；
从所述第一全景图像上截取所述第一局部区域，得到第一局部图像；
将所述第一局部图像的尺寸调整至和所述第一特写图像的尺寸相同，得到第一放大图像；
根据所述第一放大图像和所述第一特写图像，确定所述第一差值图像。
3.根据权利要求2所述的通信***，其特征在于，所述第一设备具体用于：
根据所述第一摄像头和所述第二摄像头的相对位置、所述第一摄像头的变焦倍数以及所述第二摄像头的变焦倍数，确定所述第一局部区域。
4.根据权利要求3所述的通信***，其特征在于，所述第一设备具体用于：
判断所述相对位置是否发生变化；
若所述相对位置发生变化，则采用图像识别算法确定所述第一局部区域；
若所述相对位置未发生变化，则判断所述第一摄像头的变焦倍数和所述第二摄像头的变焦倍数是否发生变化；
若所述第一摄像头的变焦倍数和/或所述第二摄像头的变焦倍数发生变化，则根据所述第一摄像头的当前变焦倍数和所述第二摄像头的当前变焦倍数，确定所述第一局部区域；
若所述第一摄像头的变焦倍数和所述第二摄像头的变焦倍数均未发生变化，则根据第一区域，确定所述第一局部区域，所述第一区域为所述第一全景图像的前一帧图像上所述第一特写图像的前一帧图像对应的局部区域。
5.根据权利要求4所述的通信***，其特征在于，所述第一设备具体用于：
根据所述第一全景图像的中心点、所述第一特写图像的尺寸、所述第一摄像头的当前变焦倍数以及所述第二摄像头的当前变焦倍数，确定所述第一局部区域。
6.根据权利要求4所述的通信***，其特征在于，所述第一设备具体用于：
根据所述第一区域、所述第一摄像头的当前变焦倍数以及所述第二摄像头的当前变焦倍数，确定所述第一局部区域。
7.根据权利要求2-6任一项所述的通信***，其特征在于，所述第一设备具体用于：
根据所述第一特写图像上各个像素的色彩值和所述第一放大图像上各个像素的色彩值，确定各个像素的色彩值的差值；
根据各个像素的色彩值的差值，获取所述第一差值图像。
8.根据权利要求2-6任一项所述的通信***，其特征在于，所述第二设备具体用于：
确定所述第二全景图像上所述第二特写图像对应的第二局部区域；
从所述第二全景图像上截取所述第二局部区域，得到第二局部图像；
将所述第二局部图像的尺寸调整至和所述第二差值图像的尺寸相同，得到第二放大图像；
根据所述第二放大图像和所述第二差值图像，确定所述第二特写图像。
9.根据权利要求8所述的通信***，其特征在于，所述第二设备还用于：
接收所述第一设备发送的所述第一局部区域的信息；
所述第二设备具体用于：
根据所述第一局部区域信息，确定所述第二局部区域。
10.根据权利要求8所述的通信***，其特征在于，所述第二设备还用于：
接收所述第一设备发送的所述第一摄像头的当前变焦倍数和所述第二摄像头的当前变焦倍数；
所述第二设备具体用于：
根据所述第一摄像头的当前变焦倍数和所述第二摄像头的当前变焦倍数，确定所述第二局部区域。
11.根据权利要求10所述的通信***，其特征在于，所述第二设备具体用于：
根据所述第二全景图像的中心点、所述第二差值图像的尺寸、所述第一摄像头的当前变焦倍数以及所述第二摄像头的当前变焦倍数，确定所述第二局部区域。
12.根据权利要求10所述的通信***，其特征在于，所述第二设备具体用于：
根据第二区域、所述第一摄像头的当前变焦倍数以及所述第二摄像头的当前变焦倍数，确定所述第二局部区域，所述第二区域为所述第二全景图像的前一帧图像上所述第二特写图像的前一帧图像对应的局部区域。
13.根据权利要求8-12任一项所述的通信***，其特征在于，所述第一设备具体用于：
根据所述第二差值图像上各个像素的色彩值和所述第二放大图像上各个像素的色彩值，确定各个像素的色彩值的差/和值；
根据各个像素的色彩值的差/和值，获取所述第二特写图像。
14.一种编码方法，其特征在于，应用于第一设备，所述第一设备包括：第一摄像头和第二摄像头，所述第一摄像头用于采集第一全景图像流，所述第二摄像头用于采集第一特写图像流，所述第一特写图像流中各个特写图像的画面为同步采集的全景图像上局部区域的特写；所述方法包括：
接收到第二设备发送的拍摄指令后，开启所述第一摄像头和所述第二摄像头；
对第一全景图像进行编码，得到第一压缩图像，所述第一全景图像为所述第一全景图像流中任一图像；
根据所述第一全景图像和第一特写图像，获取第一差值图像，所述第一特写图像为所述第一特写图像流中与所述第一全景图像同步采集的图像；
对所述第一差值图像进行编码，得到第二压缩图像；
向所述第二设备发送所述第一压缩图像和所述第二压缩图像。
15.根据权利要求14所述的方法，其特征在于，所述根据所述第一全景图像和第一特写图像，获取第一差值图像，包括：
确定所述第一全景图像上所述第一特写图像对应的第一局部区域；
从所述第一全景图像上截取所述第一局部区域，得到第一局部图像；
将所述第一局部图像的尺寸调整至和所述第一特写图像的尺寸相同，得到第一放大图像；
根据所述第一放大图像和所述第一特写图像，确定所述第一差值图像。
16.根据权利要求15所述的方法，其特征在于，所述确定所述第一全景图像上所述第一特写图像对应的第一局部区域，包括：
根据所述第一摄像头和所述第二摄像头的相对位置、所述第一摄像头的变焦倍数以及所述第二摄像头的变焦倍数，确定所述第一局部区域。
17.根据权利要求16所述的方法，其特征在于，所述根据所述第一摄像头和所述第二摄像头的相对位置、所述第一摄像头的变焦倍数以及所述第二摄像头的变焦倍数，确定所述第一局部区域，包括：
判断所述相对位置是否发生变化；
若所述相对位置发生变化，则采用图像识别算法确定所述第一局部区域；
若所述相对位置未发生变化，则判断所述第一摄像头的变焦倍数和所述第二摄像头的变焦倍数是否发生变化；
若所述第一摄像头的变焦倍数和/或所述第二摄像头的变焦倍数发生变化，则根据所述第一摄像头的当前变焦倍数和所述第二摄像头的当前变焦倍数，确定所述第一局部区域；
若所述第一摄像头的变焦倍数和所述第二摄像头的变焦倍数均未发生变化，则根据第一区域，确定所述第一局部区域，所述第一区域为所述第一全景图像的前一帧图像上所述第一特写图像的前一帧图像对应的局部区域。
18.根据权利要求17所述的方法，其特征在于，所述根据所述第一摄像头的当前变焦倍数和所述第二摄像头的当前变焦倍数，确定所述第一局部区域，包括：
根据所述第一全景图像的中心点、所述第一特写图像的尺寸、所述第一摄像头的当前变焦倍数以及所述第二摄像头的当前变焦倍数，确定所述第一局部区域。
19.根据权利要求17所述的方法，其特征在于，所述根据所述第一摄像头的当前变焦倍数和所述第二摄像头的当前变焦倍数，确定所述第一局部区域，包括：
根据所述第一区域、所述第一摄像头的当前变焦倍数以及所述第二摄像头的当前变焦倍数，确定所述第一局部区域。
20.根据权利要求15-19任一项所述的方法，其特征在于，所述根据所述第一放大图像和所述第一特写图像，确定所述第一差值图像，包括：
根据所述第一特写图像上各个像素的色彩值和所述第一放大图像上各个像素的色彩值，确定各个像素的色彩值的差值；
根据各个像素的色彩值的差值，获取所述第一差值图像。
21.一种解码方法，其特征在于，包括：
对第一压缩图像进行解码，得到第二全景图像；
对第二压缩图像进行解码，得到第二差值图像；
根据所述第二全景图像和所述第二差值图像，获取第二特写图像。
22.根据权利要求21所述的方法，其特征在于，所述根据所述第二全景图像和所述第二差值图像，获取第二特写图像，包括：
确定所述第二全景图像上所述第二特写图像对应的第二局部区域；
从所述第二全景图像上截取所述第二局部区域，得到第二局部图像；
将所述第二局部图像的尺寸调整至和所述第二差值图像的尺寸相同，得到第二放大图像；
根据所述第二放大图像和所述第二差值图像，确定所述第二特写图像。
23.根据权利要求22所述的方法，其特征在于，所述方法还包括：
接收第一设备发送的第一局部区域的信息；
所述确定所述第二全景图像上所述第二特写图像对应的第二局部区域，包括：
根据所述第一局部区域的信息，确定所述第二局部区域。
24.根据权利要求22所述的方法，其特征在于，所述方法还包括：
接收第一设备发送的第一摄像头的当前变焦倍数和第二摄像头的当前变焦倍数；
所述确定所述第二全景图像上所述第二特写图像对应的第二局部区域，包括：
根据所述第一摄像头的当前变焦倍数和所述第二摄像头的当前变焦倍数，确定所述第二局部区域。
25.根据权利要求24所述的方法，其特征在于，所述根据所述第一摄像头的当前变焦倍数和所述第二摄像头的当前变焦倍数，确定所述第二局部区域，包括：
根据所述第二全景图像的中心点、所述第二差值图像的尺寸、所述第一摄像头的当前变焦倍数以及所述第二摄像头的当前变焦倍数，确定所述第二局部区域。
26.根据权利要求24所述的方法，其特征在于，所述根据所述第一摄像头的当前变焦倍数和所述第二摄像头的当前变焦倍数，确定所述第二局部区域，包括：
根据第二区域、所述第一摄像头的当前变焦倍数以及所述第二摄像头的当前变焦倍数，确定所述第二局部区域，所述第二区域为所述第二全景图像的前一帧图像上所述第二特写图像的前一帧图像对应的局部区域。
27.根据权利要求22-26任一项所述的方法，其特征在于，所述根据所述第二放大图像和所述第二差值图像，确定所述第二特写图像，包括：
根据所述第二差值图像上各个像素的色彩值和所述第二放大图像上各个像素的色彩值，确定各个像素的色彩值的差/和值；
根据各个像素的色彩值的差/和值，获取所述第二特写图像。
28.一种电子设备，其特征在于，包括：存储器、处理器、第一摄像头和第二摄像头；所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现权利要求14-20中任一项所述的方法，所述第一摄像头用于采集第一全景图像流，所述第二摄像头用于采集第一特写图像流，所述第一特写图像流中各个特写图像的画面为同步采集的全景图像上局部区域的特写。
29.一种电子设备，其特征在于，包括：存储器和处理器；所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现权利要求21-27中任一项所述的方法。
30.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序；所述计算机程序在被执行时，实现上述权利要求14-20任一项所述的方法，或者权利要求21-27任一项所述的方法。
CN202011633834.8A 2020-12-31 2020-12-31 编解码方法、电子设备、通信***以及存储介质 Pending CN114697658A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011633834.8A CN114697658A (zh) 2020-12-31 2020-12-31 编解码方法、电子设备、通信***以及存储介质
EP21913946.6A EP4258661A4 (en) 2020-12-31 2021-12-16 ENCODING/DECODING METHOD, ELECTRONIC DEVICE, COMMUNICATION SYSTEM AND STORAGE MEDIUM
PCT/CN2021/138939 WO2022143205A1 (zh) 2020-12-31 2021-12-16 编解码方法、电子设备、通信***以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011633834.8A CN114697658A (zh) 2020-12-31 2020-12-31 编解码方法、电子设备、通信***以及存储介质

Publications (1)

Publication Number Publication Date
CN114697658A true CN114697658A (zh) 2022-07-01

Family

ID=82133767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011633834.8A Pending CN114697658A (zh) 2020-12-31 2020-12-31 编解码方法、电子设备、通信***以及存储介质

Country Status (3)

Country Link
EP (1) EP4258661A4 (zh)
CN (1) CN114697658A (zh)
WO (1) WO2022143205A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6515798A (en) * 1997-04-16 1998-11-11 Isight Ltd. Video teleconferencing
CN101453639B (zh) * 2007-11-29 2012-05-30 展讯通信（上海）有限公司 支持roi区域的多路视频流的编码、解码方法和***
CN101895748B (zh) * 2010-06-21 2014-03-26 华为终端有限公司 一种编解码方法以及编解码装置
KR102267922B1 (ko) * 2015-09-23 2021-06-22 노키아 테크놀로지스 오와이 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품
KR101713492B1 (ko) * 2016-06-27 2017-03-07 가천대학교 산학협력단 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치
KR102328539B1 (ko) * 2017-07-27 2021-11-18 삼성전자 주식회사 복수의 카메라를 이용하여 영상을 획득하기 위한 전자 장치 및 이를 이용한 영상 처리 방법
CN109492506A (zh) * 2017-09-13 2019-03-19 华为技术有限公司 图像处理方法、装置和***
CN108174102A (zh) * 2018-01-05 2018-06-15 北京红云融通技术有限公司 一种获取动态对象的图像的方法以及***
EP3515082B1 (en) * 2018-01-19 2020-05-13 Nokia Technologies Oy Server device for streaming video content and client device for receiving and rendering video content

Also Published As

Publication number Publication date
EP4258661A4 (en) 2024-05-29
WO2022143205A1 (zh) 2022-07-07
EP4258661A1 (en) 2023-10-11

Similar Documents

Publication Publication Date Title
US9325905B2 (en) Generating a zoomed image
US8970695B2 (en) Image processing device, image processing system, camera device, image processing method, and program
JP5731672B2 (ja) 暗黙基準フレームを用いる動画像符号化システム
CN110381276B (zh) 一种视频拍摄方法及电子设备
KR101295441B1 (ko) 기록 매체, 동화상 처리 장치 및 방법, 촬상 장치, 호스트 단말기 및 촬상 시스템
JP2009303236A (ja) 適応的画像安定
CN113992883B (zh) 视频会议处理方法、处理设备、会议***以及存储介质
CN103517072A (zh) 视频通信方法和设备
US8411133B2 (en) Mobile terminal and panoramic photographing method for the same
KR100719841B1 (ko) 썸네일 생성 및 표시 방법
CN113726815B (zh) 一种动态调整视频的方法、电子设备、芯片***和存储介质
CN115546043B (zh) 视频处理方法及其相关设备
US20190306462A1 (en) Image processing apparatus, videoconference system, image processing method, and recording medium
CN115623215B (zh) 一种播放视频的方法、电子设备和计算机可读存储介质
CN114697658A (zh) 编解码方法、电子设备、通信***以及存储介质
CN108184053B (zh) 嵌入式图像处理方法及装置
JP5899918B2 (ja) 画像処理装置、画像処理方法
US8208555B2 (en) Image capturing and transmission device and image receiving and reconstruction device
CN111246123B (zh) 图像处理方法及相关产品
WO2020181540A1 (zh) 一种视频处理方法、装置、编码设备及解码设备
JP2001111976A (ja) 映像撮影装置および通信端末装置
JP2009171272A (ja) テレビ電話端末装置
KR100498362B1 (ko) 휴대폰의 복원영상 후처리 방법
CN117651141A (zh) 一种处理方法和电子设备
JP6627459B2 (ja) 情報送信装置、情報処理システム、送信方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination