CN115564659B - 视频处理方法和装置 - Google Patents

视频处理方法和装置 Download PDF

Info

Publication number
CN115564659B
CN115564659B CN202210193750.XA CN202210193750A CN115564659B CN 115564659 B CN115564659 B CN 115564659B CN 202210193750 A CN202210193750 A CN 202210193750A CN 115564659 B CN115564659 B CN 115564659B
Authority
CN
China
Prior art keywords
hdr video
video
image sequence
control
hdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210193750.XA
Other languages
English (en)
Other versions
CN115564659A (zh
Inventor
崔瀚涛
张东
张鹏鹏
莫燕
王晨清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210193750.XA priority Critical patent/CN115564659B/zh
Publication of CN115564659A publication Critical patent/CN115564659A/zh
Priority to US18/558,829 priority patent/US20240223911A1/en
Priority to PCT/CN2023/071669 priority patent/WO2023160295A1/zh
Priority to EP23758920.5A priority patent/EP4318383A1/en
Application granted granted Critical
Publication of CN115564659B publication Critical patent/CN115564659B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/59Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种视频处理方法和装置,方法包括:第一设备接收在电影模式中开启拍摄的操作;响应于开启拍摄的操作,第一设备基于摄像头获取第一图像序列;第一设备基于第一图像序列、以及第一亮度场景对应的第一动态元数据编码得到第一HDR视频;第二设备获取来自于第一设备的第一HDR视频;第二设备基于预设亮度对第一HDR视频进行亮度调节,得到第二HDR视频;第二设备播放第二HDR视频。这样,第一设备可以为亮度场景匹配动态元数据,编码得到HDR视频,将HDR视频发送至第二设备,使得第二设备可以基于预设亮度,对HDR视频进行亮度映射,并显示亮度合适的视频内容。

Description

视频处理方法和装置
技术领域
本申请涉及终端技术领域,尤其涉及一种视频处理方法和装置。
背景技术
随着互联网的普及和发展,人们对于终端设备的功能需求也越发多样化,例如用户可以利用终端设备的相机应用中的电影模式,拍摄得到高动态范围(High DynamicRange,HDR)视频。
通常情况下,终端设备可以通过对基于摄像头获取的多帧图像进行处理得到HDR视频,该HDR视频可以为按照静态元数据进行配置的,例如该HDR的转换曲线-感知量化(perceptual quantization,PQ)曲线是按照绝对亮度进行固定映射的,如该绝对亮度可以为终端设备的显示器的基准显示亮度,如1000尼特(nit)。
然而,当该HDR视频在峰值亮度达不到1000nit的设备上显示时,则会造成高亮信息的丢失,对HDR视频的显示效果造成影响。
发明内容
本申请实施例提供一种视频处理方法和装置,使得第一设备可以为基于摄像头获取的多帧图像分别对应的不同亮度场景,匹配不同的动态元数据,利用不同的动态元数据对该多帧图像分别进行调整,得到HDR视频,并将HDR视频发送至第二设备,使得第二设备可以基于HDR视频的预设亮度,对HDR视频进行亮度映射,并显示亮度合适的视频内容。
第一方面,本申请实施例提供一种视频处理方法,应用于视频处理***,视频处理***中包括:第一设备以及第二设备,方法包括:第一设备接收在电影模式中开启拍摄的操作;电影模式为用于录制得到高动态范围HDR视频的模式;响应于开启拍摄的操作,第一设备基于摄像头获取第一图像序列;第一图像序列对应第一亮度场景;第一设备基于第一图像序列、以及第一亮度场景对应的第一动态元数据编码得到第一HDR视频;第一动态元数据中包括预设亮度;第二设备获取来自于第一设备的第一HDR视频;第二设备基于预设亮度对第一HDR视频进行亮度调节,得到第二HDR视频;第二设备播放第二HDR视频。这样,第一设备可以为基于摄像头获取的多帧图像分别对应的不同亮度场景,匹配不同的动态元数据,利用不同的动态元数据对该多帧图像分别进行调整,得到HDR视频,并将HDR视频发送至第二设备,使得第二设备可以基于HDR视频的预设亮度,对HDR视频进行亮度映射,并显示亮度合适的视频内容。
在一种可能的实现方式中,第二设备基于预设亮度对第一HDR视频进行亮度调节,得到第二HDR视频,包括:第二设备确定亮度比例;亮度比例为第二设备的峰值亮度与预设亮度之间的比例;第二设备基于亮度比例对第一HDR视频进行亮度调节,得到第二HDR视频。这样,使得第二设备还可以根据第二设备的硬件可以支持的峰值亮度对第一HDR视频的亮度进行调节,使得调节后的第二HDR视频的播放效果更好。
在一种可能的实现方式中,方法还包括:第一设备基于摄像头继续获取第二图像序列;其中,第二图像序列对应第二亮度场景;第一亮度场景与第二亮度场景不同;第一设备基于第一图像序列、以及第一亮度场景对应的第一动态元数据编码得到第一HDR视频,包括:第一设备基于第一图像序列、第二图像序列、第一亮度场景对应的第一动态元数据、以及第二亮度场景对应的第二动态元数据,编码得到第一HDR视频。这样,使得第一设备可以为不同的亮度场景匹配相应的动态元数据,并基于不同的动态元数据编码得到HDR视频。
在一种可能的实现方式中,第一设备基于第一图像序列、以及第一亮度场景对应的第一动态元数据编码得到第一HDR视频之前,方法还包括:第一设备对第一图像序列进行图像前处理,得到图像前处理后的第一图像序列;第一设备对图像前处理后的第一图像序列进行伽马校正处理,得到伽马校正处理后的第一图像序列;第一设备对伽马校正处理后的第一图像序列以进行3D查找表处理,得到3D查找表处理后的第一图像序列;其中,3D查找表处理后的第一图像序列中包括第一图像序列对应的第一静态元数据;第一设备基于第一图像序列、以及第一亮度场景对应的第一动态元数据编码得到第一HDR视频,包括:第一设备基于3D查找表处理后的第一图像序列、以及第一亮度场景对应的第一动态元数据编码得到第一HDR视频。这样,使得第一设备可以基于对第一图像序列的图像前处理以及图像后处理,得到画面效果较好的HDR视频。
在一种可能的实现方式中,第一HDR视频中包括:第一静态元数据以及第一动态元数据。
在一种可能的实现方式中,方法还包括:当第二设备确定支持对第一静态元数据进行处理时,第二设备将第二HDR视频解码为第一图像序列、以及第一静态元数据;第二设备基于第一图像序列、以及第一静态元数据编码得到第三HDR视频;第二HDR视频与第三HDR视频不同。这样,使得第二设备可以兼容动态元数据以及静态元数据,并且不支持对动态元数据进行处理的第二设备可以基于静态元数据生成HDR视频。
在一种可能的实现方式中,第一HDR视频的类型为HDR10+视频,第二HDR视频的类型为HDR10+视频,第三HDR视频的类型为HDR10视频。
在一种可能的实现方式中,第一设备接收在电影模式中开启拍摄的操作,包括:第一设备接收用于打开电影模式的操作;响应于打开电影模式的操作,第一设备显示第一界面;第一界面中包括:用于录制得到HDR视频的控件、以及用于开启拍摄的控件;在用于录制得到HDR视频的控件的状态为关闭状态时,第一设备接收用于开启用于录制得到HDR视频的控件的操作;响应于用于录制得到HDR视频的控件的操作,第一设备显示第二界面;第二界面中包括:用于指示4K HDR10+模式已开启的提示信息;在用于录制得到HDR视频的控件的状态为开启状态时,第一设备接收针对用于开启拍摄的控件的操作。这样,使得第一设备可以基于用户对于用于录制得到HDR视频的控件的灵活操作,确定是否需要拍摄得到4K HDR视频。
在一种可能的实现方式中,方法还包括:在用于录制得到HDR视频的控件的状态为开启状态时,第一设备接收用于关闭用于录制得到HDR视频的控件的操作;响应于用于录制得到HDR视频的控件的操作,第一设备显示第三界面;第三界面中包括:用于指示4K HDR10+模式已关闭的提示信息。这样,使得第一设备可以根据提示信息,确定当前是否开启4KHDR10+模式,进而提高用户对于视频录制功能的使用体验。
在一种可能的实现方式中,方法还包括:第一设备接收到第一次打开电影模式的操作;响应于第一次打开电影模式的操作,第一设备显示第四界面;第四界面中包括:用于录制得到HDR视频的控件、以及用于指示开启用于录制得到HDR视频的控件后将录制4KHDR10+视频的提示信息。这样,在用户第一打开电影模式时,用户就可以基于提示信息的指引,确定如何开启4K HDR10+模式,进而提高用户对于视频录制功能的使用体验。
在一种可能的实现方式中,第一设备接收在电影模式中开启拍摄的操作,包括:第一设备接收用于打开电影模式的操作;响应于打开电影模式的操作,第一设备显示第五界面;第五界面中包括:用于查看第一应用对应的设置项的控件、以及用于开启拍摄的控件;第一设备接收针对用于查看第一应用对应的设置项的控件的操作;响应于查看第一应用对应的设置项的控件的操作,第一设备显示第六界面;第六界面中包括:用于在电影模式中采用10比特HDR记录视频并将视频切换至4K的第一控件;在第一控件的状态为开启状态下,第一设备接收针对用于开启拍摄的控件的操作。这样,使得用户可以根据拍摄需求对设置功能中的电影HDR功能控件进行灵活控制,进而实现对于HDR10+视频的录制。其中,第一应用可以为相机应用。
在一种可能的实现方式中,方法还包括:第一设备接收针对用于查看第一应用中的功能详情的控件的操作;响应于查看第一应用中的功能详情的控件的操作,第一设备显示第七界面;其中,第七界面中包括:电影模式对应的功能详情,电影模式的功能详情用于指示电影模式可录制4K HDR10+视频。这样,使得用户可以根据电影模式对应的功能详情,了解对相机应用中的各种功能,进而提高用户使用相机应用的使用体验。
在一种可能的实现方式中,方法还包括:第一设备接收用于打开第二应用的操作;响应于打开第二应用的操作,第一设备显示第八界面;其中,第八界面中包括:第一HDR视频、以及第一HDR视频对应的标识;标识用于指示第一HDR视频的类型;第一设备接收针对第一HDR视频的操作;响应于针对第一HDR视频的操作,第一设备显示第九界面;第九界面中包括:标识。这样,使得用户可以根据标识准确的在图库应用程序中找到HDR10+视频,增加用户查看HDR10+视频的便捷性。其中,第二应用可以为图库应用程序。
在一种可能的实现方式中,第二设备获取来自于第一设备的第一HDR视频之后,方法还包括:第二设备显示第十界面;其中,第十界面中包括:用于指示第一HDR视频为包含动态元数据的HDR10+视频的提示信息、用于允许接收第一HDR视频的控件、以及用于拒绝接收第一HDR视频的控件;第二设备接收针对用于允许接收第一HDR视频的控件的操作;响应于允许接收第一HDR视频的控件的操作,第二设备显示第十一界面;其中,第十一界面中包括用于指示基于动态元数据对第一HDR视频进行播放的提示信息。这样,第二设备可以实现对于第一设备发送的HDR10+视频的解码以及播放。
第二方面,本申请实施例提供一种视频处理方法,应用于第一设备,方法包括:第一设备接收在电影模式中开启拍摄的操作;电影模式为用于录制得到高动态范围HDR视频的模式;响应于开启拍摄的操作,第一设备基于摄像头获取第一图像序列;第一图像序列对应第一亮度场景;第一设备基于第一图像序列、以及第一亮度场景对应的第一动态元数据编码得到第一HDR视频;第一动态元数据中包括预设亮度;第一设备将第一HDR视频发送至第二设备。这样,第一设备可以为基于摄像头获取的多帧图像分别对应的不同亮度场景,匹配不同的动态元数据,利用不同的动态元数据对该多帧图像分别进行调整,得到HDR视频。
在一种可能的实现方式中,方法还包括:第一设备基于摄像头继续获取第二图像序列;其中,第二图像序列对应第二亮度场景;第一亮度场景与第二亮度场景不同;第一设备基于第一图像序列、以及第一亮度场景对应的第一动态元数据编码得到第一HDR视频,包括:第一设备基于第一图像序列、第二图像序列、第一亮度场景对应的第一动态元数据、以及第二亮度场景对应的第二动态元数据,编码得到第一HDR视频。这样,使得第一设备可以为不同的亮度场景匹配相应的动态元数据,并基于不同的动态元数据编码得到HDR视频。
在一种可能的实现方式中,第一设备基于第一图像序列、以及第一亮度场景对应的第一动态元数据编码得到第一HDR视频之前,方法还包括:第一设备对第一图像序列进行图像前处理,得到图像前处理后的第一图像序列;第一设备对图像前处理后的第一图像序列进行伽马校正处理,得到伽马校正处理后的第一图像序列;第一设备对伽马校正处理后的第一图像序列以进行3D查找表处理,得到3D查找表处理后的第一图像序列;其中,3D查找表处理后的第一图像序列中包括第一图像序列对应的第一静态元数据;第一设备基于第一图像序列、以及第一亮度场景对应的第一动态元数据编码得到第一HDR视频,包括:第一设备基于3D查找表处理后的第一图像序列、以及第一亮度场景对应的第一动态元数据编码得到第一HDR视频。这样,使得第一设备可以基于对第一图像序列的图像前处理以及图像后处理,得到画面效果较好的HDR视频。
在一种可能的实现方式中,第一HDR视频中包括第一静态元数据以及第一动态元数据。
第三方面,本申请实施例提供一种视频处理方法,应用于第二设备,方法包括:第二设备获取来自于第一设备的第一HDR视频;其中,第一HDR视频中包括第一动态元数据以及第一图像序列;第一动态元数据中包括预设亮度;第二设备基于预设亮度对第一HDR视频进行亮度调节,得到第二HDR视频;第二设备播放第二HDR视频。这样,使得第二设备可以接收来自第一设备的HDR视频,并基于HDR视频的预设亮度,对HDR视频进行亮度映射,进而显示亮度合适的视频内容。
在一种可能的实现方式中,第二设备基于预设亮度对第一HDR视频进行亮度调节,得到第二HDR视频,包括:第二设备确定亮度比例;亮度比例为第二设备的峰值亮度与预设亮度之间的比例;第二设备基于亮度比例对第一HDR视频进行亮度调节,得到第二HDR视频。这样,使得第二设备还可以根据第二设备的硬件可以支持的峰值亮度对第一HDR视频的亮度进行调节,使得调节后的第二HDR视频的播放效果更好。
在一种可能的实现方式中,第一HDR视频中包括第一静态元数据以及第一动态元数据。
在一种可能的实现方式中,方法还包括:当第二设备确定支持对第一静态元数据进行处理时,第二设备将第二HDR视频解码为第一图像序列、以及第一静态元数据;第二设备基于第一图像序列、以及第一静态元数据编码得到第三HDR视频;第二HDR视频与第三HDR视频不同。这样,使得第二设备还可以根据第二设备的硬件可以支持的峰值亮度对第一HDR视频的亮度进行调节,使得调节后的第二HDR视频的播放效果更好。
在一种可能的实现方式中,第一HDR视频的类型为HDR10+视频,第二HDR视频的类型为HDR10+视频,第三HDR视频的类型为HDR10视频。
第四方面,本申请实施例提供一种视频处理装置,方法包括:第一设备的处理单元,用于接收在电影模式中开启拍摄的操作;电影模式为用于录制得到高动态范围HDR视频的模式;响应于开启拍摄的操作,第一设备的处理单元,用于基于摄像头获取第一图像序列;第一图像序列对应第一亮度场景;第一设备的处理单元,用于基于第一图像序列、以及第一亮度场景对应的第一动态元数据编码得到第一HDR视频;第一动态元数据中包括预设亮度;第二设备的通信单元,用于获取来自于第一设备的第一HDR视频;第一设备的处理单元,用于基于预设亮度对第一HDR视频进行亮度调节,得到第二HDR视频;第二设备的处理单元,用于播放第二HDR视频。
在一种可能的实现方式中,第二设备的处理单元,具体用于确定亮度比例;亮度比例为第二设备的峰值亮度与预设亮度之间的比例;第二设备的处理单元,具体用于基于亮度比例对第一HDR视频进行亮度调节,得到第二HDR视频。
在一种可能的实现方式中,第一设备的处理单元,还用于基于摄像头继续获取第二图像序列;其中,第二图像序列对应第二亮度场景;第一亮度场景与第二亮度场景不同;第一设备的处理单元,还用于基于第一图像序列、第二图像序列、第一亮度场景对应的第一动态元数据、以及第二亮度场景对应的第二动态元数据,编码得到第一HDR视频。
在一种可能的实现方式中,第一设备的处理单元,还用于:对第一图像序列进行图像前处理,得到图像前处理后的第一图像序列;对图像前处理后的第一图像序列进行伽马校正处理,得到伽马校正处理后的第一图像序列;对伽马校正处理后的第一图像序列以进行3D查找表处理,得到3D查找表处理后的第一图像序列;其中,3D查找表处理后的第一图像序列中包括第一图像序列对应的第一静态元数据;基于3D查找表处理后的第一图像序列、以及第一亮度场景对应的第一动态元数据编码得到第一HDR视频。
在一种可能的实现方式中,第一HDR视频中包括:第一静态元数据以及第一动态元数据。
在一种可能的实现方式中,当第二设备确定支持对第一静态元数据进行处理时,第二设备的处理单元,还用于将第二HDR视频解码为第一图像序列、以及第一静态元数据;第二设备的处理单元,还用于基于第一图像序列、以及第一静态元数据编码得到第三HDR视频;第二HDR视频与第三HDR视频不同。
在一种可能的实现方式中,第一HDR视频的类型为HDR10+视频,第二HDR视频的类型为HDR10+视频,第三HDR视频的类型为HDR10视频。
在一种可能的实现方式中,第一设备的处理单元,具体用于接收用于打开电影模式的操作;响应于打开电影模式的操作,第一设备的显示单元,具体用于显示第一界面;第一界面中包括:用于录制得到HDR视频的控件、以及用于开启拍摄的控件;在用于录制得到HDR视频的控件的状态为关闭状态时,第一设备的处理单元,还具体用于接收用于开启用于录制得到HDR视频的控件的操作;响应于用于录制得到HDR视频的控件的操作,第一设备的显示单元,还具体用于显示第二界面;第二界面中包括:用于指示4K HDR10+模式已开启的提示信息;在用于录制得到HDR视频的控件的状态为开启状态时,第一设备的处理单元,具体用于接收针对用于开启拍摄的控件的操作。
在一种可能的实现方式中,在用于录制得到HDR视频的控件的状态为开启状态时,第一设备的处理单元,还用于接收用于关闭用于录制得到HDR视频的控件的操作;响应于用于录制得到HDR视频的控件的操作,第一设备的显示单元,还用于显示第三界面;第三界面中包括:用于指示4K HDR10+模式已关闭的提示信息。
在一种可能的实现方式中,第一设备的处理单元,还用于接收到第一次打开电影模式的操作;响应于第一次打开电影模式的操作,第一设备的显示单元,还用于显示第四界面;第四界面中包括:用于录制得到HDR视频的控件、以及用于指示开启用于录制得到HDR视频的控件后将录制4K HDR10+视频的提示信息。
在一种可能的实现方式中,第一设备的处理单元,具体用于接收用于打开电影模式的操作;响应于打开电影模式的操作,第一设备的显示单元,具体用于显示第五界面;第五界面中包括:用于查看第一应用对应的设置项的控件、以及用于开启拍摄的控件;第一设备的处理单元,还具体用于接收针对用于查看第一应用对应的设置项的控件的操作;响应于查看第一应用对应的设置项的控件的操作,第一设备的显示单元,还具体用于显示第六界面;第六界面中包括:用于在电影模式中采用10比特HDR记录视频并将视频切换至4K的第一控件;在第一控件的状态为开启状态下,第一设备的处理单元,还具体用于接收针对用于开启拍摄的控件的操作。
在一种可能的实现方式中,第一设备的处理单元,还用于接收针对用于查看第一应用中的功能详情的控件的操作;响应于查看第一应用中的功能详情的控件的操作,第一设备的显示单元,还用于显示第七界面;其中,第七界面中包括:电影模式对应的功能详情,电影模式的功能详情用于指示电影模式可录制4K HDR10+视频。
在一种可能的实现方式中,第一设备的处理单元,还用于接收用于打开第二应用的操作;响应于打开第二应用的操作,第一设备的显示单元,还用于显示第八界面;其中,第八界面中包括:第一HDR视频、以及第一HDR视频对应的标识;标识用于指示第一HDR视频的类型;第一设备的处理单元,还用于接收针对第一HDR视频的操作;响应于针对第一HDR视频的操作,第一设备的显示单元,还用于显示第九界面;第九界面中包括:标识。
在一种可能的实现方式中,第二设备的显示单元,还用于显示第十界面;其中,第十界面中包括:用于指示第一HDR视频为包含动态元数据的HDR10+视频的提示信息、用于允许接收第一HDR视频的控件、以及用于拒绝接收第一HDR视频的控件;第二设备的处理单元,还用于接收针对用于允许接收第一HDR视频的控件的操作;响应于允许接收第一HDR视频的控件的操作,第二设备的处理单元,还用于显示第十一界面;其中,第十一界面中包括用于指示基于动态元数据对第一HDR视频进行播放的提示信息。
第五方面,本申请实施例提供一种视频处理装置,处理单元,用于接收在电影模式中开启拍摄的操作;电影模式为用于录制得到高动态范围HDR视频的模式;响应于开启拍摄的操作,处理单元,还用于基于摄像头获取第一图像序列;第一图像序列对应第一亮度场景;处理单元,还用于基于第一图像序列、以及第一亮度场景对应的第一动态元数据编码得到第一HDR视频;第一动态元数据中包括预设亮度;通信单元,还用于将第一HDR视频发送至第二设备。
在一种可能的实现方式中,处理单元,还用于基于摄像头继续获取第二图像序列;其中,第二图像序列对应第二亮度场景;第一亮度场景与第二亮度场景不同;处理单元,还用于基于第一图像序列、第二图像序列、第一亮度场景对应的第一动态元数据、以及第二亮度场景对应的第二动态元数据,编码得到第一HDR视频。
在一种可能的实现方式中,处理单元,还用于具体用于:对第一图像序列进行图像前处理,得到图像前处理后的第一图像序列;对图像前处理后的第一图像序列进行伽马校正处理,得到伽马校正处理后的第一图像序列;对伽马校正处理后的第一图像序列以进行3D查找表处理,得到3D查找表处理后的第一图像序列;其中,3D查找表处理后的第一图像序列中包括第一图像序列对应的第一静态元数据;基于3D查找表处理后的第一图像序列、以及第一亮度场景对应的第一动态元数据编码得到第一HDR视频。
在一种可能的实现方式中,第一HDR视频中包括第一静态元数据以及第一动态元数据。
第六方面,本申请实施例提供一种视频处理装置,通信单元,用于获取来自于第一设备的第一HDR视频;其中,第一HDR视频中包括第一动态元数据以及第一图像序列;第一动态元数据中包括预设亮度;处理单元,用于基于预设亮度对第一HDR视频进行亮度调节,得到第二HDR视频;处理单元,还用于播放第二HDR视频。
在一种可能的实现方式中,处理单元,具体用于第二设备确定亮度比例;亮度比例为第二设备的峰值亮度与预设亮度之间的比例;处理单元,还具体用于基于亮度比例对第一HDR视频进行亮度调节,得到第二HDR视频。
在一种可能的实现方式中,第一HDR视频中包括第一静态元数据以及第一动态元数据。
在一种可能的实现方式中,当第二设备确定支持对第一静态元数据进行处理时,处理单元,还用于将第二HDR视频解码为第一图像序列、以及第一静态元数据;处理单元,还用于基于第一图像序列、以及第一静态元数据编码得到第三HDR视频;第二HDR视频与第三HDR视频不同。
在一种可能的实现方式中,第一HDR视频的类型为HDR10+视频,第二HDR视频的类型为HDR10+视频,第三HDR视频的类型为HDR10视频。
第七方面,本申请实施例提供一种视频处理装置,包括处理器和存储器,存储器用于存储代码指令;处理器用于运行代码指令,使得终端设备以执行如第一方面或第一方面的任一种实现方式中描述的视频处理方法,或者执行如第二方面或第二方面的任一种实现方式中描述的视频处理方法,或者执行如第三方面或第三方面的任一种实现方式中描述的视频处理方法。
第八方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有指令,当指令被执行时,使得计算机执行如第一方面或第一方面的任一种实现方式中描述的视频处理方法,或者执行如第二方面或第二方面的任一种实现方式中描述的视频处理方法,或者执行如第三方面或第三方面的任一种实现方式中描述的视频处理方法。
第九方面,一种计算机程序产品,包括计算机程序,当计算机程序被运行时,使得计算机执行如第一方面或第一方面的任一种实现方式中描述的视频处理方法,或者执行如第二方面或第二方面的任一种实现方式中描述的视频处理方法,或者执行如第三方面或第三方面的任一种实现方式中描述的视频处理方法。
应当理解的是,本申请的第四方面至第九方面与本申请的第一方面至第三方面的技术方案相对应,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
附图说明
图1为本申请实施例提供的一种合并以及DCG的原理示意图;
图2为本申请实施例提供的一种场景示意图;
图3为本申请实施例提供的一种第一设备(或第二设备)的结构示意图;
图4为本申请实施例提供的一种第一设备的软件结构框图;
图5为本申请实施例提供的一种在电影模式下开启拍摄的界面示意图;
图6为本申请实施例提供的另一种在电影模式下开启拍摄的界面示意图;
图7为本申请实施例提供的一种查看功能详情的界面示意图;
图8为本申请实施例提供的一种视频处理方法的流程示意图;
图9为本申请实施例提供的一种图像序列与亮度场景的示意图;
图10为本申请实施例提供的一种查看HDR10+视频的界面示意图;
图11为本申请实施例提供的一种设备分享的界面示意图;
图12为本申请实施例提供的一种显示提示信息的界面示意图;
图13为本申请实施例提供的一种播放HDR10+视频的流程示意图;
图14为本申请实施例提供的另一种视频处理方法的流程示意图;
图15为本申请实施例提供的一种视频处理装置的结构示意图;
图16为本申请实施例提供的另一种终端设备的硬件结构示意图;
图17为本申请实施例提供的一种芯片的结构示意图。
具体实施方式
本申请涉及拍摄领域,为了便于理解本申请提供的方法,下面对拍摄领域的一些术语进行介绍。
1.合并(binning)
binning是一种图像读出模式,将相邻的像元中感应的电荷被加在一起,以一个像素的模式读出。例如,电子设备在拍摄图像的过程中,目标对象反射的光线被摄像头采集,以使得该反射的光线传输至图像传感器。图像传感器上包括多个感光元件,每个感光元件采集到的电荷为一个像素,并对像素信息执行binning操作。具体地说,binning可以将n×n个像素合并为一个像素。例如,binning可以将相邻的2×2个像素合成为一个像素,也就是说,相邻2×2个像素的颜色以一个像素的形式呈现。
示例性的,图1为本申请实施例提供的一种合并以及DCG的原理示意图。如图1所示,当图像为一个4×4的像素时,binning可以实现将相邻的2×2个像素合成为一个像素,使得图像传感器可以将4×4的图像合并为2×2的图像,并将该2×2的图像作为图像传感器基于binning的图像输出。
2.双转换增益(dual conversion gain,DCG)
具有双转换增益DCG能力的图像传感器,一个像素有两个势阱,两个势阱对应不同的满阱容量以及不同的转换增益CG,大满阱容量对应低转换增益(low conversion gain,LCG)、低感光度,小满阱容量对应高转换增益(high conversion gain,HCG)、高感光度。这样,传感器可以在同一场景下使用两个势阱(两种感光度)和两种转换增益,一次曝光获取两张图像:高感光模式下的图像和低感光模式下的图像。再由电子设备将获取的两张图像合成一张图像,也就是HDR技术。
示例性的,如图1所示,在将相邻的n×n个像素合成一个像素之后,图像传感器可以进一步的使用两种转换增益,例如分别基于HCG以及LCG得到两种转换增益下的出图数据,对该基于HCG的出图数据以及基于LCG的出图数据进行融合,得到融合后的图像,并将该融合后的图像作为图像传感器基于DCG的图像输出。
3.神奇日志(magic-log)技术
电影都有风格化的影调,一般专业电影拍摄的素材是低饱和度、低对比度的灰片,这样的灰片拥有更多的高光和阴影细节,后期的空间巨大,这就是Log视频。magic-Log技术,利用人眼对暗部亮度的变化更敏感的特点,采用拟合人眼观感的Log函数曲线,避免过曝、欠曝,保留宽广的高光、暗部和色域范围。
4. 3D查找表(look up table,LUT)技术
3D LUT技术是恢复log视频色彩的调色工具,传统滤镜调整的是曝光、色温等参数,3D LUT可以实现对原素材中的RGB的色彩进行映射变换,使得基于3D LUT技术可以调出更丰富的色调。
5.HDR10视频
HDR10视频是按照静态元数据进行配置的,例如该HDR10的转换曲线PQ曲线是按照显示器的基准显示亮度进行固定映射的。其中,该HDR10视频的比特深度为10bit;该静态元数据可以满足SMPTE ST 2086或者其他标准中的定义。
6.HDR10+视频
HDR10+是以HDR10为基础继续改良的,HDR10+支持动态元数据即HDR10+可以根据视频中的不同场景,调节或强化影像亮度、对比以及色彩饱和度等,使得HDR10+视频中的每帧画面都拥有独立调节的HDR效果。其中,该HDR10+视频的比特深度为12bit;该动态元数据可以满足SMPTE ST 2094或者其他标准中的定义。
7.亮度场景
亮度场景或也可以称为亮度级别。本申请实施例中,该亮度场景可以用于区分不同图像帧所对应的亮度。其中,该亮度场景可以包括:高亮场景、中等亮度场景、以及暗光场景等。
示例性的,亮度场景可以对应于不同的亮度范围,如第一设备可以基光照强度(或称照度)等区分不同的亮度场景。例如,高亮场景对应的亮度范围可以为大于50000勒克斯(lux),中等亮度场景对应的亮度范围可以为50000lux-10lux,暗光场景对应的亮度范围可以为10lux-0lux。
可以理解的是,本申请实施例中描述的亮度场景可以不限于上述三种;并且,该三种亮度场景分别对应的亮度范围仅作为一种示例,不同亮度场景下所对应的亮度范围的取值也可以为其他数值,本申请实施例中对此不做限定。
为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一值和第二值仅仅是为了区分不同的值,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a和b,a和c,b和c,或a、b和c,其中a,b,c可以是单个,也可以是多个。
示例性的,图2为本申请实施例提供的一种场景示意图。如图2所示,该场景中可以包括第一设备201,以及第二设备202。在图2对应的实施例中,以第一设备201为手机、第二设备202为平板为例进行示例说明,该示例并不构成对本申请实施例的限定。
可能的实现方式中,第一设备201可以用于利用摄像头进行视频录制,并将视频内容发送至第二设备202,使得第二设备202可以用于利用显示屏进行视频播放。
在第一设备201利用摄像头进行视频录制的过程中,第一设备201可以使用magic-log技术最大化的保留摄像头传感器捕捉到的画面的动态范围信息,并通过3D LUT技术将该动态范围信息转化为不同色彩风格的HDR视频。其中,该视频可以为支持BT.2020广色域的HDR10视频。进一步的,第一设备201可以将HDR10视频发送至第二设备202。
在第二设备202利用显示器播放HDR10视频的过程中,由于HDR10视频是按照静态元数据进行配置的,例如该HDR10的转换曲线PQ曲线是按照绝对亮度进行固定映射的,如该绝对亮度可以为第二设备202的显示器的基准显示亮度,如1000nit。因此,当该HDR10视频在峰值亮度达到1000nit的第二设备上显示时,PQ曲线则可以很好的呈现出1000nit以内的正常的亮度映射。其中,该峰值亮度可以理解为第二设备的硬件可以支持的最高亮度。
然而,当第二设备202的硬件可以支持的峰值亮度达不到1000nit,例如第二设备202的硬件可以支持的峰值亮度为500nit时,则基准显示亮度为1000nit的HDR10视频在硬件可以支持的峰值亮度为500nit的第二设备202中显示时,则第二设备202无法实现对于超过500nit以及小于1000nit的高亮场景的亮度映射,进而造成高亮场景中的高亮信息的丢失。
因此,在第一设备201利用摄像头进行视频录制,并将视频内容发送至第二设备202,使得第二设备202利用显示屏进行视频播放时,第二设备202的硬件可以支持的峰值亮度可以对基于PQ曲线得到的HDR10视频的显示产生影响。
有鉴于此,本申请实施例提供一种视频处理方法,使得第一设备可以为基于摄像头获取的多帧图像分别对应的不同亮度场景,匹配不同的动态元数据,利用不同的动态元数据对该多帧图像分别进行调整,得到HDR视频,并将HDR视频发送至第二设备,使得第二设备可以基于HDR视频、以及第二设备的硬件可以支持的峰值亮度,对HDR视频进行亮度映射,并显示亮度合适的视频内容。
可以理解的是,上述第一设备(或第二设备)也可以称为终端,(terminal)、用户设备(user equipment,UE)、移动台(mobile station,MS)、移动终端(mobile terminal,MT)等。第一设备(或第二设备)可以为支持视频录制功能(或视频播放功能)的手机(mobilephone)、智能电视、穿戴式设备、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtual reality,VR)设备、增强现实(augmented reality,AR)设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。本申请的实施例对第一设备(或第二设备)所采用的具体技术和具体设备形态不做限定。
因此,为了能够更好地理解本申请实施例,下面对本申请实施例的第一设备(或第二设备)的结构进行介绍。示例性的,图3为本申请实施例提供的一种第一设备(或第二设备)的结构示意图。
第一设备(或第二设备)可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,指示器192,摄像头193,以及显示屏194等。
可以理解的是,本申请实施例示意的结构并不构成对第一设备(或第二设备)的具体限定。在本申请另一些实施例中,第一设备(或第二设备)可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。处理器110中还可以设置存储器,用于存储指令和数据。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为第一设备(或第二设备)充电,也可以用于第一设备(或第二设备)与***设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他第一设备(或第二设备),例如AR设备等。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。电源管理模块141用于连接充电管理模块140与处理器110。
第一设备(或第二设备)的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。第一设备(或第二设备)中的天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
移动通信模块150可以提供应用在第一设备(或第二设备)上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。
无线通信模块160可以提供应用在第一设备(或第二设备)上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequency modulation,FM)等无线通信的解决方案。
第一设备(或第二设备)通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。在一些实施例中,第一设备(或第二设备)可以包括1个或N个显示屏194,N为大于1的正整数。
第一设备(或第二设备)可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当第一设备(或第二设备)在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。第一设备(或第二设备)可以支持一种或多种视频编解码器。这样,第一设备(或第二设备)可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
摄像头193用于捕获静态图像或视频。在一些实施例中,第一设备(或第二设备)可以包括1个或N个摄像头193,N为大于1的正整数。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展第一设备(或第二设备)的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。
第一设备(或第二设备)可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。第一设备(或第二设备)可以通过扬声器170A收听音乐,或收听免提通话。受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当第一设备(或第二设备)接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。耳机接口170D用于连接有线耳机。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。
传感器模块180可以包括下述一种或多种传感器,例如:压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,或骨传导传感器等(图3中未示出)。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。第一设备(或第二设备)可以接收按键输入,产生与第一设备(或第二设备)的用户设置以及功能控制有关的键信号输入。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
第一设备(或第二设备)的软件***可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构等,在此不再赘述。
示例性,图4为本申请实施例提供的一种第一设备的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将安卓Android***分为四层,从上至下分别为应用程序层,应用程序框架层,硬件抽象层(hardware abstraction layer,HAL)层,以及内核层。
应用程序层可以包括一系列应用程序包。如图4所示,应用程序包可以包括下述一种或多种,例如:相机、设置、地图、或音乐等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图4所示,应用程序框架层可以包括:媒体框架模块、以及窗口管理器等。
媒体框架模块用于对基于摄像头驱动得到的多帧图像进行编码得到视频;或者,媒体框架模块还可以用于对接收到的视频进行解码,得到多帧图像以及该多帧图像对应的元数据,如动态元数据或静态元数据。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,触摸屏幕,拖拽屏幕,截取屏幕等。
可能的实现方式中,该应用程序框架层中还可以包括:通知管理器、内容提供器、资源管理器、以及视图***等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,设备振动,指示灯闪烁等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
视图***包括可视控件,例如显示文字的控件,显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
硬件抽象层的目的在于将硬件抽象化,其可以为上层的应用提供统一的查询硬件设备的接口,例如遵循硬件抽象层接口描述语言(HAL interface definition language,HIDL)协议的接口。
硬件抽象层中可以包括:逐帧统计模块、以及编解码器等。
逐帧统计模块用于对于摄像头驱动得到的多帧图像进行逐帧统计,确定该多帧图像分别对应的亮度场景,并匹配相应的影调映射曲线,得到该多帧图像分别对应的动态元数据。
编解码器用于存储经由媒体框架模块进行编码或解码得到的结果。例如,当编解码器中接收到经由媒体框架模块发送的视频时,编解码器可以根据需求保存该视频。
该硬件抽象层中可以还包括:音频接口、视频接口、通话接口、以及全球定位提供(global positioning system,GPS)接口等(图4中未示出),本申请实施例中对此不做限定。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面结合视频生成场景以及图3对应的实施例,示例性说明第一设备的软件以及硬件的工作流程。
S401、当触摸传感器接收到用户针对相机应用中的电影模式的触摸操作时,相应的硬件中断被发给内核层,内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息),原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。进而相机应用调用应用框架层的接口,启动相机应用。S402、相机应用将用于指示对图像序列进行编码的指令,通过应用程序框架层中的媒体框架模块、以及硬件抽象层中的逐帧统计模块发送至内核层中的摄像头驱动,摄像头驱动通过摄像头捕捉图像序列。S403、摄像头驱动将获取的图像序列发送至逐帧统计模块,使得逐帧统计模块可以对获取的图像序列进行统计,并确定该多帧图像分别对应的亮度场景,并匹配相应的影调映射曲线,得到该多帧图像分别对应的动态元数据。进一步的,逐帧统计模块可以将多帧图像以及该多帧图像分别对应的动态元数据发送至媒体框架模块。S404、媒体框架模块基于多帧图像以及该多帧图像分别对应的动态元数据进行编码,得到HDR视频。S405、媒体框架模块可以将HDR视频发送至硬件抽象层中的编解码器中进行存储,使得第一设备可以实现对于HDR视频的处理以及录制。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立实现,也可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
本申请实施例中,第一设备可以采用两种用户触发方式,获取HDR10+视频。例如,第一设备可以实现用户在相机应用的电影模式中开启4K HDR功能,进而在第一设备接收到用户开启录制的操作时,第一设备可以基于该4K HDR功能录制得到HDR10+视频(如图5对应的实施例);或者,第一设备可以实现用户在相机应用的设置界面中开启电影HDR,进而在第一设备接收到用户开启录制的操作时,第一设备可以基于该4K HDR功能录制得到HDR10+视频(如图6对应的实施例)。
一种实现中,第一设备可以实现用户在相机应用的电影模式中开启4K HDR功能,进而在第一设备接收到用户开启录制的操作时,第一设备可以基于该4K HDR功能录制得到HDR10+视频。
示例性的,图5为本申请实施例提供的一种在电影模式下开启拍摄的界面示意图。
如图5所示,当第一设备接收到用户开启相机应用的操作时,第一设备可以显示图5中的a所示的界面,该界面可以为相机应用的主界面(或理解为拍照模式对应的界面)。如图5中的a所示,该界面中可以包括下述一种或多种,例如:拍照功能对应的拍照控件、预览图像、用于开启人工智能(artificial intelligence,AI)摄影功能的控件、用于开启或关闭闪光灯控件、用于对相机应用进行设置的设置控件,用于调整拍摄倍数的控件、用于翻转摄像头的控件、以及用于打开图库的控件等。该图5中的a所示的界面中还可以包括相机应用的一级菜单中的多个功能控件,例如:用于开启夜景模式的控件、用于开启人像模式的控件、用于开启拍照模式的控件、用于开启录像模式的控件、以及用于开启电影模式的控件501等。其中,该用于打开图库的控件可用于开启图库应用程序。图库应用程序是智能手机、平板电脑等电子设备上的一款图片管理的应用程序,又可以称为“相册”,本实施例对该应用程序的名称不做限制。图库应用程序可以支持用户对存储于第一设备上的视频进行各种操作,例如浏览、编辑、删除、选择等操作。
其中,该相机应用可以为第一设备的***支持的应用,或者该相机应用也可以为具有视频录制功能的应用等;该电影模式可以为用于获取HDR视频的拍摄模式;该开启拍摄的操作可以为语音操作、或者也可以为针对电影模式中的用于开始拍摄的控件的点击操作或滑动操作等。
在如图5中的a所示的界面中,当第一设备接收到用户触发该用于开启电影模式的控件501的操作时,第一设备可以显示如图5中的b所示的界面。该图5中的b所示的界面可以为电影模式对应的界面,该界面中可以包括下述一种或多种,例如:慢动作功能控件、4KHDR功能控件502、用于开启或关闭闪光灯的控件、LUT功能控件、用于对相机应用进行设置的设置控件、以及用于在电影模式中开启拍摄的控件503等。该图5中的b所示的界面中还可以包括相机应用的一级菜单中的多个功能控件,例如:用于开启专业模式的控件、以及用于开启更多功能的控件等,该界面中显示的其他内容可以参见图5中的a所示的界面,在此不再赘述。
可能的实现方式中,当第一设备接收到用户第一次触发该用于开启电影模式的控件501的操作时,该图5中的b所示的界面中可以包括:4K HDR功能控件502(虚线框所在范围内的控件)对应的提示信息504,该提示信息504用于指示当用户开启该4K HDR功能控件502后,第一设备将录制4K HDR10+视频。
在如图5中的b所示的界面中,4K HDR功能控件502可以为默认关闭状态,当第一设备接收到用户触发该4K HDR功能控件502的操作时,第一设备可以显示如图5中的c所示的界面。如图5中的c所示的界面,该界面中可以包括提示信息505,该提示信息505用于指示4KHDR10+模式已开启。该提示信息505可以在显示2秒钟或其他时间后消失。
进一步的,在该4K HDR功能控件502可以为开启状态的情况下,当第一设备接收到用户在图5中的c所示的界面中触发该开启拍摄的控件503的操作时,第一设备可以基于摄像头获取图像序列,并基于对图像序列的处理得到第一HDR10+视频。其中,该图5中的c所示的界面中显示的其他内容与图5中的b所示的界面类似,在此不再赘述。
可能的实现方式中,在如图5中的c所示的该4K HDR功能控件502为开启状态的情况下,当第一设备接收到用户针对该4K HDR功能控件502的操作时,第一设备可以显示图5中的d所示的界面。如图5中的d所示的界面,该界面中可以包括提示信息506,该提示信息506用于指示4K HDR10+模式已关闭。该提示信息506可以在显示2秒钟或其他时间后消失。
可以理解的是,4K是指屏幕的分辨率,4K的分辨率就是4096×2160。HDR是指屏幕的渲染技术。相比于普通的图像,4K HDR功能可以提供更多的动态范围和图像细节,能够更好地反映出真实环境中的视觉效果,该模式可以使电子设备100录制的视频拥有4K,30fps的分辨率。默认地,4K HDR功能初始处于关闭状态,这时如图5中的b所示的界面中的4K HDR功能控件502上设置有指示开关关闭的斜线。当第一设备检测到用户针对该4K HDR功能控件502的触发操作时,第一设备开启4K HDR功能,如图5中的c所示的界面中的4K HDR功能控件502设置的用于指示开关关闭的斜线消失;进一步的,当第一设备检测到用户在如图5中的c所示的界面中,针对该4K HDR功能控件502的触发操作时,第一设备关闭4K HDR功能,如图5中的d所示的界面中的4K HDR功能控件503设置的用于指示开关关闭的斜线显示。
可以理解的是,4K HDR功能未开启时,预览画面的分辨率低于4K HDR功能开启时预览画面的分辨率,在4K HDR功能开启时,预览画面中可以显示HDR10视频。
基于此,使得用户可以根据拍摄需求对电影模式中的4K HDR控件进行灵活控制,进而实现对于HDR10+视频的录制。
另一种实现中,第一设备可以实现用户在相机应用的设置界面中开启电影HDR,进而在第一设备接收到用户开启录制的操作时,第一设备可以基于该4K HDR功能录制得到HDR10+视频。
可以理解的是,对比于图5对应的实施例,图6对应的实施中的电影模式所在的界面中没有4K HDR功能控件,因此第一设备无法基于用户对于该4K HDR功能控件的触发进行HDR10+视频录制。
示例性的,图6为本申请实施例提供的另一种在电影模式下开启拍摄的界面示意图。
在第一设备接收到用户打开电影模式的操作时,第一设备可以显示图6中的a所示的界面,该界面中可以包括:设置控件601以及用于在电影模式中开启拍摄的控件602等。其中,该界面中显示的其他内容与图5中的b所示的界面类似,在此不再赘述。相比于图5中的b所示的界面,该图6中的a所示的界面中没有4K HDR功能控件。
在第一设备接收到用户触发该设置控件601的操作时,第一设备可以显示图6中的b所示的界面,该界面可以为相机应用的设置界面。如图6中的b所示的界面,该界面中可以包括拍照对应的功能控件,例如:拍照比例功能控件(如支持4:3的拍照比例)、声控拍照功能控件、手势拍照功能控件、笑脸抓拍功能控件等,其中该手势拍照功能可以仅支持前置,手势朝向手机触发,该笑脸抓拍功能可以检测到笑脸时自动拍摄;该界面中还可以包括视频功能对应的功能控件,例如:视频分辨率功能控件、视频帧率功能控件、高效视频格式功能控件、电影HDR功能控件603、以及AI电影色调功能控件,其中该高效视频格式功能可可节省35%空间,并且用户可能在其他设备上无法播放此格式视频,该电影HDR功能可以采用10bit HDR记录视频,视频将自动切换至4K,该AI电影色调功能可以智能识别拍摄内容匹配LUT色调,并且仅在非4K HDR中支持。
在如图6中的b所示的界面中,当第一设备接收到用户开启该电影HDR功能控件603的操作时,第一设备可以显示图6中的c所示的界面,该界面中的电影HDR功能控件603为开启状态。其中,该图6中的c所示的界面中显示的其他内容与图6中的b所示的界面类似,再次不再赘述。
进一步的,在如图6中的c所示的界面中的电影HDR功能控件603为开启状态的情况下,当第一设备接收到用户退出设置界面,并接收到用户在如图6中的a所示的界面中触发该开启拍摄的控件602的操作时,第一设备可以基于摄像头获取图像序列,并基于对图像序列的处理得到第一HDR10+视频。可以理解的是,在电影HDR功能控件为开启状态时,预览画面中可以显示HDR10视频。
基于此,使得用户可以根据拍摄需求对设置功能中的电影HDR功能控件进行灵活控制,进而实现对于HDR10+视频的录制。
可能的实现方式中,在图5对应的实施例(或图6对应的实施例)的基础上,当第一设备接收到用户查看相机的功能详情的操作时,第一设备可以显示电影模式对应的模式介绍。
示例性的,图7为本申请实施例提供的一种查看功能详情的界面示意图。如图7中的a所示的界面,该界面中可以包括:用于开启更多功能的控件701,该界面中显示的其他内容与图5中的b所示的界面类似,在此不再赘述。
在如图7中的a所示的界面中,当第一设备接收到用户针对该用于开启更多功能的控件701的操作时,第一设备可以显示图7中的b所示的界面。如图7中的b所示的界面,该界面中可以包括:HDR功能控件、慢动作功能控件、微电影功能控件、延时摄影功能控件、动态照片功能控件、用于下载更多功能的下载控件、用于调整更多控件中的各功能的位置的编辑控件、以及用于查看相机应用中的各功能的详情信息的详情控件702等。
在如图7中的b所示的界面中,当第一设备接收到用户针对该详情控件702的操作时,第一设备可以显示图7中的c所示界面。如图7中的c所示的界面,该界面中可以显示相机应用中的各功能对应的详情说明,例如该界面中可以包括:HDR功能对应的详情说明,如明暗对比强烈的场景下,用不同智能曝光参数拍摄多张照片,合并为一张,高光、暗部细节可同时保留;慢动作功能对应的详情说明,如慢动作可拍摄不限时长的慢速播放视频,超级慢动作支持自动或手动拍摄超高速小视频,明亮环境下拍摄效果更佳;延时摄影功能对应的详情说明,如可将长时间录制的影像合成为短视频,在短时间内再现景物变化的过程;以及,电影模式对应的详情说明703,如可录制4K HDR10+视频,提供专业的影像解决方案等。
可以理解的是,该电影模式对应的详情说明也可以为其他内容,本申请实施例中对此不做限定。
基于此,用户可以通过如图7中的c所示的详情页面,了解相机应用中各功能的作用,进而提高用户对于相机应用的使用体验。
在图5或图6对应的实施例的基础上,第一设备可以对基于摄像头获取的图像序列进行处理,得到预览流对应的预览图像序列。并且,第一设备也可以对基于摄像头获取的图像序列进行处理得到录像流对应的HDR10+视频。其中,该处理过程可以包括图像前处理以及图像后处理。
示例性的,图8为本申请实施例提供的一种视频处理方法的流程示意图。如图8所示,第一设备的摄像头中可以包括用于支持HDR功能的图像传感器,例如该图像传感器可以实现基于DCG模式的图像输出以及基于binning模式的图像输出。
其中,该DCG模式可以支持的出图数据可以包括:帧率为30fps、支持12比特bit的数据存储、以及输出格式为RAW12;该binning模式可以支持的出图数据可以包括:帧率为30fps、支持12bit的数据存储、以及输出格式为RAW12。可以理解的是,binning只有高10bit有数据,因此binning需要做低两位补充处理,以保证12bit的数据存储。
如图8所示,图像传感器可以基于binning输出图像数据,或者,也可以基于DCG输出图像数据。其中,binning可以基于将n(例如n可以为4)个像素合成一个像素的方式输出图像序列;DCG,在将n个像素合成一个像素之后,可以通过对基于HCG的出图数据以及基于LCG的出图数据的图像融合,输出图像序列。
进一步的,在如图8所示的图像信号处理器中,第一设备可以对图像序列进行图像前处理801,得到图像前处理801后的图像序列。
本申请实施例中,该图像前处理801(或称图像信号处理器前端处理)用于将基于摄像头获取的RAW格式的图像,处理为YUV(或理解为亮度和色度)格式的图像。
可以理解的是,该图像前处理801过程可以包括下述一种或多种:去坏点矫正处理、RAW域降噪处理、黑电平矫正处理、光学阴影矫正处理、自动白平衡处理、颜色插值处理、色彩矫正处理、色调映射处理、或图像转换处理等,本申请实施例中对该图像前处理801过程不做限定。
进一步的,第一设备可以将图像前处理后的图像序列作为预览流以及录像流。在预览流中,第一设备可以对预览流对应的图像前处理后的图像序列进行伽马(Gamma)校正处理802以及3D LUT处理803,得到预览图像序列;在录像流中,第一设备可以对预览流对应的图像前处理后的图像序列进行Gamma校正处理802、3D LUT处理803,得到录像图像序列。其中,该录像图像序列可以包括为本申请实施例中描述的第一图像序列以及第二图像序列。
在Gamma校正处理802中,Gamma校正处理用于对图像进行亮度调整,使其可以保留更多的亮部和暗部细节,压缩对比度,保留更多的色彩信息。如图5所示,第一设备可以应用log曲线,分别对预览流对应的图像前处理后的图像序列、以及录像流对应的图像前处理后的图像序列进行Gamma校正处理,进而得到预览流对应的Gamma校正处理后的图像序列、以及录像流对应的Gamma校正处理后的图像序列。
在3D LUT处理803中,3D LUT处理用于对图像中的色彩空间进行映射,使得经过3DLUT的数据可以产生不同的色彩风格。如图5所示,第一设备分别对预览流对应的Gamma校正处理后的图像序列、以及录像流对应的Gamma校正处理后的图像序列进行3D LUT色彩映射,得到预览流对应的预览图像序列,以及录像流对应的录像图像序列。
可以理解的是,该预览图像序列以及录像图像序列中的图像均可以为满足BT.2020色域的PQ曲线的图像。其中,该PQ曲线中可以支持的基准亮度为1000nit,并且该PQ曲线可以作为静态元数据存储在第一设备中;该静态元数据的格式可以满足SMPTE ST2086或者其他自定义的格式等,本申请实施例中对该静态元数据的具体格式不做具体限定。
可以理解的是,该Gamma校正处理802、以及3D LUT处理803等可以为图像后处理(或称图像处理器后端处理)中的一部分。
可能的实现方式中,该图像后处理还可以包括:防抖处理、噪声处理、以及图像缩放处理等其他处理步骤,本申请实施例中对此不做限定。
进一步的,第一设备对预览图像序列中的图像分别进行逐帧统计处理804,确定录像图像序列中的多帧图像分别对应的影调映射曲线,生成动态元数据,使得第一设备可以利用录像图像序列以及动态元数据编码为HDR10+视频。其中,第一设备可以在接收到用户在电影模式中结束视频录制的操作时,基于录像图像序列以及动态元数据编码为HDR10+视频。
示例性的,图9为本申请实施例提供的一种图像序列与亮度场景的示意图。在图9对应的实施例中,以帧率为30fps为例对1秒(s)内生成的多帧图像的亮度场景进行示意说明。
如图9所示,第一设备可以在33毫秒(ms)左右获取图像901、在66ms左右获取图像902、在99ms左右获取图像903、在132ms左右获取图像904,……,在233ms左右获取图像905、在266ms左右获取图像906、在299ms左右获取图像907、以及在332ms左右获取图像908等。
示例性的,用户可以在室外下获取图像901、图像902、图像903、图像904,……,,以及图像905;当用户由室外转移至室内时,用户可以在室内获取图像906、图像907以及图像908等。
可以理解的是,在用户位于室外获取的图像帧中,图像901以及图像902所处的亮度场景可以相同,例如该图像901与图像902均可以属于高亮场景;或者,图像901与图像902所处的亮度场景也可以不同,例如图像901可以属于高亮场景,图像902可以属于中亮场景等。因此,本申请实施例中描述的第一图像序列可以为某一时刻的图像帧,例如第一图像序列可以为图像901,或者,该第一图像序列也可以为某一时间段的图像帧的统称,例如第一图像序列中可以包括:图像901、图像902、图像903、图像904,……,,以及图像905。类似的,本申请实施例中描述的第二图像序列也可以为某一时刻的图像帧,例如第二图像序列可以为图像906,或者,该第二图像序列也可以为某一时间段的图像帧的统称,例如第二图像序列中可以包括:图像906、图像907、以及图像908。第一图像序列对应的亮度场景与第二图像序列对应的亮度场景不同。
本申请实施例中,该影调映射曲线可以基于基准亮度对图像中的区域进行亮度调整,使其能够保护图像中的高亮区域以及暗部区域,例如对图像中的暗部区域进行提升以及对图像中的高亮区域进行压制。其中,该影调映射曲线的基准亮度可以为预设的,例如该预设的基准亮度可以设置为400nit或其他数值。
在逐帧统计处理804中,第一设备确定录像图像序列中的多帧图像分别对应的影调映射曲线的过程可以为:第一设备可以确定录像图像序列中的多帧图像分别对应的亮度场景,进而基于亮度场景与影调映射曲线的对应关系,确定亮度场景所对应的影调映射曲线。
可以理解的是,该亮度场景可以包括:高亮场景、中等亮度场景、以及暗光场景等,且该亮度场景不限于上述3种,也可以为4种、5种、或6种等,本申请实施例中上述亮度场景中包含的场景的名称以及数量均不做限定。
具体的,第一设备可以基于预览图像的灰度直方图、预览图像的平均亮度数值等,确定录像图像序列中的多帧图像分别对应的亮度场景。
一种实现中,第一设备中可以存储有典型的亮度场景所对应的灰度直方图,因此第一设备可以分别统计录像图像序列中的多帧图像对应的灰度直方图,若预览图像的灰度直方图与典型的亮度场景所对应的灰度直方图的相似度大于一定阈值时,则第一设备可以确定预览图像所对应的亮度场景。其中,该灰度直方图用于表示预览图像中的像素点的亮度分布情况,该亮度可以理解为图像为YUV格式时的Y通道对应的数值(或称为Y分量)。
另一种实现中,第一设备可以分别统计录像图像序列中的多帧图像中的像素点的平均亮度数值,若该平均亮度数值大于亮度场景所对应的亮度阈值时,则第一设备可以确定预览图像所对应的亮度场景。
可以理解的是,第一设备确定录像图像序列中的多帧图像分别对应的亮度场景的方法可以不限于上述两种,本申请实施例中对此不做限定。
进一步的,在逐帧统计处理804中,上述第一设备确定录像图像序列中的多帧图像分别对应的亮度场景的情况下,第一设备可以基于亮度场景与影调映射曲线的对应关系,确定亮度场景所对应的影调映射曲线,生成动态元数据。
具体的,第一设备中可以存储亮度场景与影调映射曲线的对应关系,因此第一设备可以从该对应关系中匹配得到当前的亮度场景所对应的影调映射曲线,得到动态元数据。或者,第一设备可以根据亮度场景实时确定相应的影调映射曲线,生成动态元数据。其中,该动态元数据中可以包括:影调映射曲线的基准亮度数值,例如400nit。
可以理解的是,该影调映射曲线可以以动态元数据的形式保存在第一设备中,该动态元数据的格式可以根据协议有所不同,例如该动态元数据的格式可以满足SMPTE ST2094(支持application1、application2、application3、或者application4)、或者其他自定义的格式等,本申请实施例中对该动态元数据的具体格式不做具体限定。例如,该SMPTEST2094-application4中规定的动态元数据可以包括下述一种或多种:图像中的窗口的信息(窗口可以为设置在图像中的矩形区域)、窗口的尺寸和位置、窗口中最亮的像素的RGB值、窗口中像素的R、G和B中最大的平均值、窗口中明亮亮度的百分比等级、窗口中明亮亮度的等级(百分位数)、场景中最大亮度值的程度、拐点的亮度值(拐点可以理解为亮度失去线性的点)、亮度超过拐点的样本、用于校正在目标显示器上执行亮度压缩时改变的RGB值、目标显示器的亮度(或也可以称为本申请实施例中描述的预设亮度)、以及本地显示器亮度等。可以理解的是,动态元数据中的预设亮度相同,例如当动态元数据中包括第一动态元数据以及第二动态元数据时,该第一动态元数据中的预设亮度与第二动态元数据中的预设亮度相同。
进一步的,在编码805中,第一设备利用预览图像序列显示HDR10视频,以及利用录像图像序列以及动态元数据编码为第一HDR10+视频。
本申请实施例中,HDR10视频可以用于第一设备的预览显示,例如该HDR10视频可以显示在第一设备的显示屏中;第一HDR10+视频可以用于第一设备的视频录制,例如第一设备可以将录像图像序列以及动态元数据按照时间戳(或按照用于指示录像图像序列以及动态元数据属于一对数据的标识)送入视频编码器,编码得到第一HDR10+视频,该第一HDR10+视频可以保存在第一设备中,进而该第一HDR10+视频也可以基于用户的播放操作显示在第一设备(或第二设备)中。
基于此,使得第一设备可以为基于摄像头获取的多帧图像分别对应的不同亮度场景,匹配不同的动态元数据,利用不同的动态元数据对该多帧图像分别进行调整,得到HDR10+视频。
在图8对应的实施例中第一设备编码得到HDR10+视频的基础上,第一设备可以将该HDR10+视频保存在图库应用程序中。
示例性的,图10为本申请实施例提供的一种查看HDR10+视频的界面示意图。
当第一设备接收到用户打开图库应用程序的操作时,第一设备可以显示图10中的a所示的界面,该界面中可以显示今天拍摄得到的视频1001、以及昨天拍摄得到的视频1002、和图片1003。其中,该视频1001的周围可以显示用于指示视频1001为HDR10+视频的标识1004,该标识1004可以显示为HDR。
进一步的,在如图10中的a所示的界面中,当第一设备接收到用户触发该视频1001的操作时,第一设备可以显示图10中的b所示的界面。如图10中的b所示的界面,该界面中可以包括:用于指示视频1001为HDR10+视频的标识1005、用于查看视频的更多信息的控件、用于分享视频的控件、用于收藏视频的控件、用于编辑视频的控件、用于删除视频的控件、以及用于查看更多功能的控件等。
基于此,使得用户可以根据标识准确的在图库应用程序中找到HDR10+视频,增加用户查看HDR10+视频的便捷性。
在图10对应的实施例的基础上,当第一设备接收到用户分享HDR10+视频的操作时,第一设备可以实现将该HDR10+视频分享至第二设备。
本申请实施例中,该用户分享HDR10+视频的操作可以为:用户通过蓝牙对HDR10+视频的分享操作,或者也可以为用户通过WLAN等网络对HDR10+视频的分享操作,或者用户也可以通过设备分享将该HDR10+视频分享至其他设备,本申请实施例中对该分享操作不做具体限定。
示例性的,该分享操作可以为“荣耀分享”,即通过蓝牙进行设备扫描,并使用WLAN进行数据传输的分享方式。图11为本申请实施例提供的一种设备分享的界面示意图。
当第一设备接收到用户分享该HDR10+视频的操作,例如在如图10中的b所示的界面中接收到用户针对该用于分享视频的控件的操作时,第一设备可以显示图11中的a所示的界面,该界面中可以包括提示信息1101,该提示信息1101中可以包括用于将该HDR10+视频分享至第二设备的控件1102。可以理解的是,该提示信息1101中还可以包括用于将该视频HDR10+视频分享至其他应用的控件等内容。
可能的实现方式中,如图11中的a所示的该HDR10+视频的周围还可以显示用于指示该HDR10+视频的标识1104,例如该标识可以为HDR。
在如图11中的a所示的界面中,当第一设备接收到用户针对该控件1102的操作时,第一设备可以实现将该HDR10+视频分享至第二设备,并且该第二设备可以显示如图11中的b所示的界面。如图11中的b所示的界面,该第二设备的界面中可以显示提示信息1103,该提示信息1103用于指示接收到的HDR10+视频是基于动态元数据生成的,例如该提示信息1103可以显示为:第一设备想向您分享一个包含动态元数据的HDR10+视频(1.65GB),是否接收,该提示信息中可以包括:拒绝控件、以及接收控件等。该图11中的b所示的界面中还可以包括文件管理应用控件、电子邮件应用控件、音乐应用控件以及计算机应用控件等。
可能的实现方式中,如图11中的b所示的该HDR10+视频的周围还可以显示用于指示该HDR10+视频的标识1105,例如该标识可以为HDR。
在如图11中的b所示的界面中,当第二设备接收到用户针对该接收控件的操作时,第二设备可以保存该HDR10+视频。
基于此,第一设备可以通过设备分享将HDR10+视频分享至第二设备,使得第二设备可以在本设备中播放HDR10+视频。
在图11对应的实施例的基础上,可能的实现方式中,当第二设备接收到用户播放该HDR10+视频的操作时,第二设备可以显示提示信息,该提示信息用于指示第二设备将基于动态元数据对HDR10+视频进行视频播放。
示例性的,图12为本申请实施例提供的一种显示提示信息的界面示意图。当第二设备接收到用户播放该HDR10+视频的操作时,第二设备可以显示如图12所示的界面,该界面中可以包括:提示信息1201、确认控件1202、用于结束播放HDR10+视频的控件、用于打开图库应用的控件、以及用于查看更多功能的控件等。其中,该提示信息1201用于指示当前视频的播放形式,例如该提示信息1201可以显示为当前设备将基于动态元数据进行HDR视频播放。
可能的实现方式中,该图12所示的界面中该HDR10+视频的周围还可以显示用于指示该HDR10+视频的标识1203,例如该标识可以为HDR。
可能的实现方式中,当第二设备不支持动态元数据时,第二设备也可以基于静态元数据进行视频播放,此时第二设备中可以不显示提示信息1201。
进一步的,在如图12所示的界面中,当第二设备接收到用户针对该确认控件1202的操作时,第二设备可以对该HDR10+视频进行解析,并进行播放。例如,第二设备可以基于图13对应的实施例中的视频处理流程对HDR10+视频进行解析以及播放。
示例性的,图13为本申请实施例提供的一种播放HDR10+视频的流程示意图。如图13所示,该播放HDR10+视频的过程可以包括:视频解码处理1301。在视频解码处理1301中,第二设备可以基于SMPTE ST 2094-application4的视频标准将HDR10+视频解码为动态元数据以及第三图像序列。
本申请实施例中,当第二设备接收到第一设备发送的第一HDR10+视频时,第二设备可以确定该第一HDR10+视频的视频标准,例如该第一HDR10+视频支持SMPTE ST2094-application4、还是SMPTE ST 2086等;进一步的,当第二设备支持SMPTE ST2094-application4的视频标准时,则第二设备可以通过对第一HDR10+视频的解码得到动态元数据以及第三图像序列(该第三图像序列可以为HDR静态图像);或者,当第二设备支持SMPTEST 2086的视频标准时,则第二设备可以通过对第一HDR10+视频的解码得到静态元数据以及第三图像序列。
如图13所示,当第二设备支持动态元数据时,该播放HDR视频的过程可以包括:基于动态元数据的色调映射处理1302、用户界面(user interface,UI)色调映射处理1303、对动态HDR图像以及HDR UI进行叠加处理1304、以及基于显示屏的色调映射处理1305等步骤。
在基于动态元数据的色调映射处理1302中,第二设备可以基于SMPTE ST2094-application4,对第三图像序列中的每帧图像按照其对应的动态元数据进行色调映射,得到色调映射后的图像序列;进一步的,第二设备还可以基于第二设备的硬件可以支持的峰值亮度对该色调映射后的图像序列中的图像亮度进行调整,例如可以基于动态元数据的基准亮度(例如400nit)与该第二设备的硬件可以支持的峰值亮度(例如500nit)之间的比例关系,对该调映射后的图像序列中的图像的亮度进行比例调整,得到动态HDR图像序列。
在UI色调映射处理1303中,第二设备可以基于预设的色调映射规则对标准动态范围(standard dynamic range,SDR)UI图标进行色调调整,得到HDR UI。
在对动态HDR图像以及HDR UI进行叠加处理1304中,第二设备可以将该动态HDR图像序列中的每帧图像分别与HDR UI进行叠加,得到混合HDR图像序列。
在基于显示屏的色调映射处理1305中,第二设备可以基于显示屏的色调映射,将混合HDR图像序列中的图像处理为显示色彩空间的图像序列,进而得到HDR10+视频。
可能的实现方式中,当第二设备确定支持静态元数据时,第二设备可以利用第三图像序列以及静态元数据生成HDR10视频。可以理解的是,第二设备也可以基于图13对应的实施例基于静态元数据以及第三图像序列,得到HDR10视频,在此不再赘述。
基于此,第二设备可以实现对于第一设备发送的HDR10+视频的解码以及播放。
可以理解的是,本申请实施例提供的界面仅作为一种示例,并不能构成对本申请实施例的进一步限定。
为更清楚说明上述实施例中的内容,示例性的,图14为本申请实施例提供的另一种视频处理方法的流程示意图。
如图14所示,视频处理方法可以包括如下步骤:
S1401、第一设备接收在电影模式中开启拍摄的操作。
本申请实施例中,电影模式为用于录制得到高动态范围HDR视频的模式;该开启拍摄的操作可以为图5对应的实施例中针对该开启拍摄的控件503的操作,或者,该开启拍摄的操作可以为图6对应的实施例中针对该开启拍摄的控件602的操作等。
S1402、响应于开启拍摄的操作,第一设备基于摄像头获取第一图像序列。
其中,第一图像序列对应第一亮度场景,该第一亮度场景的确定方法可以参见图8对应的实施例中的描述,在此不再赘述。
S1403、第一设备基于第一图像序列、以及第一亮度场景对应的第一动态元数据编码得到第一HDR视频。
其中,该第一HDR视频可以为本申请实施例中描述的第一HDR10+视频;第一动态元数据中包括预设亮度。
S1404、第二设备获取来自于第一设备的第一HDR视频。
示例性的,第二设备可以基于图11对应的实施例获取来自第一设备的第一HDR视频。
可能的实现方式中,该第一HDR视频中可以兼容动态元数据以及静态元数据,使得支持动态元数据的第二设备可以利用动态元数据对第一HDR视频中的内容进行播放,或者支持静态元数据的第二设备也可以利用静态元数据对第一HDR视频中的内容进行播放。
S1405、第二设备基于预设亮度对第一HDR视频进行亮度调节,得到第二HDR视频。
其中,该第二HDR视频可以为本申请实施例中描述的第二HDR10+视频。示例性的,当该第一HDR视频对应的动态元数据中指示第一HDR视频的预设亮度为400nit时,则第二设备可以基于该400nit对第一HDR视频中的图像进行调节,使得第一HDR视频中的图像的亮度均保持最多400nit。
可能的实现方式中,当该第一HDR视频对应的动态元数据中指示第一HDR视频的预设亮度为400nit时,且第二设备的峰值亮度为700nit时,则第二设备可以基于该400nit与700nit之间的比例关系,对第一HDR视频中的图像的亮度按照该比例关系适应增大,使得第一HDR视频中400nit的图像均可以显示在700nit的第二设备的显示屏中。
S1406、第二设备播放第二HDR视频。
其中,第二设备可以基于图12对应的实施例播放第二HDR视频。
基于此,第一设备可以为基于摄像头获取的第一图像序列并为第一图像序列所对应的亮度场景匹配动态元数据,利用动态元数据对该第一图像序列进行调整,得到第一HDR视频,并将第一HDR视频发送至第二设备,使得第二设备可以基于动态元数据中指示的预设亮度对该第一HDR视频进行亮度映射,并显示亮度合适的视频内容。
在一种可能的实现方式中,第二设备基于预设亮度对第一HDR视频进行亮度调节,得到第二HDR视频,S1406包括:第二设备确定亮度比例;亮度比例为第二设备的峰值亮度与预设亮度之间的比例;第二设备基于亮度比例对第一HDR视频进行亮度调节,得到第二HDR视频。
在一种可能的实现方式中,还包括:第一设备基于摄像头继续获取第二图像序列;其中,第二图像序列对应第二亮度场景;第一亮度场景与第二亮度场景不同;第一设备基于第一图像序列、以及第一亮度场景对应的第一动态元数据编码得到第一HDR视频,包括:第一设备基于第一图像序列、第二图像序列、第一亮度场景对应的第一动态元数据、以及第二亮度场景对应的第二动态元数据,编码得到第一HDR视频。
在一种可能的实现方式中,S1403之前,方法还包括:第一设备对第一图像序列进行图像前处理,得到图像前处理后的第一图像序列;第一设备对图像前处理后的第一图像序列进行伽马校正处理,得到伽马校正处理后的第一图像序列;第一设备对伽马校正处理后的第一图像序列以进行3D查找表处理,得到3D查找表处理后的第一图像序列;其中,3D查找表处理后的第一图像序列中包括第一图像序列对应的第一静态元数据;第一设备基于第一图像序列、以及第一亮度场景对应的第一动态元数据编码得到第一HDR视频,包括:第一设备基于3D查找表处理后的第一图像序列、以及第一亮度场景对应的第一动态元数据编码得到第一HDR视频。
其中,该图像前处理、伽马校正处理、以及3D查找表处理步骤可以参见图8对应的实施例中的描述,在此不再赘述。
在一种可能的实现方式中,第一HDR视频中包括第一静态元数据以及第一动态元数据。
在一种可能的实现方式中,方法还包括:当第二设备确定支持对第一静态元数据进行处理时,第二设备将第二HDR视频解码为第一图像序列、以及第一静态元数据;第二设备基于第一图像序列、以及第一静态元数据编码得到第三HDR视频;第二HDR视频与第三HDR视频不同。
在一种可能的实现方式中,第一HDR视频的类型为HDR10+视频,第二HDR视频的类型为HDR10+视频,第三HDR视频的类型为HDR10视频。
在一种可能的实现方式中,S1401包括:第一设备接收用于打开电影模式的操作;响应于打开电影模式的操作,第一设备显示第一界面;第一界面中包括:用于录制得到HDR视频的控件、以及用于开启拍摄的控件;在用于录制得到HDR视频的控件的状态为关闭状态时,第一设备接收用于开启用于录制得到HDR视频的控件的操作;响应于用于录制得到HDR视频的控件的操作,第一设备显示第二界面;第二界面中包括:用于指示4K HDR10+模式已开启的提示信息;在用于录制得到HDR视频的控件的状态为开启状态时,第一设备接收针对用于开启拍摄的控件的操作。
其中,该用于打开电影模式的操作可以为5中的a所示的界面针对用于开启电影模式的控件501的操作;第一界面可以为图5中的b所示的界面,用于录制得到HDR视频的控件可以为图5中的b所示的4K HDR功能控件502,用于开启拍摄的控件可以为图5中的b所示的开启拍摄的控件503;第二界面可以为图5中的c所示的界面,用于指示4K HDR10+模式已开启的提示信息可以为图5中的c所示的提示信息505。
在一种可能的实现方式中,方法还包括:在用于录制得到HDR视频的控件的状态为开启状态时,第一设备接收用于关闭用于录制得到HDR视频的控件的操作;响应于用于录制得到HDR视频的控件的操作,第一设备显示第三界面;第三界面中包括:用于指示4K HDR10+模式已关闭的提示信息。
其中,第三界面可以为图5中的d所示的界面,该用于指示4K HDR10+模式已关闭的提示信息可以为图5中的d所示的提示信息506。
在一种可能的实现方式中,方法还包括:第一设备接收到第一次打开电影模式的操作;响应于第一次打开电影模式的操作,第一设备显示第四界面;第四界面中包括:用于录制得到HDR视频的控件、以及用于指示开启用于录制得到HDR视频的控件后将录制4KHDR10+视频的提示信息。
其中,第四界面可以为图5中的b所示的界面,该用于录制得到HDR视频的控件可以为图5中的b所示的提示信息504。
在一种可能的实现方式中,第一设备接收在电影模式中开启拍摄的操作,包括:第一设备接收用于打开电影模式的操作;响应于打开电影模式的操作,第一设备显示第五界面;第五界面中包括:用于查看第一应用对应的设置项的控件、以及用于开启拍摄的控件;第一设备接收针对用于查看第一应用对应的设置项的控件的操作;响应于查看第一应用对应的设置项的控件的操作,第一设备显示第六界面;第六界面中包括:用于在电影模式中采用10比特HDR记录视频并将视频切换至4K的第一控件;在第一控件的状态为开启状态下,第一设备接收针对用于开启拍摄的控件的操作。
其中,第五界面可以为图6中的a所示的界面,该用于查看第一应用对应的设置项的控件可以为图6中的a所示的设置控件601,该用于开启拍摄的控件可以为图6中的a所示的开启拍摄的控件602;第六界面可以为图6中的b所示的界面,第一控件可以为图6中的b所示的电影HDR功能控件603。
在一种可能的实现方式中,方法还包括:第一设备接收针对用于查看第一应用中的功能详情的控件的操作;响应于查看第一应用中的功能详情的控件的操作,第一设备显示第七界面;其中,第七界面中包括:电影模式对应的功能详情,电影模式的功能详情用于指示电影模式可录制4K HDR10+视频。
其中,第七界面可以为图7中的c所示的界面,该电影模式对应的功能详情可以为图7中的c所示的电影模式对应的详情说明703。
在一种可能的实现方式中,方法还包括:第一设备接收用于打开第二应用的操作;响应于打开第二应用的操作,第一设备显示第八界面;其中,第八界面中包括:第一HDR视频、以及第一HDR视频对应的标识;标识用于指示第一HDR视频的类型;第一设备接收针对第一HDR视频的操作;响应于针对第一HDR视频的操作,第一设备显示第九界面;第九界面中包括:标识。
其中,第二应用可以为本申请实施例中的图库应用程序,第八界面可以为图10中的a所示的界面,该标识可以为图10中的a所示的标识1004;第九界面可以为图10中的b所示的界面,该标识可以为图10中的b所示的标识1005。
在一种可能的实现方式中,第二设备获取来自于第一设备的第一HDR视频之后,方法还包括:第二设备显示第十界面;其中,第十界面中包括:用于指示第一HDR视频为包含动态元数据的HDR10+视频的提示信息、用于允许接收第一HDR视频的控件、以及用于拒绝接收第一HDR视频的控件;第二设备接收针对用于允许接收第一HDR视频的控件的操作;响应于允许接收第一HDR视频的控件的操作,第二设备显示第十一界面;其中,第十一界面中包括用于指示基于动态元数据对第一HDR视频进行播放的提示信息。
其中,第十界面可以为图11中的b所示的界面,该于指示第一HDR视频为包含动态元数据的HDR10+视频的提示信息可以为图11中的b所示的提示信息1103;该第十一界面可以为图12所示的界面,该用于指示基于动态元数据对第一HDR视频进行播放的提示信息可以为图12中的提示信息1201。
上面结合图5-图14,对本申请实施例提供的方法进行了说明,下面对本申请实施例提供的执行上述方法的装置进行描述。如图15所示,图15为本申请实施例提供的一种视频处理装置的结构示意图,该视频处理装置可以是本申请实施例中的终端设备,也可以是终端设备内的芯片或芯片***。其中,该视频处理装置可以为第一设备中的装置,或者也可以为第二设备中的装置。
如图15所示,视频处理装置150可以用于通信设备、电路、硬件组件或者芯片中,该视频处理装置包括:显示单元1501、以及处理单元1502以及通信单元1503等。其中,显示单元1501用于支持视频处理方法执行的显示的步骤;处理单元1502用于支持视频处理装置执行信息处理的步骤。
处理单元1502可以和显示单元1501可以集成在一起,处理单元1502和显示单元1501可能会发生通信。
在一种可能的实现方式中,该视频处理装置还可以包括:存储单元1504。其中,存储单元1504可以包括一个或者多个存储器,存储器可以是一个或者多个设备、电路中用于存储程序或者数据的器件。
存储单元1504可以独立存在,通过通信总线与处理单元1502相连。存储单元1504也可以和处理单元1502集成在一起。
以视频处理装置可以是本申请实施例中的终端设备的芯片或芯片***为例,存储单元1504可以存储终端设备的方法的计算机执行指令,以使处理单元1502执行上述实施例中终端设备的方法。存储单元1504可以是寄存器、缓存或者随机存取存储器(randomaccess memory,RAM)等,存储单元1504可以和处理单元1502集成在一起。存储单元1504可以是只读存储器(read-only memory,ROM)或者可存储静态信息和指令的其他类型的静态存储设备,存储单元1504可以与处理单元1502相独立。
在一种可能的实现方式中,视频处理装置还可以包括:通信单元1503。其中,通信单元1503用于支持视频处理装置与其它设备交互。示例性的,当该视频处理装置是终端设备时,该通信单元1503可以是通信接口或接口电路。当该视频处理装置是终端设备内的芯片或芯片***时,该通信单元1503可以是通信接口。例如通信接口可以为输入/输出接口、管脚或电路等。
本实施例的装置对应地可用于执行上述方法实施例中执行的步骤,其实现原理和技术效果类似,此处不再赘述。
图16为本申请实施例提供的另一种终端设备的硬件结构示意图,如图16所示,该终端设备包括处理器1601,通信线路1604以及至少一个通信接口(图16中示例性的以通信接口1603为例进行说明)。
处理器1601可以是一个通用中央处理器(central processing unit,CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。
通信线路1604可包括在上述组件之间传送信息的电路。
通信接口1603,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如以太网,无线局域网(wireless local area networks,WLAN)等。
可能的,该终端设备还可以包括存储器1602。
存储器1602可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过通信线路1604与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器1602用于存储执行本申请方案的计算机执行指令,并由处理器1601来控制执行。处理器1601用于执行存储器1602中存储的计算机执行指令,从而实现本申请实施例所提供的方法。
可能的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
在具体实现中,作为一种实施例,处理器1601可以包括一个或多个CPU,例如图16中的CPU0和CPU1。
在具体实现中,作为一种实施例,终端设备可以包括多个处理器,例如图16中的处理器1601和处理器1605。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
示例性的,图17为本申请实施例提供的一种芯片的结构示意图。芯片170包括一个或两个以上(包括两个)处理器1720和通信接口1730。
在一些实施方式中,存储器1740存储了如下的元素:可执行模块或者数据结构,或者他们的子集,或者他们的扩展集。
本申请实施例中,存储器1740可以包括只读存储器和随机存取存储器,并向处理器1720提供指令和数据。存储器1740的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory,NVRAM)。
本申请实施例中,存储器1740、通信接口1730以及处理器1720通过总线***1710耦合在一起。其中,总线***1710除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。为了便于描述,在图17中将各种总线都标为总线***1710。
上述本申请实施例描述的方法可以应用于处理器1720中,或者由处理器1720实现。处理器1720可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1720中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1720可以是通用处理器(例如,微处理器或常规处理器)、数字信号处理器(digitalsignal processing,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门、晶体管逻辑器件或分立硬件组件,处理器1720可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。
结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。其中,软件模块可以位于随机存储器、只读存储器、可编程只读存储器或带电可擦写可编程存储器(electricallyerasable programmable read only memory,EEPROM)等本领域成熟的存储介质中。该存储介质位于存储器1740,处理器1720读取存储器1740中的信息,结合其硬件完成上述方法的步骤。
在上述实施例中,存储器存储的供处理器执行的指令可以以计算机程序产品的形式实现。其中,计算机程序产品可以是事先写入在存储器中,也可以是以软件形式下载并安装在存储器中。
计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。例如,可用介质可以包括磁性介质(例如,软盘、硬盘或磁带)、光介质(例如,数字通用光盘(digital versatile disc,DVD))、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
本申请实施例还提供了一种计算机可读存储介质。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。计算机可读介质可以包括计算机存储介质和通信介质,还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。
作为一种可能的设计,计算机可读介质可以包括紧凑型光盘只读储存器(compactdisc read-only memory,CD-ROM)、RAM、ROM、EEPROM或其它光盘存储器;计算机可读介质可以包括磁盘存储器或其它磁盘存储设备。而且,任何连接线也可以被适当地称为计算机可读介质。例如,如果使用同轴电缆,光纤电缆,双绞线,DSL或无线技术(如红外,无线电和微波)从网站,服务器或其它远程源传输软件,则同轴电缆,光纤电缆,双绞线,DSL或诸如红外,无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘(CD),激光盘,光盘,数字通用光盘(digital versatile disc,DVD),软盘和蓝光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光光学地再现数据。
上述的组合也应包括在计算机可读介质的范围内。以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (24)

1.一种视频处理方法,其特征在于,应用于视频处理***,所述视频处理***中包括:第一设备以及第二设备,所述方法包括:
所述第一设备接收在电影模式中开启拍摄的操作;所述电影模式为用于录制得到高动态范围HDR视频的模式;
响应于所述开启拍摄的操作,所述第一设备基于摄像头获取第一图像序列;所述第一图像序列对应第一亮度场景;
所述第一设备基于所述第一图像序列、以及所述第一亮度场景对应的第一动态元数据编码得到第一HDR视频;所述第一动态元数据中包括预设亮度;
所述第二设备获取来自于所述第一设备的所述第一HDR视频;
所述第二设备基于所述预设亮度对所述第一HDR视频进行亮度调节,得到第二HDR视频;
所述第二设备播放所述第二HDR视频;
所述第一设备接收在电影模式中开启拍摄的操作,包括:
所述第一设备接收用于打开所述电影模式的操作;
响应于所述打开所述电影模式的操作,所述第一设备显示第一界面;所述第一界面中包括:用于录制得到所述HDR视频的控件、以及用于开启拍摄的控件;
在所述用于录制得到所述HDR视频的控件的状态为关闭状态时,所述第一设备接收用于开启所述用于录制得到所述HDR视频的控件的操作;
响应于所述用于录制得到所述HDR视频的控件的操作,所述第一设备显示第二界面;所述第二界面中包括:用于指示HDR模式已开启的提示信息;
在所述用于录制得到所述HDR视频的控件的状态为开启状态时,所述第一设备接收针对所述用于开启拍摄的控件的操作。
2.根据权利要求1所述的方法,其特征在于,所述第二设备基于所述预设亮度对所述第一HDR视频进行亮度调节,得到第二HDR视频,包括:
所述第二设备确定亮度比例;所述亮度比例为所述第二设备的峰值亮度与所述预设亮度之间的比例;
所述第二设备基于所述亮度比例对所述第一HDR视频进行亮度调节,得到所述第二HDR视频。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
所述第一设备基于摄像头继续获取第二图像序列;其中,所述第二图像序列对应第二亮度场景;所述第一亮度场景与所述第二亮度场景不同;
所述第一设备基于所述第一图像序列、以及所述第一亮度场景对应的第一动态元数据编码得到第一HDR视频,包括:所述第一设备基于所述第一图像序列、所述第二图像序列、所述第一亮度场景对应的第一动态元数据、以及所述第二亮度场景对应的第二动态元数据,编码得到所述第一HDR视频。
4.根据权利要求1所述的方法,其特征在于,所述第一设备基于所述第一图像序列、以及所述第一亮度场景对应的第一动态元数据编码得到第一HDR视频之前,所述方法还包括:
所述第一设备对所述第一图像序列进行图像前处理,得到图像前处理后的第一图像序列;
所述第一设备对所述图像前处理后的第一图像序列进行伽马校正处理,得到伽马校正处理后的第一图像序列;
所述第一设备对所述伽马校正处理后的第一图像序列以进行3D查找表处理,得到3D查找表处理后的第一图像序列;其中,所述3D查找表处理后的第一图像序列中包括所述第一图像序列对应的第一静态元数据;
所述第一设备基于所述第一图像序列、以及所述第一亮度场景对应的第一动态元数据编码得到第一HDR视频,包括:所述第一设备基于所述3D查找表处理后的第一图像序列、以及所述第一亮度场景对应的第一动态元数据编码得到所述第一HDR视频。
5.根据权利要求4所述的方法,其特征在于,所述第一HDR视频中包括:所述第一静态元数据以及所述第一动态元数据。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
当所述第二设备确定支持对所述第一静态元数据进行处理时,所述第二设备将所述第二HDR视频解码为所述第一图像序列、以及所述第一静态元数据;
所述第二设备基于所述第一图像序列、以及所述第一静态元数据编码得到第三HDR视频;所述第二HDR视频与所述第三HDR视频不同。
7.根据权利要求6所述的方法,其特征在于,所述第一HDR视频的类型为HDR10+视频,所述第二HDR视频的类型为所述HDR10+视频,所述第三HDR视频的类型为HDR10视频。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述用于录制得到所述HDR视频的控件的状态为开启状态时,所述第一设备接收用于关闭所述用于录制得到所述HDR视频的控件的操作;
响应于所述用于录制得到所述HDR视频的控件的操作,所述第一设备显示第三界面;所述第三界面中包括:用于指示4K HDR10+模式已关闭的提示信息。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述第一设备接收到第一次打开所述电影模式的操作;
响应于所述第一次打开所述电影模式的操作,所述第一设备显示第四界面;所述第四界面中包括:所述用于录制得到所述HDR视频的控件、以及用于指示开启所述用于录制得到所述HDR视频的控件后将录制4K HDR10+视频的提示信息。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述第一设备接收在电影模式中开启拍摄的操作,包括:
所述第一设备接收用于打开所述电影模式的操作;
响应于所述打开所述电影模式的操作,所述第一设备显示第五界面;所述第五界面中包括:用于查看第一应用对应的设置项的控件、以及用于开启拍摄的控件;
所述第一设备接收针对所述用于查看第一应用对应的设置项的控件的操作;
响应于所述查看第一应用对应的设置项的控件的操作,所述第一设备显示第六界面;所述第六界面中包括:用于在所述电影模式中采用10比特HDR记录视频并将视频切换至4K的第一控件;
在所述第一控件的状态为开启状态下,所述第一设备接收针对所述用于开启拍摄的控件的操作。
11.根据权利要求1-9任一项所述的方法,其特征在于,所述方法还包括:
所述第一设备接收针对用于查看第一应用中的功能详情的控件的操作;
响应于所述查看第一应用中的功能详情的控件的操作,所述第一设备显示第七界面;其中,所述第七界面中包括:所述电影模式对应的功能详情,所述电影模式的功能详情用于指示所述电影模式可录制4K HDR10+视频。
12.根据权利要求1-9任一项所述的方法,其特征在于,所述方法还包括:
所述第一设备接收用于打开第二应用的操作;
响应于所述打开第二应用的操作,所述第一设备显示第八界面;其中,所述第八界面中包括:所述第一HDR视频、以及所述第一HDR视频对应的标识;所述标识用于指示所述第一HDR视频的类型;
所述第一设备接收针对所述第一HDR视频的操作;
响应于所述针对所述第一HDR视频的操作,所述第一设备显示第九界面;所述第九界面中包括:所述标识。
13.根据权利要求1所述的方法,其特征在于,所述第二设备获取来自于所述第一设备的所述第一HDR视频之后,所述方法还包括:
所述第二设备显示第十界面;其中,所述第十界面中包括:用于指示所述第一HDR视频为包含动态元数据的HDR10+视频的提示信息、用于允许接收所述第一HDR视频的控件、以及用于拒绝接收所述第一HDR视频的控件;
所述第二设备接收针对所述用于允许接收所述第一HDR视频的控件的操作;
响应于所述允许接收所述第一HDR视频的控件的操作,所述第二设备显示第十一界面;其中,所述第十一界面中包括用于指示基于动态元数据对所述第一HDR视频进行播放的提示信息。
14.一种视频处理方法,其特征在于,应用于第一设备,所述方法包括:
所述第一设备接收在电影模式中开启拍摄的操作;所述电影模式为用于录制得到高动态范围HDR视频的模式;
响应于所述开启拍摄的操作,所述第一设备基于摄像头获取第一图像序列;所述第一图像序列对应第一亮度场景;
所述第一设备基于所述第一图像序列、以及所述第一亮度场景对应的第一动态元数据编码得到第一HDR视频;所述第一动态元数据中包括预设亮度;
所述第一设备将所述第一HDR视频发送至第二设备;
所述第一设备接收在电影模式中开启拍摄的操作,包括:
所述第一设备接收用于打开所述电影模式的操作;
响应于所述打开所述电影模式的操作,所述第一设备显示第一界面;所述第一界面中包括:用于录制得到所述HDR视频的控件、以及用于开启拍摄的控件;
在所述用于录制得到所述HDR视频的控件的状态为关闭状态时,所述第一设备接收用于开启所述用于录制得到所述HDR视频的控件的操作;
响应于所述用于录制得到所述HDR视频的控件的操作,所述第一设备显示第二界面;所述第二界面中包括:用于指示HDR模式已开启的提示信息;
在所述用于录制得到所述HDR视频的控件的状态为开启状态时,所述第一设备接收针对所述用于开启拍摄的控件的操作。
15.根据权利要求14所述的方法,其特征在于,所述方法还包括:
所述第一设备基于摄像头继续获取第二图像序列;其中,所述第二图像序列对应第二亮度场景;所述第一亮度场景与所述第二亮度场景不同;
所述第一设备基于所述第一图像序列、以及所述第一亮度场景对应的第一动态元数据编码得到第一HDR视频,包括:所述第一设备基于所述第一图像序列、所述第二图像序列、所述第一亮度场景对应的第一动态元数据、以及所述第二亮度场景对应的第二动态元数据,编码得到所述第一HDR视频。
16.根据权利要求14所述的方法,其特征在于,所述第一设备基于所述第一图像序列、以及所述第一亮度场景对应的第一动态元数据编码得到第一HDR视频之前,所述方法还包括:
所述第一设备对所述第一图像序列进行图像前处理,得到图像前处理后的第一图像序列;
所述第一设备对所述图像前处理后的第一图像序列进行伽马校正处理,得到伽马校正处理后的第一图像序列;
所述第一设备对所述伽马校正处理后的第一图像序列以进行3D查找表处理,得到3D查找表处理后的第一图像序列;其中,所述3D查找表处理后的第一图像序列中包括所述第一图像序列对应的第一静态元数据;
所述第一设备基于所述第一图像序列、以及所述第一亮度场景对应的第一动态元数据编码得到第一HDR视频,包括:所述第一设备基于所述3D查找表处理后的第一图像序列、以及所述第一亮度场景对应的第一动态元数据编码得到所述第一HDR视频。
17.根据权利要求16所述的方法,其特征在于,所述第一HDR视频中包括所述第一静态元数据以及所述第一动态元数据。
18.一种视频处理方法,其特征在于,应用于第二设备,所述方法包括:
所述第二设备获取来自于第一设备的第一HDR视频;其中,所述第一HDR视频中包括第一动态元数据以及第一图像序列;所述第一动态元数据中包括预设亮度,所述第一HDR视频获取方式如下:所述第一设备接收在电影模式中开启拍摄的操作;所述电影模式为用于录制得到高动态范围HDR视频的模式;响应于所述开启拍摄的操作,所述第一设备基于摄像头获取第一图像序列;所述第一图像序列对应第一亮度场景;所述第一设备基于所述第一图像序列、以及所述第一亮度场景对应的第一动态元数据编码得到第一HDR视频,所述第一设备接收在电影模式中开启拍摄的操作,包括:所述第一设备接收用于打开所述电影模式的操作;响应于所述打开所述电影模式的操作,所述第一设备显示第一界面;所述第一界面中包括:用于录制得到所述HDR视频的控件、以及用于开启拍摄的控件;在所述用于录制得到所述HDR视频的控件的状态为关闭状态时,所述第一设备接收用于开启所述用于录制得到所述HDR视频的控件的操作;响应于所述用于录制得到所述HDR视频的控件的操作,所述第一设备显示第二界面;所述第二界面中包括:用于指示HDR模式已开启的提示信息;在所述用于录制得到所述HDR视频的控件的状态为开启状态时,所述第一设备接收针对所述用于开启拍摄的控件的操作;
所述第二设备基于所述预设亮度对所述第一HDR视频进行亮度调节,得到第二HDR视频;
所述第二设备播放所述第二HDR视频。
19.根据权利要求18所述的方法,其特征在于,所述第二设备基于所述预设亮度对所述第一HDR视频进行亮度调节,得到第二HDR视频,包括:
所述第二设备确定亮度比例;所述亮度比例为所述第二设备的峰值亮度与所述预设亮度之间的比例;
所述第二设备基于所述亮度比例对所述第一HDR视频进行亮度调节,得到所述第二HDR视频。
20.根据权利要求19所述的方法,其特征在于,所述第一HDR视频中包括第一静态元数据以及所述第一动态元数据。
21.根据权利要求20所述的方法,其特征在于,所述方法还包括:
当所述第二设备确定支持对所述第一静态元数据进行处理时,所述第二设备将所述第二HDR视频解码为所述第一图像序列、以及所述第一静态元数据;
所述第二设备基于所述第一图像序列、以及所述第一静态元数据编码得到第三HDR视频;所述第二HDR视频与所述第三HDR视频不同。
22.根据权利要求21所述的方法,其特征在于,所述第一HDR视频的类型为HDR10+视频,所述第二HDR视频的类型为所述HDR10+视频,所述第三HDR视频的类型为HDR10视频。
23.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,使得所述终端设备执行如权利要求1至13任一项所述的方法,或者,执行如权利要求14至17任一项所述的方法,或者,执行如权利要求18至22任一项所述的方法。
24.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,使得计算机执行如权利要求1至13任一项所述的方法,或者,执行如权利要求14至17任一项所述的方法,或者,执行如权利要求18至22任一项所述的方法。
CN202210193750.XA 2022-02-28 2022-02-28 视频处理方法和装置 Active CN115564659B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202210193750.XA CN115564659B (zh) 2022-02-28 2022-02-28 视频处理方法和装置
US18/558,829 US20240223911A1 (en) 2022-02-28 2023-01-10 Video processing method and apparatus
PCT/CN2023/071669 WO2023160295A1 (zh) 2022-02-28 2023-01-10 视频处理方法和装置
EP23758920.5A EP4318383A1 (en) 2022-02-28 2023-01-10 Video processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210193750.XA CN115564659B (zh) 2022-02-28 2022-02-28 视频处理方法和装置

Publications (2)

Publication Number Publication Date
CN115564659A CN115564659A (zh) 2023-01-03
CN115564659B true CN115564659B (zh) 2024-04-05

Family

ID=84736610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210193750.XA Active CN115564659B (zh) 2022-02-28 2022-02-28 视频处理方法和装置

Country Status (4)

Country Link
US (1) US20240223911A1 (zh)
EP (1) EP4318383A1 (zh)
CN (1) CN115564659B (zh)
WO (1) WO2023160295A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564659B (zh) * 2022-02-28 2024-04-05 荣耀终端有限公司 视频处理方法和装置
CN117119291B (zh) * 2023-02-06 2024-06-21 荣耀终端有限公司 一种出图模式切换方法和电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102253815A (zh) * 2010-05-20 2011-11-23 佳能株式会社 图像处理装置及图像处理方法
CA2986520A1 (en) * 2017-11-22 2019-05-22 Thomson Licensing Method and device for reconstructing a display adapted hdr image
CN111095918A (zh) * 2017-09-21 2020-05-01 索尼公司 再现装置、再现方法、程序和记录介质
EP3694216A1 (en) * 2017-10-06 2020-08-12 Panasonic Intellectual Property Management Co., Ltd. Image display system and image display method
CN111771375A (zh) * 2018-02-13 2020-10-13 皇家飞利浦有限公司 用于处理多种hdr视频格式的***
CN112272947A (zh) * 2018-07-05 2021-01-26 华为技术有限公司 一种视频信号处理的方法及装置
CN112532857A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种延时摄影的拍摄方法及设备
CN113810596A (zh) * 2021-07-27 2021-12-17 荣耀终端有限公司 延时摄影方法和装置
CN113810602A (zh) * 2021-08-12 2021-12-17 荣耀终端有限公司 一种拍摄方法及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600163B2 (en) * 2017-11-22 2020-03-24 Interdigital Vc Holdings, Inc. Method and device for reconstructing a display adapted HDR image
EP3493542A1 (en) * 2017-11-30 2019-06-05 Thomson Licensing Saturation control for high-dynamic range reconstruction
WO2020000135A1 (zh) * 2018-06-25 2020-01-02 华为技术有限公司 一种包含字幕的高动态范围视频处理的方法及装置
WO2020018331A1 (en) * 2018-07-20 2020-01-23 Interdigital Vc Holdings, Inc. Method and apparatus for processing a medium dynamic range video signal in sl-hdr2 format
CN115564659B (zh) * 2022-02-28 2024-04-05 荣耀终端有限公司 视频处理方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102253815A (zh) * 2010-05-20 2011-11-23 佳能株式会社 图像处理装置及图像处理方法
CN111095918A (zh) * 2017-09-21 2020-05-01 索尼公司 再现装置、再现方法、程序和记录介质
EP3694216A1 (en) * 2017-10-06 2020-08-12 Panasonic Intellectual Property Management Co., Ltd. Image display system and image display method
CA2986520A1 (en) * 2017-11-22 2019-05-22 Thomson Licensing Method and device for reconstructing a display adapted hdr image
CN111771375A (zh) * 2018-02-13 2020-10-13 皇家飞利浦有限公司 用于处理多种hdr视频格式的***
CN112272947A (zh) * 2018-07-05 2021-01-26 华为技术有限公司 一种视频信号处理的方法及装置
CN112532857A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种延时摄影的拍摄方法及设备
CN113810596A (zh) * 2021-07-27 2021-12-17 荣耀终端有限公司 延时摄影方法和装置
CN113810602A (zh) * 2021-08-12 2021-12-17 荣耀终端有限公司 一种拍摄方法及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Perception-Based Inverse Tone Mapping Operator for High Dynamic Range Video Applications;Mohammadi Pedram et al.;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》;全文 *
融合视觉感知特性的HDR视频编码率失真优化算法;杨桐;《光电工程》;83-93 *

Also Published As

Publication number Publication date
CN115564659A (zh) 2023-01-03
WO2023160295A9 (zh) 2024-04-11
WO2023160295A1 (zh) 2023-08-31
EP4318383A1 (en) 2024-02-07
US20240223911A1 (en) 2024-07-04

Similar Documents

Publication Publication Date Title
CN112532857B (zh) 一种延时摄影的拍摄方法及设备
WO2020253719A1 (zh) 一种录屏方法及电子设备
CN115526787B (zh) 视频处理方法和装置
CN115564659B (zh) 视频处理方法和装置
WO2023016039A1 (zh) 视频处理方法、装置、电子设备和存储介质
CN114489533A (zh) 投屏方法、装置、电子设备及计算机可读存储介质
CN115514883B (zh) 跨设备的协同拍摄方法、相关装置及***
CN113630558B (zh) 一种摄像曝光方法及电子设备
CN114466134A (zh) 生成hdr图像的方法及电子设备
WO2023005298A1 (zh) 基于多摄像头的图像内容屏蔽方法和装置
CN116074634B (zh) 一种曝光参数确定方法和装置
CN113572948B (zh) 视频处理方法和视频处理装置
CN115237359A (zh) 一种投屏显示参数调节方法
CN113810640A (zh) 视频处理方法、装置及电子设备
CN115550556A (zh) 一种曝光强度调节方法及相关装置
CN116048323B (zh) 图像处理方法及电子设备
CN115529411B (zh) 视频虚化方法和装置
CN117135257A (zh) 一种图像显示方法及电子设备
CN115686182B (zh) 增强现实视频的处理方法与电子设备
CN117651221A (zh) 视频处理的方法及电子设备
CN115145517A (zh) 一种投屏方法、电子设备和***
CN115705663B (zh) 图像处理方法与电子设备
CN117135468B (zh) 图像处理方法及电子设备
CN117119314B (zh) 一种图像处理方法及相关电子设备
CN115460343B (zh) 图像处理方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant