CN111935431A - 高帧速率视频记录 - Google Patents

高帧速率视频记录 Download PDF

Info

Publication number
CN111935431A
CN111935431A CN202010263535.3A CN202010263535A CN111935431A CN 111935431 A CN111935431 A CN 111935431A CN 202010263535 A CN202010263535 A CN 202010263535A CN 111935431 A CN111935431 A CN 111935431A
Authority
CN
China
Prior art keywords
video
frame
image buffer
rate
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010263535.3A
Other languages
English (en)
Other versions
CN111935431B (zh
Inventor
周冠宏
吕立伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN111935431A publication Critical patent/CN111935431A/zh
Application granted granted Critical
Publication of CN111935431B publication Critical patent/CN111935431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G11B2020/00072—Time or data compression or expansion the compressed signal including a video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开涉及高帧速率视频记录，具体地公开了一种记录视频的装置，该装置包括：图像信号处理器，该图像信号处理器处理响应于按第一帧速率对视频进行记录的请求而拍摄的帧；以及对所拍摄的帧进行编码的视频编码器。该装置还包括处理电路，该处理电路能工作以响应于所述请求对存储器中的图像缓冲器进行分配，并且执行摄像机软件以指导该图像信号处理器利用一批所拍摄的帧填充各个图像缓冲器。针对各个填充后的图像缓冲器，按第二速率从该摄像机软件向视频软件传递对该图像缓冲器的引用，第二速率是第一帧速率的一部分。然后，该处理电路执行该视频软件以一次提供一个帧给所述视频编码器，以用于按第一帧速率进行编码。

Description

高帧速率视频记录
相关申请的交叉引用
本申请要求2018年5月14日提交的美国临时申请No.62/670,930的权益，其全部内容通过引用并入本文。
技术领域
本发明的实施方式涉及通过部署有软件框架的装置来进行高速视频记录。
背景技术
在包括智能电话作为娱乐功能的消费者记录装置中，高速视频记录越来越受欢迎。可以以慢动作来回放按高帧速率记录的视频，以用于对移动和瞬时现象进行分析。
高速摄像机能够以高帧速率对移动图像进行拍摄；例如，大约每秒数百帧。所拍摄的图像被记录在存储介质上，该存储介质可以是诸如闪存驱动器、安全数字(SD)卡等的非易失性存储装置。在记录之后，可以以慢动作回放所拍摄的图像。现代高速摄像机是这样的电子装置，其具有用于图像拍摄和视频记录的诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)有源像素传感器这样的图像传感器。
针对诸如智能手机这样的现代移动装置，摄像机和视频记录功能通常是由装置上部署的软件框架支持的。这种软件框架的示例是AndroidTM框架。增加帧速率也会增加由软件框架执行的处理任务。该软件开销对记录装置的帧速率设置了上限。因此，需要减少软件开销以提高高速视频记录中的软件效率。
发明内容
在一个实施方式中，提供了一种记录视频的装置。所述装置包括：存储器，该存储器存储多个图像缓冲器；图像信号处理器，所述图像信号处理器处理响应于按第一帧速率对视频进行记录的请求而拍摄的拍摄帧；以及视频编码器，该视频编码器对所拍摄的帧进行编码。所述装置还包括处理电路，该处理电路包括联接至所述存储器的一个或更多个处理器，并且所述处理电路能工作(operative)以进行如下操作：响应于所述请求对所述存储器中的所述图像缓冲器进行分配，以及执行摄像机软件以指导所述图像信号处理器利用一批所拍摄的帧填充各个图像缓冲器。针对利用所述一批所拍摄的帧填充的各个图像缓冲器，所述处理电路能工作以按第二速率从所述摄像机软件向视频软件传递对所述图像缓冲器的引用，其中，所述第二速率是所述第一帧速率的一部分(a fraction of)。所述处理电路还能工作以执行所述视频软件以一次提供一个帧给所述视频编码器，以用于按所述第一帧速率进行编码。
在另一实施方式中，提供了一种记录视频的方法。所述方法包括以下步骤：接收按第一帧速率进行视频记录的请求；响应于所述请求对来自存储器的多个图像缓冲器进行分配；并且由图像信号处理器利用一批所拍摄的帧对各个图像缓冲器进行填充。针对利用所述一批所拍摄的帧填充的各个图像缓冲器，按第二速率从摄像机软件向视频软件传递对所述图像缓冲器的引用，其中，所述第二速率是所述第一帧速率的一部分。所述方法还包括以下步骤：一次提供一个帧给视频编码器，以用于按所述第一帧速率进行编码。
通过回顾下面结合附图对具体实施方式的描述，其它方面和特征对于本领域普通技术人员将变得显而易见。
附图说明
本发明在附图中通过示例而非限制的方式进行了例示，附图中相似的标号是指相似的部件。应注意，本公开中对“一”或“一个”实施方式的引用不必是同一实施方式，并且这种引用是指至少一个实施方式。此外，当结合实施方式来描述特定的特征、结构或特性时，主张在本领域技术人员的知识内结合无论是否明确描述的其它实施方式来实现这种特征、结构或特性。
图1例示了可以运行本发明的实施方式的软件和硬件环境的概观。
图2是例示根据一个实施方式的视频记录处理的流程图。
图3例示了根据一个实施方式的视频编码方法。
图4例示了根据一个实施方式的移动装置的示例。
具体实施方式
在下面的描述中，阐述了多个具体细节。然而，应当理解，可以在没有这些具体细节的情况下实践本发明的实施方式。在其它情况下，没有详细示出公知的电路、结构以及技术，以便不模糊对本说明书的理解。然而，本领域技术人员应意识到，可以在没有这些具体细节的情况下实践本发明。本领域普通技术人员利用所包括的说明书，在不需要过多的试验的情况下能够实现恰当的功能。
本发明的实施方式提供了一种支持利用低开销按高帧速率来进行视频记录的装置。该装置运行支持视频记录的软件，其中，该软件至少包括摄像机软件和视频软件。应用程序可以请求按第一帧速率来记录视频。在摄像机按第一帧速率拍摄视频的图像帧之后，摄像机软件按第二速率将图像帧分批传递给视频软件，其中，第二速率小于第一帧速率。然后，视频软件将图像帧提供给视频编码器，以用于按第一帧速率进行编码。通过在摄像机软件与视频软件之间分批传递图像帧，与按第一帧速率逐帧传递图像相比，减少了软件处理开销。减少的软件开销使得装置能够支持按增加的(即，更高的)帧速率进行视频记录。在下面的描述中，图像帧也可以称为帧。
根据本发明的实施方式，将帧存储在图像缓冲器中，并且各个图像缓冲器存储图像批块(image batch)(即，多个帧)。各个图像缓冲器还可以包括多个帧缓冲器，并且各个帧缓冲器存储一个帧。图像缓冲器是从装置中的存储器分配的。为了将图像批块从摄像机软件传递至视频软件，摄像机软件将对图像缓冲器的引用传递至视频软件。引用的示例是存储器位置的指针；例如，存储器地址。然后，视频软件提供各个帧(更具体地，对存储帧的帧缓冲器的引用)给视频编码器以用于编码。
图1例示了可以运行本发明的实施方式的软件和硬件环境的概观。装置100包括用于拍摄和处理图像和视频的多个硬件组件，诸如图像信号处理器(例如，ISP 120)和媒体处理器(例如，视频编码器130)。在一个实施方式中，可以将一个或更多个图像传感器(例如，摄像机110)附接至装置100，或者以通信方式联接至装置100。可以由应用程序140经由软件层访问或利用这些硬件组件。该软件的顶层被称为提供基础设施以促进装置100的应用程序开发的软件框架或框架150。针对视频记录，框架150包括摄像机框架151和视频框架152，该摄像机框架和视频框架均在应用程序140与较低层的软件层之间进行接口连接。较低层的软件层控制诸如摄像机110、ISP 120以及视频编码器130这样的底层硬件组件的操作。
在一个实施方式中，较低层的软件层包括一组中间件，诸如摄像机中间件161和视频中间件162。摄像机中间件161和视频中间件162分别用作框架150与硬件专用软件(诸如摄像机驱动器171和视频驱动器172)之间的桥梁。摄像机驱动器171使得装置100能够与ISP120通信；例如，关于要由摄像机110拍摄的图像的规格。视频驱动器172使得装置100能够与视频编码器130通信；例如，关于编码格式和其它要求。
在本公开中，摄像机框架151、摄像机中间件161以及摄像机驱动器171统称为摄像机软件。视频框架152、视频中间件162以及视频驱动器172统称为视频软件。摄像机软件和视频软件是在装置100上运行的软件的一部分。
根据本发明的实施方式，应用程序140请求按第一帧速率R1(每秒帧数(fps))记录视频。因此，摄像机110按第一帧速率R1拍摄图像帧。ISP 120按第二速率R2填充图像缓冲器125；即，每秒填充R2个图像缓冲器。R2是R1的一部分。更具体地，假设R1/R2＝K，然后，ISP120以K个帧来填充各个图像缓冲器125，使得每秒填充R2个图像缓冲器。摄像机框架151按第二速率R2将对各个图像缓冲器125的引用传递给视频框架152。视频软件将图像缓冲器125划分成K个帧缓冲器135，并且将对各个帧缓冲器135的引用传递给视频编码器130，以便按第一速率R1进行编码。可以将编码的视频存储在存储器180中。在一个实施方式中，第一速率R1约为每秒数百。作为非限制性示例，针对R1＝240fps和R2＝30/s，图像缓冲器中的帧或帧缓冲器的数量为8，即，K＝8。在一个实施方式中，第二速率可以是预定速率。在一个实施方式中，第二速率可以是可配置的值。
为了便于描述，在图1的实施方式中，将图像缓冲器125和帧缓冲器135示出为在存储器180的外部。应当理解，图像缓冲器125包含帧缓冲器135并且是从诸如存储器180这样的存储器分配的。
图2是例示根据一个实施方式的视频记录处理200的流程图。可以由能够进行视频记录的装置(诸如图1的装置100和/或图4的移动装置400)来执行处理200。
参照图1和图2，在一个实施方式中，当装置100接收到按第一(R1)帧速率对视频进行记录的请求时，处理200开始于步骤201。响应于该请求，摄像机框架151在步骤202请求对存储器中的图像缓冲器进行分配，以用于视频记录。各个图像缓冲器包含多个帧缓冲器(例如，K个帧缓冲器)，并且将各个帧缓冲器用于存储一个所拍摄的帧。可以由对***资源进行管理(诸如存储器分配)的底层操作***来处理分配请求。
摄像机框架151在步骤203按第二速率(R2)将图像拍摄请求发送至摄像机中间件161，其中，R1/R2＝K。各个图像拍摄请求指定了：指向图像缓冲器的引用(例如，指针)，和描述要拍摄的图像的特征的元数据(例如，每批的帧数量、分辨率、像素格式、颜色调节/增强)。每批的帧数量与每个图像缓冲器的帧缓冲器数量相同。针对各个图像拍摄请求，摄像机中间件161在步骤204将给定图像缓冲器划分成多个帧缓冲器，以供ISP 120进行填充。摄像机驱动器171在步骤205将各个帧缓冲器指派给ISP 120以进行填充。在ISP 120在步骤206将所有帧填充到给定图像缓冲器中之后，图像拍摄请求返回到摄像机框架151。此时，给定图像缓冲器被填充，并且ISP120被指派下一个图像缓冲器以进行填充。摄像机框架151在步骤207将填充后的图像缓冲器连同至少指示图像缓冲器中的帧数量的元数据一起发送至视频框架152。将填充后的图像缓冲器按第二速率(R2)从摄像机框架151发送至视频框架152。
视频中间件162在步骤208将填充后的图像缓冲器划分成多个帧缓冲器以用于视频编码。视频驱动器172在步骤209将各个帧缓冲器指派给视频编码器130以进行编码。在步骤210中，在视频编码器130完成了对图像缓冲器中的K个帧的编码之后，将图像缓冲器发送回摄像机框架151以供ISP 120重新使用。
图3例示了根据一个实施方式的视频编码方法300。可以由图1的装置100和/或图4的移动装置400或者另一计算和/或通信装置来执行方法300。在一个实施方式中，执行方法300的装置包括电路(例如，处理硬件)和存储指令的机器可读介质(例如，存储器)，该指令在被执行时使该装置执行方法300。
参照图1和图3，在一个实施方式中，当装置100响应于按第一帧速率对视频进行记录的请求而拍摄帧时，方法300开始于步骤310。装置100在步骤320响应于该请求而对存储器中的图像缓冲器进行分配。装置100(更具体地，ISP 120)在步骤330利用一批所拍摄的帧填充各个图像缓冲器。在步骤340，针对利用所述一批所拍摄的帧填充的各个图像缓冲器，按第二速率从摄像机软件向视频软件传递对图像缓冲器的引用，其中，第二速率是第一帧速率的一部分。在步骤350，视频软件一次提供一个帧给视频编码器130，以用于按第一帧速率进行编码。
在一个实施方式中，装置100和/或移动装置400可以包括执行摄像机软件和视频软件的处理电路。处理电路能够操作，以根据第一帧速率与第二速率的比来确定图像缓冲器的大小。在一个实施方式中，图像缓冲器的大小等于第一帧速率除以第二速率。在一个实施方式中，可以在接收到按第一帧速率进行视频记录的请求之后，动态地确定图像缓冲器的大小。
图4例示了根据一个实施方式的移动装置400的示例。移动装置400可以是图1的装置100的示例，该图1的装置100提供用于前述视频记录的平台。移动装置400包括处理电路410，该处理电路还包括处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)、数字处理单元(DSP)、多媒体处理器、其它通用和/或专用处理电路)。在一些***中，处理器可能与“核心”或“处理器核心”相同，而在某些其它***中，处理器可能包含多个核心。各个处理器可以包括：算术和逻辑单元(ALU)、控制电路、高速缓冲存储器以及其它硬件电路。在一个实施方式中，处理电路410能工作以执行在移动装置400上运行的软件(包括前述摄像机软件和视频软件)。在一个实施方式中，移动装置400能工作以执行图3的方法300。
移动装置400还包括联接至处理电路410的存储器420。存储器420可以包括存储器装置，诸如动态随机存取存储器(DRAM)装置、静态RAM(SRAM)装置、闪存装置、SD卡和/或其它易失性或非易失性存储器装置。存储器420还可以包括存储装置，例如，任何类型的固态或磁性存储装置。在一个实施方式中，可以将存储器420中的空间分配为图像缓冲器421，该图像缓冲器存储由摄像机460拍摄并由图像信号处理器470处理的图像。
移动装置400还可以包括I/O电路430以接收输入和显示输出。I/O电路430包括用户接口装置440，诸如键盘、触摸板、触摸屏、鼠标器、显示器、麦克风和扬声器等。I/O电路430还包括无线通信电路450，诸如天线、数字和/或模拟射频(RF)收发器以及RF电路。I/O电路430还包括拍摄图像和记录视频的摄像机460。
移动装置400还包括：执行与图1的图像信号处理器120和视频编码器130相同的操作的、图像信号处理器470和视频编码器480。移动装置400还包括电池490，以向移动装置400的硬件组件提供工作电力。
可以理解，出于说明目的简化了图4的实施方式。可以包括附加的硬件组件，并且可以省略图4所示的组件中的一些组件。例如，移动装置400还可以包括用于连接至网络(例如，个人局域网、局域网、广域网等)的网络硬件(例如，调制解调器)。网络硬件和无线通信电路450使得用户能够在线共享按高帧速率(例如，R1)记录的视频；例如，在社交媒体或其它连网论坛(例如，互联网上的网站)上。在一个实施方式中，移动装置400可以将记录的视频上传至服务器(例如，云服务器)。
尽管移动装置400在本公开中是作为示例来使用的，但是可以理解，本文所描述的方法可应用于能够记录视频的任何计算和/或通信装置。移动装置400的非限制性示例包括：智能电话、智能手表、平板电脑、网络连接的装置、游戏装置以及其它便携式和/或可穿戴电子装置。
已经参照图1和图4的示例性实施方式描述了图2和图3的流程图的操作。然而，应当理解，可以由本发明的除图1和图4的实施方式以外的其它实施方式，来执行图2和图3的流程图的操作，并且图1和图4的实施方式可以执行与参照流程图所讨论那些操作不同的操作。虽然图2和图3的流程图示出了由本发明的某些实施方式执行的特定操作顺序，但是应当理解，这样的顺序是示例性的(例如，另选实施方式可以以不同的顺序执行操作、结合某些操作、重叠某些操作等)。
本文已经描述了各种功能组件或框块。正如本领域技术人员应当意识到的那样，优选地，将通过电路(在一个或更多个处理器和编码指令的控制下进行操作的专用电路或者通用电路)来实现功能块，该电路通常包括以下晶体管，其以根据本文所描述的功能和操作来对电路的操作进行控制的这种方式来配置。
虽然已经根据多个实施方式描述了本发明，但是本领域技术人员将认识到，本发明不限于所描述的实施方式，并且可以在所附权利要求的精神和范围内执行修改和变更。由此，本说明书应被视为例示性的而非限制性的。

Claims (20)

1.一种能工作以记录视频的装置，所述装置包括：
存储器，所述存储器存储多个图像缓冲器；
图像信号处理器，所述图像信号处理器处理响应于按第一帧速率对视频进行记录的请求而拍摄的帧；
视频编码器，所述视频编码器对所拍摄的帧进行编码；以及
处理电路，所述处理电路包括联接至所述存储器的一个或更多个处理器，并且所述处理电路能工作以进行以下操作：
响应于所述请求，对来自所述存储器的所述图像缓冲器进行分配，
执行摄像机软件，以指导所述图像信号处理器利用一批所拍摄的帧来填充各个图像缓冲器，
针对利用所述一批所拍摄的帧填充的各个图像缓冲器，按第二速率从所述摄像机软件向视频软件传递对所述图像缓冲器的引用，其中，所述第二速率是所述第一帧速率的一部分，以及
执行所述视频软件，以一次提供一个帧给所述视频编码器，以便用于按所述第一帧速率进行编码。
2.根据权利要求1所述的装置，其中，所述处理电路还能工作以根据所述第一帧速率与所述第二速率的比来确定所述图像缓冲器的大小。
3.根据权利要求2所述的装置，其中，所述图像缓冲器的大小等于所述第一帧速率除以所述第二速率。
4.根据权利要求2所述的装置，其中，所述处理电路还能工作以在接收到所述按第一帧速率对视频进行记录的请求之后动态地确定所述图像缓冲器的大小。
5.根据权利要求1所述的装置，其中，各个图像缓冲器包含多个帧缓冲器，并且各个帧缓冲器存储一个所拍摄的帧。
6.根据权利要求5所述的装置，其中，所述处理电路还能工作以执行摄像机中间件，所述摄像机中间件将各个图像缓冲器划分成所述多个帧缓冲器，以用于所述图像信号处理器进行填充。
7.根据权利要求5所述的装置，其中，所述处理电路还能工作以执行视频中间件，所述视频中间件将由所述图像信号处理器填充的各个图像缓冲器划分成所述多个帧缓冲器，以用于视频编码。
8.根据权利要求5所述的装置，其中，所述处理电路还能工作以分别执行作为所述摄像机软件的一部分的摄像机框架和作为所述视频软件的一部分的视频框架，并且其中，所述摄像机框架按所述第二速率向所述视频框架传递对所述图像缓冲器的引用。
9.根据权利要求1所述的装置，其中，所述摄像机软件向所述图像信号处理器传递元数据，以对各批帧中的帧数量进行指示。
10.根据权利要求1所述的装置，其中，在所述视频编码器完成了对给定图像缓冲器中的所述一批所拍摄的帧的编码之后，所述给定图像缓冲器被释放以供所述图像信号处理器重新使用。
11.一种记录视频的方法，所述方法包括以下步骤：
接收按第一帧速率进行视频记录的请求；
响应于所述请求，对来自存储器的多个图像缓冲器进行分配；
由图像信号处理器利用一批所拍摄的帧对各个图像缓冲器进行填充；
针对利用所述一批所拍摄的帧填充的各个图像缓冲器，按第二速率从摄像机软件向视频软件传递对所述图像缓冲器的引用，其中，所述第二速率是所述第一帧速率的一部分，以及
一次提供一个帧给视频编码器，以用于按所述第一帧速率进行编码。
12.根据权利要求11所述的方法，所述方法还包括以下步骤：
根据所述第一帧速率与所述第二速率的比，来确定所述图像缓冲器的大小。
13.根据权利要求12所述的方法，其中，所述图像缓冲器的大小等于所述第一帧速率除以所述第二速率。
14.根据权利要求12所述的方法，所述方法还包括以下步骤：
在接收到按第一帧速率对视频进行记录的所述请求之后，动态地确定所述图像缓冲器的大小。
15.根据权利要求11所述的方法，其中，各个图像缓冲器包含多个帧缓冲器，并且各个帧缓冲器存储一个所拍摄的帧。
16.根据权利要求15所述的方法，所述方法还包括以下步骤：
执行摄像机中间件，所述摄像机中间件将各个图像缓冲器划分成多个帧缓冲器，以用于所述图像信号处理器进行填充。
17.根据权利要求15所述的方法，所述方法还包括以下步骤：
执行视频中间件，所述视频中间件将由所述图像信号处理器填充的各个图像缓冲器划分成所述多个帧缓冲器，以用于视频编码。
18.根据权利要求15所述的方法，所述方法还包括以下步骤：
分别执行作为所述摄像机软件的一部分的摄像机框架和作为所述视频软件的一部分的视频框架，并且其中，所述摄像机框架按所述第二速率向所述视频框架传递对所述图像缓冲器的引用。
19.根据权利要求11所述的方法，所述方法还包括以下步骤：
从所述摄像机软件向所述图像信号处理器传递元数据，以对各批帧中的帧数量进行指示。
20.根据权利要求11所述的方法，其中，在所述视频编码器完成了对给定图像缓冲器中的所述一批所拍摄的帧的编码之后，释放所述给定图像缓冲器，以供所述图像信号处理器重新使用。
CN202010263535.3A 2018-05-14 2020-04-07 高帧速率视频记录 Active CN111935431B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862670930P 2018-05-14 2018-05-14
US16/411,097 US10861497B2 (en) 2018-05-14 2019-05-13 High framerate video recording
US16/411,097 2019-05-13

Publications (2)

Publication Number Publication Date
CN111935431A true CN111935431A (zh) 2020-11-13
CN111935431B CN111935431B (zh) 2022-09-02

Family

ID=68463328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010263535.3A Active CN111935431B (zh) 2018-05-14 2020-04-07 高帧速率视频记录

Country Status (3)

Country Link
US (1) US10861497B2 (zh)
CN (1) CN111935431B (zh)
TW (1) TWI720882B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220317918A1 (en) * 2021-03-31 2022-10-06 Micron Technology, Inc. Reduction of Write Amplification in Sensor Data Recorders

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5557424A (en) * 1988-08-26 1996-09-17 Panizza; Janis M. Process for producing works of art on videocassette by computerized system of audiovisual correlation
US5636348A (en) * 1992-05-15 1997-06-03 Zenith Data Systems Corporation Control system for a multiple mode standard parallel port for a personal computer
CN101194482A (zh) * 2003-08-13 2008-06-04 高通股份有限公司 用于更高数据速率的信号接口
JP2012060218A (ja) * 2010-09-06 2012-03-22 Casio Comput Co Ltd 動画処理装置、動画再生装置、動画処理方法、動画再生方法及びプログラム
CN102629240A (zh) * 2012-02-13 2012-08-08 上海创远仪器技术股份有限公司 一种串口通信方法与装置
US20140078343A1 (en) * 2012-09-20 2014-03-20 Htc Corporation Methods for generating video and multiple still images simultaneously and apparatuses using the same
CN104768054A (zh) * 2014-01-03 2015-07-08 光宝电子(广州)有限公司 音频播放装置、多媒体影音播放***及其播放方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008064270A2 (en) * 2006-11-20 2008-05-29 Micropower Appliance Wireless network camera systems
EP2153641B2 (en) * 2007-04-13 2021-10-27 Ari M. Presler Digital cinema camera system for recording, editing and visualizing images
US9282297B2 (en) * 2008-01-24 2016-03-08 Micropower Technologies, Inc. Video delivery systems using wireless cameras
JP2009177527A (ja) * 2008-01-24 2009-08-06 Panasonic Corp 画像記録装置、画像再生装置、記録媒体、画像記録方法及びプログラム
US9159155B2 (en) * 2008-12-01 2015-10-13 Autodesk, Inc. Image rendering
KR101652149B1 (ko) * 2010-05-26 2016-08-29 퀄컴 인코포레이티드 카메라 파라미터 지원 비디오 프레임 레이트 상향 변환
JP5234119B2 (ja) * 2011-01-20 2013-07-10 カシオ計算機株式会社 撮像装置、撮像処理方法及びプログラム
JP5405536B2 (ja) * 2011-07-27 2014-02-05 株式会社日立製作所 映像記録装置、映像記録システムおよび映像記録方法
US9438868B2 (en) * 2014-02-13 2016-09-06 Semiconductor Components Industries, Llc Adaptive image sensor systems and methods
US20180343414A1 (en) * 2017-05-23 2018-11-29 Qualcomm Incorporated Frame buffering technology for camera-inclusive devices

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5557424A (en) * 1988-08-26 1996-09-17 Panizza; Janis M. Process for producing works of art on videocassette by computerized system of audiovisual correlation
US5636348A (en) * 1992-05-15 1997-06-03 Zenith Data Systems Corporation Control system for a multiple mode standard parallel port for a personal computer
CN101194482A (zh) * 2003-08-13 2008-06-04 高通股份有限公司 用于更高数据速率的信号接口
JP2012060218A (ja) * 2010-09-06 2012-03-22 Casio Comput Co Ltd 動画処理装置、動画再生装置、動画処理方法、動画再生方法及びプログラム
CN102629240A (zh) * 2012-02-13 2012-08-08 上海创远仪器技术股份有限公司 一种串口通信方法与装置
US20140078343A1 (en) * 2012-09-20 2014-03-20 Htc Corporation Methods for generating video and multiple still images simultaneously and apparatuses using the same
CN104768054A (zh) * 2014-01-03 2015-07-08 光宝电子(广州)有限公司 音频播放装置、多媒体影音播放***及其播放方法

Also Published As

Publication number Publication date
TW202042541A (zh) 2020-11-16
US10861497B2 (en) 2020-12-08
US20190348074A1 (en) 2019-11-14
TWI720882B (zh) 2021-03-01
CN111935431B (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN102368779B (zh) 一种用于移动互联网设备的超大图像加载显示方法
KR101410168B1 (ko) 다중 포맷 비디오 프로세싱을 위한 재구성 가능 버퍼 할당
CN113542757A (zh) 云应用的图像传输方法、装置、服务器及存储介质
WO2022161227A1 (zh) 图像处理方法、装置、图像处理芯片和电子设备
US8928680B1 (en) Method and system for sharing a buffer between a graphics processing unit and a media encoder
US9892482B2 (en) Processing video content
CN110036628B (zh) 动态配置用于图像产生的存储器带宽
CN103609117A (zh) 编码和解码图像的方法及装置
WO2017202175A1 (zh) 一种视频压缩方法、装置及电子设备
US20200376375A1 (en) Method and apparatus for performing client side latency enhancement with aid of cloud game server side image orientation control
CN112749022A (zh) 相机资源访问方法、操作***、终端和虚拟相机
CN110782387B (zh) 图像处理方法、装置、图像处理器及电子设备
CN111935431B (zh) 高帧速率视频记录
EP3506635B1 (en) Picture encoding method and terminal
US8548275B2 (en) Image processing device and image processing method
CN116244231A (zh) 一种数据传输方法、装置、***、电子设备及存储介质
WO2022100132A1 (zh) 一种数据处理方法、装置和电子设备
CN115691370A (zh) 显示控制方法及相关装置
CN112991172A (zh) 图像处理方法、装置、电子设备及存储介质
CN111447439A (zh) 图像编码方法、图像编码装置及移动终端
CN107005731A (zh) 云端流媒体服务***、使用应用代码的图像云端流媒体服务方法及其设备
CN116028383B (zh) 缓存管理方法及电子设备
US20150006839A1 (en) Swapping pointers to process data stored in buffers by a data source without copying the data to separate storage
CN112862657B (zh) 图像处理方法、装置、电子设备及计算机存储介质
US11726949B2 (en) System and method for selectively reprocessing video streams based on system resources and stream status

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant