CN105684424B - 用于在视频捕获期间捕获静态帧的设备和方法 - Google Patents

用于在视频捕获期间捕获静态帧的设备和方法 Download PDF

Info

Publication number
CN105684424B
CN105684424B CN201480059594.1A CN201480059594A CN105684424B CN 105684424 B CN105684424 B CN 105684424B CN 201480059594 A CN201480059594 A CN 201480059594A CN 105684424 B CN105684424 B CN 105684424B
Authority
CN
China
Prior art keywords
frame
resolution
frames
aspect ratio
static
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480059594.1A
Other languages
English (en)
Other versions
CN105684424A (zh
Inventor
D·A·西尔弗斯坦
吴纯伟
林石焕
T·J·米利特
陈挺
倪斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Priority to CN201811342211.8A priority Critical patent/CN109547662B/zh
Publication of CN105684424A publication Critical patent/CN105684424A/zh
Application granted granted Critical
Publication of CN105684424B publication Critical patent/CN105684424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/212—Motion video recording combined with still video recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/007—Systems with supplementary picture signal insertion during a portion of the active part of a television signal, e.g. during top and bottom lines in a HDTV letter-box system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

在一个实施例中，电子设备可被配置为在视频捕获期间捕获静态帧，但可以4×3纵横比并且以比16×9纵横比的视频帧更高的分辨率来捕获静态帧。该设备可使视频序列中的高分辨率4×3帧与较低分辨率16×9帧交织，并且可在用户指示捕获静态帧时捕获最近的较高分辨率4×3帧。另选地，该设备可显示视频序列中的16×9帧，然后在按压快门按钮时扩展到4×3帧。该设备可响应于释放快门按钮来捕获静态帧并且返回到16×9视频帧。

Description

用于在视频捕获期间捕获静态帧的设备和方法
技术领域
本发明与便携式电子设备中的视频和静态帧捕获领域相关。
背景技术
各种便携式电子设备被设计来捕获视频和/或静态帧(图片)。例如，此类便携式电子设备可包括手持式摄像机、数码相机、配备有图像传感器 (“相机”)的个人数字助理、配备有相机的移动电话/智能电话、配备有相机的平板电脑、配备有相机的膝上型电脑等。
包括上述设备的支持视频捕获和静态帧捕获两者的设备越来越普遍。此类设备经常准许用户在视频捕获期间捕获静态帧。例如，设备可显示正在被包括在设备中或附接到设备的屏幕上捕获的视频，并且设备可包括按钮或用户可按下以捕获静态帧的其他用户输入设备。“按钮”可为设备上的物理按钮或为在屏幕是触摸屏的情况下的屏幕上的虚拟按钮。
在视频捕获期间捕获静态帧存在若干个问题。首先，视频捕获经常以低于相机所支持的分辨率执行，并且相机的较高分辨率通常用于在不捕获视频时捕获静态帧。其次，视频的纵横比通常为16×9，而静态帧通常以 4×3纵横比来捕获。因此，当用户捕获静态帧时，所捕获的静态帧的较低分辨率和不同的纵横比可使用户感到意外并且可使用户不满意。一般来讲，当在高分辨率静态模式与较低分辨率视频模式之间切换时，需要重新配置相机传感器，因此无法仅切换模式来在视频捕获期间捕获较高分辨率的静态图像。
发明内容
在一个实施例中，电子设备可被配置为在视频捕获期间捕获静态帧，但可以4×3纵横比并且以比16×9纵横比的视频帧更高的分辨率来捕获静态帧。在一个具体实施中，该设备可使视频序列中的高分辨率4×3帧与较低分辨率16×9帧交织，并且可在用户指示捕获静态帧时捕获最近的较高分辨率4×3帧。该设备可显示正在显示屏上捕获的视频，并且还可提供对4×3 成帧的指示。例如，视频可借助在黑边(letterbox)周围以半透明形式示出的4×3成帧的剩余部分来进行黑边处理。这样，用户可意识到同时进行 4×3成帧和视频成帧。在另一个具体实施中，正被捕获的视频可以16×9纵横比显示在显示屏上。如果用户按压快门按钮以捕获静态帧，则所显示的视频可被扩展到4×3纵横比(保留视频帧在4×3帧内的比例和放置)。当用户释放快门按钮时，可捕获到静态帧并且显示器可返回到16×9纵横比。
附图说明
以下详细描述参考了附图，现在简要描述该附图。
图1是***的一个实施例的框图。
图2是示出在一个实施例中的在一个时间段内捕获的帧的框图。
图3是在图1所示的***的显示器上显示帧的一个实施例的框图。
图4是图1所示的图像信号处理器(ISP)的一个实施例的框图。
图5是图1所示的ISP的另一个实施例的框图。
图6是示出根据***的一个实施例的视频帧捕获的流程图。
图7是示出根据***的一个实施例的静态帧捕获的流程图。
图8是示出根据***的另一个实施例的静态帧捕获的流程图。
图9是***的另一个实施例的框图。
尽管本发明易受各种修改形式和替代形式的影响，但附图中以举例的方式示出了其具体实施例并将在本文中详细描述。然而，应当理解，这些附图和对其的详细描述并非旨在将本发明限于所公开的特定形式，而正相反，本发明的目的在于涵盖落在由所附权利要求书限定的本发明的实质和范围内的所有修改形式、等同形式和替代形式。本文所使用的标题仅用于组织目的，并非意在用于限制说明书的范围。如在整个专利申请中所使用的那样，以允许的意义(即，意味着具有可能性)而不是强制的意义 (即，意味着必须)来使用字词“可能”。类似地，词语“包括” (“include”、“including”和“includes”)是指包括但不限于。
各种单元、电路或其他部件可被描述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”是对通常意味着“具有”在操作期间执行这一项或多项任务的“电路”的结构的宽泛表述。因此，单元/电路/ 部件可被配置为即使在单元/电路/部件当前未接通时也执行该任务。一般来讲，形成与“被配置为”对应的结构的电路可包括硬件电路和/或存储可执行以实现该操作的程序指令的存储器。存储器可包括易失性存储器诸如静态随机存取存储器或动态随机存取存储器和/或非易失性存储器(诸如光盘存储装置或磁盘存储装置)、闪存存储器、可编程只读存储器等。类似地，为了描述的方便，可将各种单元/电路/部件描述为执行一项或多项任务。此类描述应当被解释成包括短语“被配置为”。表述被配置为执行一项或多项任务的单元/电路/部件明确地旨在对那个单元/电路/部件不援引35U.S.C.§112第六段的解释。
本说明书包括参考“一个实施例”(“one embodiment”或“an embodiment”)。除非本文明确地否认，否则短语“在一个实施例中”(“in one embodiment”或“in anembodiment”)的出现不一定是指相同实施例，但是通常设想包括特征的任何组合的实施例。特定特征、结构或特性可以与本公开一致的任何适当的方式来组合。
具体实施方式
现在转向图1，其示出了片上***(SOC)10的一个实施例的框图，该 SOC耦接到存储器12、一个或多个图像传感器26和一个或多个显示器 20。如名称所暗示的，SOC 10的部件可作为集成电路“芯片”被集成到单个半导体基板上。在一些实施例中，这些部件可在***中的两个或更多离散芯片上实施。另外，各种部件可被集成在任何集成电路上(即，其无需是SOC)。然而，SOC 10将在本文中用作实例。在例示的实施例中，SOC 10的部件包括中央处理单元(CPU)复合件14、显示管16、***部件18A- 18B(更简略地称为“***设备”)、存储器控制器22、图像信号处理器 (ISP)24以及通信结构27。部件14、16、18A至18B、22和24可全部耦接到通信结构27。存储器控制器22可在使用期间耦接到存储器12。类似地，ISP 24可在使用期间耦接到图像传感器26，并且显示管16可在使用期间耦接到显示器20。因此，SOC10、图像传感器26、存储器12和显示器 20可全部为***的部件，该***诸如便携式电子设备(上文提及其实例) 或任何其他计算机***。在例示的实施例中，CPU复合件14包括一个或多个处理器28以及二级(L2)高速缓存30。
ISP 24可被配置为从图像传感器26接收图像传感器数据，并且可被配置为处理数据以产生图像帧，这些图像帧可例如适于在显示器20和/或其他显示器上显示。图像帧可包括静态帧和视频帧。ISP 24可被配置为将图像帧写到存储器12(通过存储器控制器22)。
图像传感器26可通常包括被配置为对光进行取样并且提供表示所取样的光的输出的任何设备。图像传感器26可包括相机(例如，电荷耦合设备 (CCD)、互补金属氧化物半导体(CMOS)传感器等)。在一些实施例中，图像传感器26还可包括各种固定光学透镜或可移动光学透镜。
更具体地，在一个实施例中，ISP 24可被配置为随时间从图像传感器 26接收一系列帧(例如，以指定帧速率诸如60帧/秒(fps)，但可在各种实施例中使用任何帧速率)。从给定图像传感器26接收的帧的分辨率和纵横比可基于给定图像传感器26的最大分辨率和给定图像传感器26的纵横比。例如，在一个实施例中，可以给定图像传感器26的最大分辨率和纵横比来接收帧。在另一个实施例中，可以与给定图像传感器所具有的纵横比不同的纵横比以及可在那个不同的纵横比下支持的最大分辨率来接收帧。例如，在一个实施例中，给定图像传感器26可具有4×3纵横比，但ISP 24 可以16×9纵横比来接收帧。所接收的帧的分辨率可从最大分辨率降低，以反映从4×3(16×12)到16×9的损耗。另选地，在另一个实施例中，ISP 24可被配置为降低所接收的帧的纵横比。
在一个实施例中，ISP 24可同时从多于一个图像传感器接收帧。例如，视频图像传感器可连同较高分辨率静态帧传感器一起用于较低分辨率视频捕获。ISP 24可以交织方式来处理来自图像传感器的数据。例如，ISP 24可捕获并处理视频图像帧，并且可使用剩余时间来处理较高分辨率静态图像帧(或较高分辨率帧的一部分)直到捕获到下一个视频帧。
ISP 24可被配置为处理所接收的帧以产生所捕获的视频序列。在一个实施例中，该处理可包括改变纵横比以及至少一些帧的分辨率。在一些实施例中，还可改变帧速率。在一个实施例中，ISP 24可使在由图像传感器 26提供的分辨率和纵横比下的帧与在较低分辨率和不同纵横比下的帧交织。例如，该较低分辨率可为捕获视频序列所依据的显示标准的分辨率。显示标准可为分辨率和纵横比的任何标准设定，其可由各种显示器来实施。由于分辨率和纵横比是标准的，所以视频序列可适于在许多不同类型的显示设备上显示。例如，显示标准可包括720p、720i、1080p或1080i。 1080p标准目前特别流行，并且由许多视频显示设备诸如电视和计算机监视器来实施。这些各种显示标准还常常被称为高清晰度电视(HDTV)。1080p 标准将在本文中用作实例，并且指定16×9纵横比和1920×1080分辨率或2百万像素。
另一方面，图像传感器26的分辨率可为8百万像素、10百万像素、 12.5百万像素或12.5百万像素以上(或在一个实施例中，12.5百万像素以下，但仍高于1080p分辨率)。图像传感器26的纵横比还可为4×3。在显示标准分辨率和纵横比下的帧可被称为显示标准帧，或对于更具体的实例来讲被称为1080p帧。从图像传感器26所接收的在分辨率和纵横比下的帧可被称为“全分辨率”帧，但在一些情况下，分辨率可能不是图像传感器 26的最大分辨率。
通过使视频序列中的1080p帧和全分辨率帧交织，ISP 24可减少在输出视频序列(例如，通过经由通信结构27并且经过存储器控制器22来将其写到存储器12)时消耗的带宽和功率的量。另外，所捕获的视频序列中的全分辨率帧的存在可准许在捕获视频的同时捕获静态帧。静态帧可具有图像传感器26的全分辨率和纵横比(通过在用户指示将捕获静态帧时从视频序列选择全分辨率帧中的一个全分辨率帧)，这可在不需要改变模式的情况下提供更合意的静态帧(例如，类似于在静态模式下捕获的那些静态帧)。
使高分辨率帧与较低分辨率帧交织可产生高分辨率帧和较低分辨率帧的图像流，每个帧的帧速率为从图像传感器26捕获帧的帧速率的一半。然而，帧速率无需相同。例如，高分辨率帧速率可为流中的帧的1/4，或帧的 1/8，或任何其他交织图案。可提高较低分辨率帧速率以产生期望的总帧速率(例如，较低分辨率帧可在高分辨率帧为帧的1/4的情况下为帧的3/4，或者可在高分辨率帧为帧的1/8的情况下为帧的7/8)。
在一个实施例中，ISP 24还可生成“预览”视频序列，该“预览”视频序列可通过显示管16在显示器20上显示。预览视频序列可为较低分辨率序列(例如，分辨率可类似于1080p分辨率)，但纵横比可为图像传感器26的纵横比。即，纵横比可为静态图像的纵横比。可向正在捕获视频的用户显示预览序列，因此用户可使视频序列按需要成帧。此外，显示静态图像纵横比可准许用户在捕获静态图像的情况下查看静态图像将如何成帧。在一个实施例中，还可在预览序列中指示显示标准纵横比，因此用户可在显示器20上同时看到视频帧和静态帧两者。在一个实施例中，预览视频序列的帧速率也可低于所捕获的视频序列的帧速率(例如，相比于60fps 的30fps)。
其他实施例可以其他方式显示预览。例如，可在正在捕获视频的同时以显示标准纵横比(例如，16×9)来生成预览序列。用户可指示对捕获静态帧(例如，通过按下设备上的快门按钮)的渴望，并且预览可围绕视频序列显示静态纵横比(将视频序列保持在显示器20上的相同位置，但还显示静态帧的剩余部分)。可在按下快门按钮的同时继续进行视频捕获。用户可释放快门按钮以捕获静态图像并且返回到仅视频捕获。快门按钮可为被包括在***的外壳上的物理按钮，或可为显示屏上的虚拟按钮(例如，如果显示器20为触摸屏显示器)。
显示管16可包括硬件以处理一个或多个静止帧和/或一个或多个视频序列以用于在显示器20上显示。一般来讲，对于每个源帧或视频序列，显示管16可被配置为生成读取存储器操作，以通过存储器控制器22来从存储器12读取用于表示该帧/视频序列的数据。具体地，在该实施例中，显示管16可被配置为通过存储器控制器22来从存储器12读取预览序列。因此，ISP 24可将预览序列以及所捕获的序列和任何静态帧写到存储器12。显示管16可被配置为对图像数据(静止帧、视频序列等)执行任何类型的处理。在一个实施例中，显示管16可被配置为缩放静止帧，并且对视频序列的帧进行抖动、缩放和/或执行色彩空间转换。显示管16可被配置为混合静止帧和视频序列帧以产生输出帧以用于显示。更一般地，显示管16可被称为显示控制器。
显示器20可为任何种类的视觉显示设备。显示器可包括例如用于移动设备(诸如智能电话、平板电脑等)的触摸屏式显示器。各种显示器20可包括液晶显示屏(LCD)、发光二极管(LED)、等离子体、阴极射线管(CRT) 等。显示器可集成到包括SOC 10的***(例如，智能电话或平板电脑) 中，和/或可为单独封装的设备诸如计算机监视器、电视或其他设备。
一般来讲，帧的纵横比可指水平方向上的像素(如由用户查看的)与竖直方向上的像素的比率。帧中的像素的实际数量可被称为帧的分辨率。帧中的像素越多，图像的粒度可越细小，因此图像可越精确。
CPU复合件14可包括用作SOC 10的CPU的一个或多个CPU处理器 28。***的CPU包括执行***的主控制软件诸如操作***的一个或多个处理器。一般来讲，在使用期间由CPU执行的软件可控制***的其他部件，以实现***的期望的功能。CPU处理器28还可执行其他软件诸如应用程序。应用程序可提供用户功能并且可依赖于较低级设备控制的操作***。因此，CPU处理器28还可被称为应用处理器。CPU复合件还可包括其他硬件诸如L2高速缓存30和/或至***的其他部件的接口(例如，至通信结构 27的接口)。
***设备18A至18B可为被包括在SOC 10中附加硬件功能的任何集合。例如，***设备18A至18B可包括视频***设备诸如视频编码器/解码器、缩放器、旋转器、混合器、图形处理单元等。该***设备可包括音频***设备诸如麦克风、扬声器、至麦克风和扬声器的接口、音频处理器、数字信号处理器、混频器等。该***设备可包括用于SOC 10(例如，***设备18B)外部的各种接口的接口控制器，该接口诸如通用串行总线 (USB)、包括快速***部件互连(PCI)(PCIe)的PCI、串行端口和并行端口等。该***设备可包括联网***设备诸如媒体访问控制器(MAC)。可包括任何硬件集合。
存储器控制器22通常可包括用于从SOC 10的其他部件接收存储器请求以及用于访问存储器12以完成存储器请求的电路。存储器控制器22可被配置为访问任何类型的存储器12。例如，存储器12可为静态随机存取存储器(SRAM)、动态RAM(DRAM)诸如包括双倍数据速率(DDR、DDR2、 DDR3等)DRAM的同步DRAM(SDRAM)。可支持DDR DRAM的低功率/ 移动版本(例如，LPDDR、mDDR等)。
通信结构27可为用于在SOC 10的部件之间进行通信的任何通信互连和协议。通信结构27可为基于总线的，包括共享总线配置、纵横配置以及具有桥接器的分级总线。通信结构27还可为基于分组的，并且可为具有桥接器的分级互连、纵横互连、点对点互连或其他互连。
需注意，SOC 10的部件的数量(和图1所示的那些部件(诸如在CPU 复合件14内)的子部件的数量)可在各个实施例中各不相同。存在比图1 所示的数量更多或更少的每个部件/子部件。
接下来转向图2显示示出了根据一个实施例的视频序列的连续帧的图示。视频序列包括在4×3纵横比和全传感器分辨率下的帧40A至40D，其与在16×9纵横比和1080p分辨率下的帧42A至42D交织。即，以4×3纵横比和高分辨率以及以16×9纵横比和较低分辨率提供交替帧。在一个实施例中，视频序列的帧速率可与来自图像传感器26的输入帧速率相同(例如，60fps)。因此，每个帧类型的有效帧速率(全分辨率和1080p分辨率)可为视频序列帧速率的1/2(例如，30fps)。
如上所述，全分辨率和1080p分辨率帧的帧速率无需要相同。取决于各种因素诸如***和ISP本身中的可用带宽，有效帧速率可变化。例如，可以15fps来捕获全分辨率帧，并且可以45fps来捕获1080p分辨率帧以产生60fps。可使用帧速率的任何集合。
图3是示出可在捕获图2所示的视频序列期间在显示器20上显示的预览序列的帧44的一个实施例的框图。帧44可包括以如大括号48和50所指示的16×9格式的视频帧46。另外，4×3(16×12)帧的延伸超过视频帧的部分可以半透明黑边形式52A至52B示出，其中全4×3(16×12)帧经由大括号48 和54示出。
半透明黑边52A至52B可为在视频序列中捕获帧44的哪个部分(视频帧46)和哪个部分可用于静态图像(整个帧44)的可见指示。半透明黑边52A至52B可对图像加阴影以提供视觉效应，但还可允许查看到底层像素，使得用户可在仍然捕获视频的同时对期望的静态镜头成帧。其他实施例可使用其他视觉指示器(例如，分离视频帧部分与静态帧部分的线、在帧44的右边和左边在视频帧46开始和结束所在的点处的刻度标记等)。
黑边效应可由ISP 24在处理视频序列时添加，或可通过显示管16添加，从而将透明重叠部分作为静止图像混合到具有非一体α值的视频序列上，该α值准许底层像素颜色部分可见。
还在帧44上显示虚拟快门按钮56。在例示的实施例中，在视频帧44 内显示按钮56，但还可在黑边区域52A至52B中显示该按钮。可在显示器 20为支持触摸的显示器的实施例中使用按钮56。用户可通过在显示按钮的点处与屏幕进行触摸接触来按下按钮56，从而捕获静态帧。在一个实施例中，按下按钮使得捕获静态帧。在另一个实施例中，在按下按钮之后释放按钮可使得捕获静态帧。同时，可继续捕获并显示视频序列。响应于用户按下(或释放)按钮56，SOC 10可被配置为从所捕获的视频序列捕获最近的全分辨率帧。即，静态帧捕获发生的时间点可被同步到视频序列，并且可选择与那个时间点最近的全分辨率帧。
现在转向图4，其示出了ISP 24的一个实施例的框图。在例示的实施例中，ISP 24包括传感器接口60、前端缩放器62、后端处理块64和后端缩放器66。传感器接口60被耦接以从一个或多个图像传感器26接收帧，并且耦接到前端缩放器62。前端缩放器62被耦接以将经缩放的帧提供到存储器控制器22以存储在存储器12中。后端处理块64被配置为从存储器12 读取经缩放的帧(由图4中的虚线68示出)。后端处理块64耦接到后端缩放器66，该后端缩放器被耦接以将所捕获的视频序列和预览视频序列提供到存储器控制器22以存储在存储器12中。预览视频序列可由显示管16 从存储器12读取(由虚线70示出)。
从图像传感器26接收的帧可为在期望的帧速率(例如，在该个实例中为60fps)下的全传感器分辨率帧。另外，帧可具有传感器纵横比(例如，在该实例中为4×3)。如先前所提及的，在一些实施例中，可采用多个图像传感器，并且可接收来自每个图像传感器的帧。在各种实施例中，用于从每个传感器接收图像的帧速率无需相同。传感器接口60可被配置为接收帧数据并且将该数据供应到前端缩放器62。前端缩放器62可输出在全传感器分辨率和纵横比下的交替的帧(即，未修改的帧)和在降低的分辨率和 16×9纵横比下的帧。降低的分辨率可为显示标准分辨率(例如，1080p)或可为中间分辨率。例如，中间分辨率可基于预览视频序列的分辨率。具体地，在一个实施例中，中间分辨率可匹配预览视频序列的水平分辨率。在其他实施例中，生成高分辨率帧和低分辨率帧的相对速率可变化，如上文论述。
前端缩放器62可对原始传感器像素数据进行操作。可以任何格式(例如，拜耳(Bayer)格式)提供传感器像素数据。可将原始传感器像素数据转换为由***的其他部件使用的数据(例如，红绿蓝(RGB)像素或色度/亮度(YCrCb)像素)。后端处理块64可被配置为执行转换，并且后端缩放器 66可被配置为对所得的帧进行缩放。后端缩放器66可被配置为向存储器输出两个视频流：所捕获的视频序列，其可包括与1080p分辨率的16×9帧交织的经交织的4×3全传感器分辨率帧；以及预览视频序列。
预览视频序列无需在所捕获的视频序列的全帧速率下。例如，在例示的实施例中，预览视频序列可为30fps，其中所捕获的视频序列为60fps。每个预览帧可具有4×3纵横比，并且可具有适于显示器20的分辨率。在一个实施例中，先前帧可包括16×9帧在4×3帧内的指示(例如，黑边处理)。
除了上文提及的拜耳像素转换之外，后端处理块64还可被配置为实施任何其他所期望的图像处理或转化机制。例如，后端处理块64可包括噪声***、色彩增强等。
图5是ISP 24的另一个实施例的框图。图5的实施例不包括前端缩放器62。因此，传感器接口60可被配置为从图像传感器26接收帧并且将这些帧写入到存储器。在例示的实施例中，所接收的帧可具有4×3纵横比和全传感器分辨率。另选地，在另一个实施例中，所接收的帧可具有16×9纵横比。后端处理块64可从存储器读取所接收的帧(虚线72)，并且可生成经缩放的视频序列，该经缩放的视频序列使由图4的实施例中的前端缩放器生成的4×3纵横比、全传感器分辨率帧与16×9纵横比、较低分辨率帧交织。此外，后端处理块64可被配置为执行如先前所述的拜耳至 RGB/YCrCb处理等。后端缩放器66可被配置为生成所捕获的视频序列和预览视频序列，如先前参照图4所论述的。显示管16可从存储器读取预览视频序列(虚线74)，以在显示器20上显示。
图6是示出用于捕获视频序列和预览视频序列的SOC 10的部件的一个实施例的操作的流程图。虽然为了易于理解而以特定顺序示出框，但可使用其他顺序。可在这些部件中以组合逻辑并行执行框。框还可并行地对不同帧或帧的不同部分进行操作。可在多个时钟循环内对框、框的组合和/或作为整体的流程进行流水线处理。SOC 10的部件可被配置为实施图6所示的操作。
ISP 24可被配置为以期望的帧速率来接收图像传感器数据(框80)。 ISP 24可被配置为生成交织帧序列(全传感器分辨率的4×3纵横比帧和较低分辨率的16×9纵横比帧)。每个类型的帧的序列可有效地具有所接收的帧的帧速率的一半，并且因此，交织序列可具有与所接收的帧相同的帧速率(框82)。另选地，可支持针对低分辨率帧和高分辨率帧的不同帧速率，如先前所论述的。ISP 24可被配置为生成所捕获的视频序列，该所捕获的视频序列包括与1080p帧交织的全传感器4×3纵横比帧(框84)。另外，ISP 24可被配置为生成预览视频序列的预览分辨率的4×3纵横比帧 (框86)。在一个实施例中，预览视频序列的帧速率小于所捕获的视频序列的帧速率。例如，该帧速率可为所捕获的视频序列的一半。预览视频序列的帧可例如通过合并来自所捕获的视频序列的4×3帧(缩放到1080p分辨率)和相邻16×9帧来生成。显示管16可以半透明黑边显示预览视频序列，以指示帧的视频(16×9)部分(框88)。半透明黑边效应可为提供预览视频序列的后端缩放器66的一部分，或可经由混合预览视频序列与静止黑边图像而被应用。所捕获的视频序列和预览视频序列可被存储在存储器12 中的独立存储区域中。由于在正在捕获预览视频序列的同时将该序列提供给用户进行查看，因此在需要时该序列可稍微较小，并且可由较新的帧覆写视频序列中的较旧的帧。相反，所捕获的视频序列可旨在用于保留(例如，用于稍后处理/查看，也可能卸载到另一个设备，等等)。因此，可为所捕获的视频序列分配较大区域。在一些实施例中，可将所捕获的视频序列传送到其他存储装置(例如，***中的非易失性存储器，未示出)。
如果不同帧速率用于高分辨率帧和低分辨率帧，则可在较低分辨率帧的生成之间的片段中执行高分辨率帧的生成。例如，如果以30fps捕获低分辨率帧，则ISP 24可在小于1/30秒的时间内捕获低分辨率帧。直到1/30秒结束的剩余时间可用于处理高分辨率片段。例如，该片段可为高分辨率帧的一个片或多个片。
图7是示出用于在视频捕获期间捕获静态帧的SOC 10的部件的一个实施例的操作的流程图。虽然为了易于理解而以特定顺序示出框，但可使用其他顺序可在这些部件中以组合逻辑并行执行框。可在多个时钟循环内对框、框的组合和/或作为整体的流程进行流水线处理。SOC 10的部件可被配置为实施图7所示的操作。
用户可向***指示静态帧待捕获(决策框90)。例如，用户可按压***上的物理快门按钮或显示器20(在该实施例中，该显示器可为触摸屏显示器)上所显示的虚拟快门按钮。例如响应于来自设备(显示器20或物理按钮)的中断，对按钮按压或其他指示的检测可由处理器28中的一个处理器执行。如果用户已指示静态帧(决策框90，“是”支路)，则***可从所捕获的视频序列捕获最近的4×3纵横比、全传感器分辨率的帧(框 92)。***可(例如)通过将按钮按压事件或其他指示事件的时间戳与所捕获的视频序列帧的时间戳进行比较来确定最近的帧。可将静态帧从其在存储器12中的所捕获视频中的位置复制到另一个位置以作为静态帧进行存储。
在一些实施例中，***可采用图像质量过滤来选择捕获静态图像，而不是完全地捕获最近的高分辨率帧。例如，可检查帧的清晰度，并且相对于较近的图像，在时间上远离按钮按压的较清晰的图像可为优选的。如果图片的主题是人，则相对于较近的帧，主题的眼睛睁开的帧可为优选的。任何种类的图像质量过滤可被包括在各种实施例中。
在另一个实施例中，可在视频捕获期间以16×9分辨率显示预览视频序列。如果在视频捕获期间用户指示待捕获的静态帧，则可将预览视频序列扩展为4×3纵横比，因此用户可观察对静态帧的成帧。视频捕获可在这个时间期间继续，从而以16×9纵横比进行捕获。一旦捕获到静态帧，预览视频序列便可转变回到16×9纵横比。在一个实施例中，在不执行静态捕获时仅显示16×9视频帧可进一步减小视频数据的带宽和功率消耗，同时仍为静态帧提供期望的纵横比。
图8是示出用于实施从16×9至4×3以及返回的转变的***的一个实施例的操作的流程图。虽然为了易于理解而以特定顺序示出框，但可使用其他顺序可在这些部件中以组合逻辑并行执行框。可在多个时钟循环内对框、框的组合和/或作为整体的流程进行流水线处理。SOC 10的部件可被配置为实施图8所示的操作。
***可处于视频捕获模式，从而捕获视频帧并且在显示器20上显示 16×9预览。用户可(例如)通过按压物理快门按钮或虚拟快门按钮来指示需要静态帧(决策框94)。如上文论述，可(例如)通过处理器28接收中断来检测用户按下按钮。如果用户没有按下快门按钮(决策框94，“否”支路)，则***可继续显示16×9预览帧(框96)。另一方面，如果用户按下快门按钮(决策框94，“是”支路)，则***可显示4×3预览(框98) 并且可继续显示4×3预览直到用户释放快门按钮(决策框100，“否”支路)。因此，在需要时，用户可在按下按钮的同时使静态帧成帧。
可以多种方式执行从16×9至4×3的转变。例如，4×3帧可淡入，从而将16×9帧在4×3帧内保持于其相同的位置和比例。4×3帧的超过16×9帧的一部分可半透明地进行黑边处理，使得视频成帧和静态成帧两者可为同时可见的。另选地，淡入可不达到全亮度，从而提供视频成帧与静态成帧之间的视觉差别。
一旦用户释放快门按钮(决策框100，“是”支路)，***便可在与视频序列分离的存储器位置捕获静态帧，并且显示器可返回以显示16×9视频帧(框102)。例如，4×3帧可淡出。在静态帧的成帧和捕获期间(例如，在按压快门按钮的同时)，视频捕获可继续发生。
需注意，虽然以上论述使用16×9作为视频纵横比并且使用4×3作为静态纵横比，但其他实施例可将其他纵横比用于视频帧和静态帧中的一者或两者。
类似于上文关于图7的论述，在图8的实施例中捕获的静态帧可为在时间上接近按钮释放但也可采用图像质量过滤的帧。
接下来转向图9，其示出***150的一个实施例的框图。在例示的实施例中，***150包括耦接到一个或多个***设备154和外部存储器12的 SOC 10的至少一个实例。提供电源156，该电源向SOC 10供应供电电压以及向存储器12和/或***设备154供应一个或多个供电电压。在一些实施例中，可包括SOC 10的多于一个实例(并且还可包括多于一个存储器12)。
取决于***150的类型，***设备154可包括任何期望的电路。例如，在一个实施例中，***150可为移动设备(例如，个人数字助理 (PDA)、智能电话等)，并且***设备154可包括用于各种类型的无线通信 (诸如wifi、蓝牙、蜂窝、全球定位***等)的设备。***设备154还可包括附加存储装置，该附加存储装置包括RAM存储装置、固态存储装置或磁盘存储装置。***设备154可包括用户接口设备，诸如显示屏(包括触摸显示屏或多触摸显示屏)、键盘或其他输入设备、麦克风、扬声器等。在其他实施例中，***150可为任何类型的计算***(例如，台式个人计算机、膝上型电脑、工作站、桌面一体机(net top)等)。具体地，***设备154可包括图1所示的显示器20和一个或多个图像传感器26。
外部储存器12可包括任何类型的存储器。例如，外部存储器12可为 SRAM、动态RAM(DRAM)(诸如同步DRAM(SDRAM)、双倍数据速率 (DDR、DDR2、DDR3等)SDRAM、RAMBUS DRAM等)。外部存储器 12可包括存储器设备安装至其的一个或多个存储器模块，诸如单列直插内存模块(SIMM)、双列直插内存模块(DIMM)等。另选地，外部存储器12可包括以芯片上芯片或封装上封装具体实施形式安装在SOC 10上的一个或多个存储器设备。
一旦充分理解了以上公开，很多变型和修改对于本领域的技术人员而言将变得显而易见。本发明旨在将所附权利要求书解释为涵盖所有此类变型和修改。

Claims (14)

1.一种用于在视频捕获期间捕获静态帧的设备，包括：
至少一个图像传感器；
显示设备；和
集成电路，所述集成电路耦接到所述图像传感器和所述显示设备，其中所述集成电路被配置为在视频捕获期间从所述图像传感器接收第一多个帧，其中所述第一多个帧具有第一分辨率，并且其中所述集成电路被配置为输出用于形成视频序列的第二多个帧，其中所述第二多个帧的第一子集具有所述第一分辨率以及与静态帧相关联的第一纵横比，并且其中所述第二多个帧的第二子集具有小于所述第一分辨率的第二分辨率以及与视频帧相关联的第二纵横比，并且其中所述第一纵横比不同于所述第二纵横比，并且其中所述集成电路被配置为输出第三多个帧以用于在所述显示设备上显示，其中所述第三多个帧形成具有所述第一纵横比和小于所述第一分辨率的第三分辨率的第二视频序列，并且其中所述第三多个帧进一步包括对每个帧的所述第二纵横比的视觉指示，借此以所述第一纵横比和所述第二纵横比对图像成帧在所述显示设备上同时可见，并且其中所述集成电路被配置为响应于对静态帧的请求来捕获所述第一子集中的一个帧。
2.根据权利要求1所述的设备，其中所述视觉指示是半透明黑边效应，所述半透明黑边效应包括在第一帧的超出所述第二纵横比的部分上方的半透明阴影，其中所述第一帧被显示在所述显示设备上。
3.根据权利要求2所述的设备，还包括耦接到所述集成电路的存储器，其中所述集成电路被配置为将所述第二多个帧存储在所述存储器中。
4.根据权利要求3所述的设备，其中所述集成电路被进一步配置为将所述第三多个帧存储在所述存储器中，并且其中所述集成电路被配置为从所述存储器读取所述第三多个帧以用于在所述显示设备上显示。
5.根据权利要求1所述的设备，其中所述第二分辨率取决于显示标准。
6.根据权利要求1所述的设备，其中所述第一分辨率为由所述图像传感器支持的最大分辨率。
7.根据权利要求1所述的设备，其中所述集成电路被配置为响应于对所述静态帧的所述请求来捕获具有所述第一分辨率的最近的帧作为所述静态帧。
8.根据权利要求1所述的设备，其中所述集成电路被配置为响应于对所述静态帧的所述请求来捕获具有所述第一分辨率的帧作为所述静态帧，其中所述帧接近用户输入指示所述捕获的时间，并且其中针对一个或多个图像质量要求由所述集成电路来对所述帧进行过滤。
9.根据权利要求1所述的设备，其中用于捕获静态帧的所述请求包括用户按下所述设备上的静态捕获按钮，并且其中所述集成电路被配置为响应于所述用户按下所述静态捕获按钮来将所述第一纵横比改变为与所述静态帧相关联的所述第二纵横比，并且其中所述集成电路被配置为响应于所述用户释放所述静态捕获按钮来捕获所述静态帧并且返回到所述第一纵横比。
10.一种用于在视频捕获期间捕获静态帧的设备，包括：
至少一个图像传感器；
显示设备；和
集成电路，所述集成电路耦接到所述图像传感器和所述显示设备，其中所述集成电路被配置为在视频捕获期间从所述图像传感器接收第一多个帧，其中所述第一多个帧具有第一分辨率，并且其中所述集成电路被配置为输出用于形成视频序列的第二多个帧，其中所述第二多个帧的第一子集具有所述第一分辨率以及与静态帧相关联的第一纵横比，并且其中所述第二多个帧的第二子集具有小于所述第一分辨率的第二分辨率以及与视频帧相关联的第二纵横比，并且其中所述第一纵横比不同于所述第二纵横比，并且其中所述集成电路被配置为输出第三多个帧以用于在所述显示设备上显示，其中所述第三多个帧形成具有所述第一纵横比和小于所述第一分辨率的第三分辨率的第二视频序列，并且其中所述第三多个帧进一步包括对每个帧的所述第二纵横比的视觉指示，借此以所述第一纵横比和所述第二纵横比对图像成帧在所述显示设备上同时可见，其中用于捕获静态帧的请求包括用户按下所述设备上的静态捕获按钮，并且其中所述集成电路被配置为响应于所述用户按下所述静态捕获按钮来将所述第一纵横比改变为与所述静态帧相关联的所述第二纵横比，并且其中所述集成电路被配置为响应于所述用户释放所述静态捕获按钮来捕获所述静态帧并且返回到所述第一纵横比，并且其中所述集成电路被配置为以大于所述第三分辨率的第二分辨率来捕获所述静态帧。
11.一种用于在视频捕获期间捕获静态帧的方法，包括：
在视频捕获期间，生成在第一分辨率和与静态帧相关联的第一纵横比下的第一帧与以第二分辨率和与视频相关联的第二纵横比捕获的第二帧的交织序列，其中所述第一纵横比不同于所述第二纵横比；
在显示设备上显示第三多个帧，其中所述第三多个帧形成具有所述第一纵横比和小于所述第一分辨率的第三分辨率的第二视频序列，并且其中所述第三多个帧进一步包括对每个帧的所述第二纵横比的视觉指示，借此以所述第一纵横比和所述第二纵横比对图像成帧在所述显示设备上同时可见；
检测对静态帧的请求；以及
捕获在所述第一分辨率和所述第一纵横比下的所述第一帧中的一个帧作为所述静态帧。
12.根据权利要求11所述的方法，其中所述指示是在所述第一帧的超出所述第二纵横比的部分上方的半透明阴影。
13.根据权利要求11所述的方法，其中所述第一分辨率基于用于生成所述图像的图像传感器的最大分辨率。
14.根据权利要求11所述的方法，其中所述第二分辨率取决于显示标准。
CN201480059594.1A 2013-11-18 2014-09-26 用于在视频捕获期间捕获静态帧的设备和方法 Active CN105684424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811342211.8A CN109547662B (zh) 2013-11-18 2014-09-26 非模态视频和静态帧捕获

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/082,390 US9344626B2 (en) 2013-11-18 2013-11-18 Modeless video and still frame capture using interleaved frames of video and still resolutions
US14/082,390 2013-11-18
PCT/US2014/057599 WO2015073124A1 (en) 2013-11-18 2014-09-26 Modeless video and still frame capture

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201811342211.8A Division CN109547662B (zh) 2013-11-18 2014-09-26 非模态视频和静态帧捕获

Publications (2)

Publication Number Publication Date
CN105684424A CN105684424A (zh) 2016-06-15
CN105684424B true CN105684424B (zh) 2018-11-09

Family

ID=51730574

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480059594.1A Active CN105684424B (zh) 2013-11-18 2014-09-26 用于在视频捕获期间捕获静态帧的设备和方法
CN201811342211.8A Active CN109547662B (zh) 2013-11-18 2014-09-26 非模态视频和静态帧捕获

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811342211.8A Active CN109547662B (zh) 2013-11-18 2014-09-26 非模态视频和静态帧捕获

Country Status (9)

Country Link
US (5) US9344626B2 (zh)
EP (3) EP3993395A1 (zh)
JP (2) JP6254275B2 (zh)
KR (2) KR101758032B1 (zh)
CN (2) CN105684424B (zh)
AU (1) AU2014349165B2 (zh)
DE (1) DE202014011562U1 (zh)
TW (1) TWI566598B (zh)
WO (1) WO2015073124A1 (zh)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409445B2 (en) 2012-01-09 2019-09-10 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
CN113472989A (zh) 2012-11-28 2021-10-01 核心光电有限公司 多孔径成像***以及通过多孔径成像***获取图像的方法
US10275128B2 (en) 2013-03-15 2019-04-30 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
CN109194849B (zh) 2013-06-13 2021-01-15 核心光电有限公司 双孔径变焦数字摄影机
WO2015001440A1 (en) 2013-07-04 2015-01-08 Corephotonics Ltd. Miniature telephoto lens assembly
EP3028443A2 (en) 2013-08-01 2016-06-08 Corephotonics Ltd. Thin multi-aperture imaging system with auto-focus and methods for using same
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
US10264293B2 (en) * 2014-12-24 2019-04-16 Activevideo Networks, Inc. Systems and methods for interleaving video streams on a client device
US10523985B2 (en) 2014-12-24 2019-12-31 Activevideo Networks, Inc. Managing deep and shallow buffers in a thin-client device of a digital media distribution network
CN112327463B (zh) 2015-01-03 2022-10-14 核心光电有限公司 微型长焦镜头模块和使用该镜头模块的相机
KR101914894B1 (ko) 2015-04-02 2018-11-02 코어포토닉스 리미티드 듀얼 광학 모듈 카메라의 듀얼 보이스 코일 모터 구조체
KR102480080B1 (ko) 2015-04-16 2022-12-22 코어포토닉스 리미티드 소형 접이식 카메라의 오토 포커스 및 광학 이미지 안정화
WO2016189455A1 (en) 2015-05-28 2016-12-01 Corephotonics Ltd. Bi-directional stiffness for optical image stabilization and auto-focus in a dual-aperture digital camera
BR112018001151A2 (pt) * 2015-07-20 2018-09-18 Notarize Inc sistema e método para validar a autoria de uma seção de assinatura eletrônica
EP3598737B1 (en) 2015-08-13 2020-12-09 Corephotonics Ltd. Dual aperture zoom camera with video support and switching / non-switching dynamic control
KR101993077B1 (ko) 2015-09-06 2019-06-25 코어포토닉스 리미티드 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지
EP4254926A3 (en) 2015-12-29 2024-01-31 Corephotonics Ltd. Dual-aperture zoom digital camera with automatic adjustable tele field of view
US10034026B2 (en) 2016-04-22 2018-07-24 Akila Subramaniam Device for and method of enabling the processing of a video stream
EP3518520B1 (en) 2016-05-30 2020-08-26 Corephotonics Ltd. Rotational ball-guided voice coil motor
EP4020958B1 (en) 2016-06-19 2023-10-25 Corephotonics Ltd. Frame synchronization in a dual-aperture camera system
US9992467B2 (en) * 2016-06-30 2018-06-05 Apple Inc. Parallel computer vision and image scaling architecture
KR102390572B1 (ko) 2016-07-07 2022-04-25 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 음성 코일 모터
WO2018007951A1 (en) 2016-07-07 2018-01-11 Corephotonics Ltd. Dual-camera system with improved video smooth transition by image blending
US10412390B2 (en) * 2016-07-12 2019-09-10 Mediatek Inc. Video processing system using low-cost video encoding/decoding architecture
EP4246993A3 (en) 2016-12-28 2024-03-06 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
US10884321B2 (en) 2017-01-12 2021-01-05 Corephotonics Ltd. Compact folded camera
WO2018154421A1 (en) 2017-02-23 2018-08-30 Corephotonics Ltd. Folded camera lens designs
KR102530535B1 (ko) 2017-03-15 2023-05-08 코어포토닉스 리미티드 파노라마 스캐닝 범위를 갖는 카메라
US10904512B2 (en) 2017-09-06 2021-01-26 Corephotonics Ltd. Combined stereoscopic and phase detection depth mapping in a dual aperture camera
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
CN113075776B (zh) 2017-11-23 2023-08-29 核心光电有限公司 移动电子设备
CN114609746A (zh) 2018-02-05 2022-06-10 核心光电有限公司 折叠摄像装置
CN113568251B (zh) 2018-02-12 2022-08-30 核心光电有限公司 数字摄像机及用于提供聚焦及补偿摄像机倾斜的方法
US10825134B2 (en) * 2018-03-29 2020-11-03 Owned Outcomes Inc. System and method for scaling content across multiple form factors
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
CN114153107B (zh) 2018-04-23 2024-07-02 核心光电有限公司 相机及致动器
JP7028983B2 (ja) 2018-08-04 2022-03-02 コアフォトニクス リミテッド カメラ上の切り替え可能な連続表示情報システム
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
US11158286B2 (en) 2018-10-05 2021-10-26 Disney Enterprises, Inc. Machine learning color science conversion
US11287081B2 (en) 2019-01-07 2022-03-29 Corephotonics Ltd. Rotation mechanism with sliding joint
CN111971956B (zh) 2019-03-09 2021-12-03 核心光电有限公司 用于动态立体校准的方法及***
US10992902B2 (en) * 2019-03-21 2021-04-27 Disney Enterprises, Inc. Aspect ratio conversion with machine learning
JP7292961B2 (ja) 2019-05-08 2023-06-19 キヤノン株式会社 撮像装置およびその制御方法
JP7292962B2 (ja) 2019-05-08 2023-06-19 キヤノン株式会社 撮像装置およびその制御方法
US20220078327A1 (en) * 2019-07-12 2022-03-10 Bennet K. Langlotz Digital camera with still frame capture during video
KR102425865B1 (ko) 2019-07-31 2022-07-27 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
WO2021116851A2 (en) 2019-12-09 2021-06-17 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
CN114641805A (zh) 2020-02-22 2022-06-17 核心光电有限公司 用于微距摄影的分屏特征
CN114144898B (zh) 2020-04-26 2022-11-04 核心光电有限公司 用于霍尔棒传感器校正的温度控制
KR102495627B1 (ko) 2020-05-17 2023-02-06 코어포토닉스 리미티드 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭
US11770609B2 (en) 2020-05-30 2023-09-26 Corephotonics Ltd. Systems and methods for obtaining a super macro image
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
CN114730064A (zh) 2020-07-15 2022-07-08 核心光电有限公司 扫描折叠相机的视点像差校正
CN114270145B (zh) 2020-07-31 2024-05-17 核心光电有限公司 用于大行程线性位置感测的霍尔传感器-磁体几何结构
CN111970440A (zh) * 2020-08-11 2020-11-20 Oppo（重庆）智能科技有限公司 图像获取方法、电子装置和存储介质
CN116626960A (zh) 2020-08-12 2023-08-22 核心光电有限公司 用于光学防抖的方法
US11182319B1 (en) * 2020-10-13 2021-11-23 Omnivision Technologies, Inc. Camera system with PWM-activated, burst-self-refresh, DRAM to reduce standby power consumption
CN112559800B (zh) 2020-12-17 2023-11-14 北京百度网讯科技有限公司 用于处理视频的方法、装置、电子设备、介质和产品
EP4204885A4 (en) 2021-06-08 2024-03-06 Corephotonics Ltd. SYSTEMS AND CAMERAS FOR TILTING A FOCAL PLANE OF A SUPER MACRO-IMAGE
CN118176521A (zh) * 2021-10-25 2024-06-11 三星电子株式会社 生成高分辨率峰值动作帧的方法和***
CN114430488A (zh) * 2022-04-01 2022-05-03 深圳市华曦达科技股份有限公司 一种视频编码和视频解码的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008283477A (ja) * 2007-05-10 2008-11-20 Fujifilm Corp 画像処理装置及び画像処理方法
CN102124727A (zh) * 2008-03-20 2011-07-13 无线电技术研究学院有限公司 将视频图像适配到小屏幕尺寸的方法
CN102629972A (zh) * 2011-02-04 2012-08-08 三洋电机株式会社 摄像装置及其控制方法
CN102752640A (zh) * 2005-07-18 2012-10-24 汤姆森许可贸易公司 使用元数据来处理多个视频流的方法和设备

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4702090A (en) 1986-10-24 1987-10-27 Astronautics Corporation Of America Magnetic refrigeration apparatus with conductive heat transfer
US7110025B1 (en) 1997-05-28 2006-09-19 Eastman Kodak Company Digital camera for capturing a sequence of full and reduced resolution digital images and storing motion and still digital image data
US20030147640A1 (en) 2002-02-06 2003-08-07 Voss James S. System and method for capturing and embedding high-resolution still image data into a video data stream
JP4113389B2 (ja) * 2002-07-30 2008-07-09 富士フイルム株式会社 電子カメラ
KR101110009B1 (ko) * 2004-02-27 2012-02-06 교세라 가부시키가이샤 촬상 장치 및 화상 생성 방법
US7777790B2 (en) 2005-01-27 2010-08-17 Technion Research & Development Foundation Ltd. Acquisition of image sequences with enhanced resolution
JP2006211426A (ja) 2005-01-28 2006-08-10 Kyocera Corp 撮像装置およびその画像生成方法
JP2006303961A (ja) * 2005-04-21 2006-11-02 Canon Inc 撮像装置
JP4616096B2 (ja) * 2005-07-12 2011-01-19 オリンパス株式会社 動画撮像装置および撮像プログラム
KR100741721B1 (ko) 2005-08-16 2007-07-23 주식회사 유비원 정지영상을 함께 출력하는 보안감시시스템
JP4621152B2 (ja) * 2006-02-16 2011-01-26 キヤノン株式会社 撮像装置、その制御方法、およびプログラム
US7705889B2 (en) 2007-06-15 2010-04-27 Sony Corporation Shutter time compensation
US8279299B2 (en) * 2007-08-27 2012-10-02 Sony Corporation Imaging device and associated methodology of setting adjustable aspect ratios
JP2009071592A (ja) * 2007-09-13 2009-04-02 Fujifilm Corp 撮像装置及び撮像制御方法
FR2925705A1 (fr) 2007-12-20 2009-06-26 Thomson Licensing Sas Dispositif d'aide a la capture d'images
JP2009164725A (ja) * 2007-12-28 2009-07-23 Panasonic Corp 画像記録装置および画像再生装置
JP5211947B2 (ja) 2008-09-04 2013-06-12 カシオ計算機株式会社 撮像装置及びプログラム
KR101505681B1 (ko) * 2008-09-05 2015-03-30 엘지전자 주식회사 터치 스크린을 구비한 이동 단말기 및 이를 이용한 이미지 촬상 방법
US20100295966A1 (en) 2009-05-19 2010-11-25 John Furlan Digital video camera with high resolution imaging system
WO2011033675A1 (ja) 2009-09-18 2011-03-24 株式会社 東芝 画像処理装置および画像表示装置
JP5287917B2 (ja) 2011-03-25 2013-09-11 株式会社デンソー 回転電機の回転子鉄心の製造方法
TWI474097B (zh) 2011-06-22 2015-02-21 Htc Corp 影像擷取方法與影像擷取系統
JP5724677B2 (ja) 2011-06-28 2015-05-27 富士通株式会社 動画像撮影装置および動画像撮影方法
KR101836432B1 (ko) * 2011-12-16 2018-03-12 삼성전자주식회사 촬상장치, 이미지 보정 방법 및 컴퓨터 판독가능 기록매체
KR102058860B1 (ko) 2012-04-16 2019-12-26 삼성전자 주식회사 카메라의 이미지 처리 장치 및 방법
CN103379275B (zh) * 2012-04-16 2019-01-11 三星电子株式会社 摄像机的图像处理装置和方法
US9111484B2 (en) * 2012-05-03 2015-08-18 Semiconductor Components Industries, Llc Electronic device for scene evaluation and image projection onto non-planar screens
US9756282B2 (en) * 2012-11-20 2017-09-05 Sony Corporation Method and apparatus for processing a video signal for display
US9519977B2 (en) * 2013-05-13 2016-12-13 Ebay Inc. Letterbox coloring with color detection
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752640A (zh) * 2005-07-18 2012-10-24 汤姆森许可贸易公司 使用元数据来处理多个视频流的方法和设备
JP2008283477A (ja) * 2007-05-10 2008-11-20 Fujifilm Corp 画像処理装置及び画像処理方法
CN102124727A (zh) * 2008-03-20 2011-07-13 无线电技术研究学院有限公司 将视频图像适配到小屏幕尺寸的方法
CN102629972A (zh) * 2011-02-04 2012-08-08 三洋电机株式会社 摄像装置及其控制方法

Also Published As

Publication number Publication date
US20170134655A1 (en) 2017-05-11
JP6254275B2 (ja) 2017-12-27
JP6571742B2 (ja) 2019-09-04
US10038845B2 (en) 2018-07-31
US20150139603A1 (en) 2015-05-21
TWI566598B (zh) 2017-01-11
KR101758032B1 (ko) 2017-07-13
DE202014011562U1 (de) 2022-03-18
TW201528815A (zh) 2015-07-16
EP3072290A1 (en) 2016-09-28
US20180324357A1 (en) 2018-11-08
EP3993395A1 (en) 2022-05-04
US9591219B2 (en) 2017-03-07
KR101789976B1 (ko) 2017-10-25
AU2014349165B2 (en) 2017-04-13
EP3468173A1 (en) 2019-04-10
US10498960B2 (en) 2019-12-03
KR20160077120A (ko) 2016-07-01
KR20170083645A (ko) 2017-07-18
JP2016541177A (ja) 2016-12-28
US20160219220A1 (en) 2016-07-28
WO2015073124A1 (en) 2015-05-21
US9344626B2 (en) 2016-05-17
US20200068129A1 (en) 2020-02-27
JP2018038088A (ja) 2018-03-08
US10911673B2 (en) 2021-02-02
AU2014349165A1 (en) 2016-04-21
EP3072290B1 (en) 2018-12-26
CN109547662A (zh) 2019-03-29
CN109547662B (zh) 2019-12-24
CN105684424A (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
CN105684424B (zh) 用于在视频捕获期间捕获静态帧的设备和方法
US8798386B2 (en) Method and system for processing image data on a per tile basis in an image sensor pipeline
US11223762B2 (en) Device and method for processing high-resolution image
KR20230026441A (ko) 이미지 촬영 방법 및 전자기기
TW201423403A (zh) 共用資源的存取請求之有效率處理
JP6304963B2 (ja) 映像出力装置及びその制御方法、プログラム、並びに記憶媒体
JP2012028997A (ja) 画像処理装置およびカメラ
US20150281583A1 (en) Image sensor
US10110927B2 (en) Video processing mode switching
US9241144B2 (en) Panorama picture scrolling
WO2024093518A1 (zh) 一种出图模式切换方法及相关设备
KR20210071791A (ko) 고해상도 이미지를 처리하기 위한 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant