CN111373734A - 用于便携式个人电子设备的即时模式相机 - Google Patents

Abstract

描述了用于集成到便携式个人电子设备(PPED)环境中的实施即时模式相机的技术。IMC的实施例可以包括可以集成的数字相机，其在不涉及唤醒应用程序处理器、唤醒显示器组件、唤醒数字相机组件和/或启动与相机有关的功能的情况下由一个或多个用户界面组件直接触发。例如，如果用户的智能手机被锁定，并且用户希望捕获照片，则用户可以以特定方式与特定的UI组件进行交互，从而基本上没有延迟地直接触发IMC对图像数据的捕获。IMC的实施方式可包括一种低功率、始终开启的数字相机，其可以由一个或多个始终开启的用户界面组件直接控制。IMC组件可以经由快速硬件接口与应用程序处理器的始终开启的区域进行通信。

Description

用于便携式个人电子设备的即时模式相机

技术领域

本发明总体上涉及集成到个人电子设备中的相机。更具体地，实施例涉及用于集成到便携式个人电子设备环境中的即时模式相机。

背景技术

过去，摄影是一门专属于那些拥有专门知识和设备的人的学科。在过去的几十年中，数字摄影硬件和软件的创新以及带有集成数字相机的智能手机在全球范围内的普及已经将数字摄影带到到数十亿消费者手中。在无处不在的数字摄影和摄像环境中，消费者越来越希望能够使用智能手机来快速且容易地捕捉瞬间。但是，相机和智能手机的其他部件(例如显示器硬件、照明硬件等)当处于活跃模式中时可能会消耗相当多的电量，这会明显减少电池寿命并带来其他不期望的影响。因此，智能手机(及其更高能耗部件中的一些或全部)在不使用时通常保持在睡眠模式中。例如，智能手机通常保持在锁定状态中，并且只有在解锁智能手机后才能访问智能手机的大多数或所有功能。

当智能手机被锁定并且消费者期望捕获照片或视频时，消费者通常按下按钮或与另一界面交互以解锁智能手机。这会唤醒某些部件资源，例如智能手机显示屏。智能手机的用户界面可用于访问相机应用程序。当相机应用程序启动时，该应用程序可以访问并唤醒各种与相机相关的部件资源，例如相机和照明硬件和软件。在准备好与相机相关的部件资源后，消费者可以再次与用户界面元素进行交互，以触发相机来捕获照片或视频。对于许多典型的智能手机来说，在智能手机解锁的时刻和当可以捕获照片时的时刻之间可能会有几秒的延迟。在一些情况下，这种延迟太长。例如，特定瞬间可能已经过去了，而没有时间来捕获它。因此，虽然在不使用相机时将其保持在睡眠模式中可以有助于显著增加智能手机的电池寿命，但是从睡眠模式访问并唤醒相机可对相机的使用增加明显的延迟。

发明内容

实施例提供了用于实施集成到便携式个人电子设备(PPED)环境中的即时模式相机的电路、设备和方法。IMC的实施例可以包括集成数字相机，其可以在不唤醒应用程序处理器、不唤醒显示器部件、不唤醒数字相机部件和/或不启动与相机有关的功能的情况下由一个或多个用户界面部件直接触发。例如，如果用户的智能手机被锁定，并且用户希望捕获照片，则用户可以以特定方式与特定的UI部件进行交互，从而基本上没有延迟地由IMC直接触发对图像数据的捕获。IMC的实施方式可能包括一种低功率、始终开启的数字相机，其可以由一个或多个始终开启的用户界面部件直接控制。IMC部件可以经由快速硬件接口与应用程序处理器的始终开启的区域进行通信。

根据一组实施例，便携式个人电子设备(PPED)被提供用于即时模式数字图像捕获。该PPED包括：应用程序处理器，其被配置为选择性地在睡眠模式或活动模式中操作，该应用程序处理器具有始终开启的区域，该区域在该应用程序处理器处于睡眠模式时保持活跃；具有一个或多个始终开启的用户界面部件的多个用户界面部件，该一个或多个始终开启的用户界面部件中的至少一个是IMC触发器部件；以及即时模式相机(IMC)***，其具有由IMC控制器控制的数字相机组件，该IMC控制器与IMC触发器部件联接并响应于IMC触发器部件。IMC控制器被配置为：检测与IMC触发器部件的交互；响应于检测到交互而触发数字相机组件对图像数据的捕获；对图像数据进行预处理以生成预处理的图像信号；并且经由接口总线将预处理的图像信号通信传送到应用程序处理器的始终开启的区域。

根据另一组实施例，提供了一种用于即时模式数字图像捕获的方法。该方法包括：由集成到便携式个人电子设备(PPED)中的IMC***的即时模式相机(IMC)控制器检测与IMC触发器部件的交互，该IMC触发器部件与该IMC控制器联接，该IMC触发器部件是集成到PPED中的一组始终开启的用户界面部件中的一个；响应于所述交互，由IMC控制器触发IMC***的数字相机对图像数据的捕获；由IMC控制器预处理图像数据以产生预处理的图像信号；以及经由接口总线将预处理的图像信号通信传送到集成到PPED中的应用程序处理器的始终开启的区域。

附图说明

本文参考并构成其一部分的附图示出了本公开的实施例。附图连同说明书一起用于解释本发明的原理。

图1A示出了部分常规的便携式个人电子设备(PPED)架构100的简化框图；

图1B示出了用于将PPED从睡眠模式转变到能够在集成的数字相机上捕获照片的示例性常规例程的流程图；

图2A示出了根据各种实施例的具有集成的即时模式相机(IMC)的部分新颖的PPED架构的框图；

图2B示出了根据各种实施例的用于将图2A的新颖的PPED从睡眠模式转变到能够使用IMC***捕获图像数据的示例性例程的流程图；

图3A和图3B分别示出了根据各种实施例的示例性PPED的正视图和侧视图；

图4A至图4C示出了根据各种实施例的具有各种类型的IMC触发器部件的PPED的示例性实施方式；和

图5示出了根据各种实施例的用于即时模式数字图像捕获的示例性方法的流程图。

在附图中，相似的部件和/或特征可以具有相同的附图标记。此外，可以通过在附图标记后跟第二标记来区分相同类型的各种部件，该第二标记在相似部件之间有区别。如果在说明书中仅使用第一附图标记，则该描述适用于具有相同的第一附图标记的类似部件中的任一个，而与第二附图标记无关。

具体实施方式

在下面的描述中，提供了许多具体细节以对本发明进行透彻理解。然而，本领域技术人员应当理解，可以在没有这些细节中的一个或多个的情况下实现本发明。在其他示例中，为了简洁起见，将不再描述本领域中已知的特征和技术。

具有各种集成的硬件部件的便携式个人电子设备(PPED)变得越来越普遍，这些硬件部件(例如一个或多个大型显示器、数字相机和照明部件)在操作时会消耗相对大的电量。为了节省电力并延长电池寿命，此类PPED通常会切换到睡眠模式，在睡眠模式中，更多的高耗电的部件要么完全关闭，要么设置为低功率模式(例如，待机功率模式等)。如本文中所使用的，PPED可以包括智能电话、平板计算机、笔记本电脑、智能可穿戴设备(例如，智能手表)或具有集成在其中的一个或多个数字相机的任何其他合适的设备。例如，当常规的智能手机被“锁定”时，其相机(或其相机中的每个)将被有效关闭。从该状态开始，访问相机来拍照通常包括唤醒主处理器(例如，通过解锁智能手机)和访问相机应用程序，这将触发相机以另外唤醒它的子***(例如，对焦、照明等)并使其准备好捕获图像或视频。

如本文中所使用的，PPED可以包括智能电话、平板计算机、笔记本电脑、智能可穿戴设备(例如，智能手表)或具有集成在其中的一个或多个数字相机的任何其他合适的设备。在此假设PPED可以被设置为睡眠模式。因此可以以不同的方式来设置不同类型的PPED，例如通过使用硬件和/或软件控件来锁定PPED，以将PPED设置成“休眠”或“睡眠”等。如本文所使用的，像“锁定”设置或进入“锁定”模式等之类的短语一般且可互换地意在指PPED或PPED的一个或多个部件置于使得通常较高功率的部件(例如主应用程序处理器190、数字相机部件140、显示器部件125等)被设置成消耗较少功率或者不消耗功率(例如待机功率)的模式中。类似地，如本文中所使用的，如“解锁”设置或进入“解锁”模式、“唤醒”之类的短语一般且可互换地意在指使PPED或PPED的一个或多个部件返回到一个或多个通常较高功率的部件被允许以其通常较高功率的方式操作的模式。

对于增加的背景，图1A示出了部分常规的便携式个人电子设备(PPED)架构100的简化框图。如所示的，这种常规PPED可以包括多个硬件部件，例如硬件用户界面(UI)部件105、数字相机部件140、显示器部件125和照明部件135。例如，UI部件105可以包括物理按钮和开关、触摸屏的触敏部件(例如，电容性特征件)、力传感器部件、光学传感器部件等；数字相机部件140可以包括电荷耦合器件(CCD)、镜头等。显示器部件125可以包括一个或多个显示屏等；并且，照明部件135可以包括发光二极管等。硬件部件还可以包括存储器155，其可以实施为一个或多个集成存储器硬件设备(例如，可移动和/或不可移动固态存储器电路等)。

常规的PPED还可以包括应用程序处理器190，其可以经由一个或多个硬件接口180与硬件部件通信。应用程序处理器190可以被实施为任何合适的一个或多个处理器，例如微控制器单元(MCU)、通用处理器等。应用程序处理器190可以执行操作***功能、内核功能、与应用程序相关的功能以及任何其他合适的功能。这些功能可以用于控制和/或响应于硬件部件的操作。例如，将图像输出到显示器125可以包括应用程序处理器190请求***资源(例如，存储器资源)以分配给显示器、将应用程序级别的命令转换为硬件级别的命令等。

通常，当PPED被锁定时，应用程序处理器190的某些部分和某些较低功率的硬件部件可以继续操作。在PPED锁定时继续运行的此类部件和功能在本文中称为“始终开启”部件或功能。尽管被称为“始终开启”，但在某些情况下可以关闭此类部件或功能，例如，通过使PPED完全掉电、通过移除电池等。在一些PPED中，可以提供选项来允许使用硬件、软件等选择性地关闭一些或所有的“始终开启”的功能或部件。但是，典型的是，某些类型的PPED在不使用时被保持在锁定模式中，与完全关闭相反。例如，当智能手机被锁定时，它通常仍可以接收电话、接收来自应用程序的推送通知并且检测解锁智能手机所涉及的用户交互。这样，当智能电话被锁定时，应用程序处理器190可以被设置为待机功率模式等，在待机功率模式中，应用程序处理器190消耗最小量的电能以仅维持其“始终开启”功能的运行；并且低功率部件(例如，指纹传感器、home键等)可以维持在始终开启的状态，以便于检测解锁交互。

数字相机部件140通常不是始终开启的部件，因为它们倾向于消耗相当多的电量并且倾向于在应用层上由运行在应用程序处理器190上的一个或多个与相机相关的应用程序来控制。因此，如上所述，当PPED被锁定时，数字相机部件140通常处于睡眠模式(例如，关闭)。因此，从睡眠模式访问照相机可以包括唤醒应用程序处理器190、访问一个或多个应用程序以及唤醒数字相机部件140(例如，并且通常还唤醒供取景器使用的显示器部件125、唤醒用于照明的照明部件135等)。

图1B示出了用于将PPED从睡眠模式转变到能够在集成数字相机上捕获照片的示例性常规例程的流程图170。为了更加清楚起见，流程图170分为用户界面层161、应用层162和硬件层163。用户界面层161包括流程图170的涉及与硬件UI部件105的用户交互的部分。应用层162包括流程图170的由应用程序处理器190执行(例如，可由应用软件执行)的部分。硬件层163包括流程图170的由除UI部件105和应用程序处理器190以外的硬件部件执行的部分，例如由显示器部件125、照明部件135、数字相机部件140和存储器155执行的部分。如图所示，在许多传统的PPED中，一些或所有的硬件部件经由根据移动工业处理器接口(MIPI)规范(示出为MIPI接口145)配置的一个或多个硬件接口180与应用程序处理器190通信。例如，数字相机部件140可以经由MIPI相机串行接口(MIPI CSI)与应用程序处理器190通信，显示器部件125可以经由MIPI显示器串行接口(MIPI DSI)与应用程序处理器190通信，等等。

假设流程图170在PPED锁定时开始，以使得数字相机部件140(例如，以及其他非始终开启的硬件部件)掉电、断电或以其他方式处于睡眠模式。这样，流程图170以由始终开启的部件捕获的交互开始，以产生“唤醒”信号107。为此，UI部件105的一部分显示为始终开启的UI(AO-UI)部件105a。例如，AO-UI部件105a可以包括按钮、指纹传感器或被配置为响应于检测到某些交互而触发唤醒PPED的其他低功率部件。与AO-UI部件105a中的一个的用户交互会生成唤醒信号107，该信号可以触发唤醒例程110。

唤醒例程110可以包括任何合适的命令以唤醒PPED，例如，以开始唤醒应用程序处理器190开始。通常，唤醒例程110还可在例程120上触发显示器，通过该触发，应用程序处理器190可以指示显示器部件125开启、从锁定屏幕切换到主屏幕和/或以其他方式进入供用户使用的操作模式。在一些常规的PPED环境中，在显示器部件125开启之后，经由一个或多个UI部件105可访问相机应用程序130。例如，由显示器部件125显示多个图标供用户选择，包括与相机应用程序130相关联的特定图标。与特定图标的用户交互，例如，通过与触摸屏、导航按钮和/或其他UI部件105进行交互，生成用于访问相机应用程序130的访问信号127。

应用程序处理器190对访问信号127的接收可以使相机应用程序130执行(例如，打开)。相机应用程序130的执行可以触发唤醒数字相机部件140(例如，通电、初始化等)。在一些情况下，相机应用程序130可以触发唤醒一个或多个其他的***，例如某些照明部件135(例如，用于提供闪光和/或其他照明以支持图像或视频捕获)、某些传感器部件(例如，用于自动稳定)、某些UI部件105(例如，仅用于相机交互的任何按钮或其他接口)等。在数字相机部件140已被唤醒之后(例如，在某些情况下，仅在唤醒相机应用程序所使用的任何其他部件之后)，数字相机部件140最终可用于捕获图像数据(例如，用于照片和/或视频的)。为了拍摄照片或视频，用户通常可以与一个或多个UI部件105交互以生成捕获信号129。应用程序处理器190接收到捕获信号129可以使相机应用程序130指示数字相机部件140(以及任何其他支持部件)来捕获图像数据。所捕获的图像数据可以被预处理以经由MIPI接口145传送至其他应用程序。例如，可以将预处理的图像数据信号发送到在应用程序处理器190上运行的照片应用程序150。照片应用程序150可以生成照片预览、与照片存储器进行界面连接和/或在存储器155中检索，和/或提供其他与照片有关的功能。

如上所述，常规集成到PPED中的数字相机部件140消耗相当大的电量，并且当PPED锁定以节省电量(即，数字相机部件140没有常规地实施为始终开启的部件)时，数字相机部件140是关闭的。然而，如图1B的流程图170所示，从睡眠模式访问相机通常包括多个阶段，包括唤醒和执行多个硬件和软件部件。这通常会花费多秒的时间(例如，对于许多常规的智能手机，为1.5–3.5秒，其取决于智能手机的处理器速度、相机分辨率和/或其他技术参数)。对于某些应用程序，例如当用户希望快速捕捉转瞬即逝的瞬间时，这种长的延迟可能是不期望的。

一些传统的PPED包括唤醒到相机的模式，该模式连同解锁PPED一起自动访问相机应用程序130。在锁定时与PPED的AO-UI部件105a的特定交互(例如，沿着特定路径在锁定屏幕上滑动手指，以特定方式来回旋转锁定的PPED等)唤醒PPED并继续自动唤醒相机。例如，这种特定交互生成唤醒信号107和访问信号127，从而触发唤醒例程110、显示器开启例程120和相机应用程序130的启动；这进而触发显示器部件125、照明部件135和数字相机部件140的唤醒。虽然这种唤醒到相机模式比等待用户手动访问相机应用程序130要快，但唤醒到相机模式仍然包括流程图170的其他部分(例如，唤醒应用程序处理器190、唤醒显示器部件125、启动相机应用程序130、唤醒数字相机部件140等)。这样，即使在相机唤醒模式下，用户的与PPED的初始唤醒交互和数字相机部件140准备好捕获照片或视频之间仍然存在明显的延迟。

本文描述的实施例包括用于集成在PPED中的新颖的即时模式相机(IMC)。IMC的实施例可以包括可以由一个或多个用户界面部件直接触发的集成数字相机，而不包括唤醒应用程序处理器、唤醒显示器部件、唤醒数字相机部件和/或启动与相机相关的应用程序。例如，如果用户的智能手机被锁定，并且用户希望捕获照片，则用户可以以特定的方式与特定的UI部件进行交互，从而基本上没有延迟地直接触发IMC对图像数据的捕获。IMC的实施可以包括一个低功率、始终开启的数字相机，该数字相机可以由一个或多个始终开启的用户界面部件直接控制。IMC部件可以经由快速的硬件接口与应用程序处理器的始终开启的区域通信

图2A示出了根据各种实施例的部分新颖的PPED架构200的框图，PPED架构200具有集成的即时模式相机210。如所示的，新颖的PPED架构200可以包含多个硬件部件，比如硬件用户界面(UI)部件105(包括一个或多个始终开启的UI部件105a)、显示器部件125和照明部件135。新颖的PPED架构200还包括一个即时模式相机(IMC)***210。IMC***210可以包括一个集成的IMC微控制器单元(IMC MCU)215，其可以由一个或多个始终开启的UI部件105a直接控制。IMC***210的实施例可以包括集成的IMC微控制器单元(IMC MCU)215，它可以由UI部件105的一个或多个始终开启的部件直接控制。配置为直接控制IMC MCU215的特定的始终开启的部件被示出为一个或多个IMC触发器部件205。一些这种新颖的PPED架构200还包括一个或多个常规的数字相机部件140(例如，作为PPED的独立的数字相机操作，而不可作为即使模式相机操作)。

IMC***210的实施例可以实施为低功率数字相机，使得数字相机部件可以是始终开启的部件。IMC***210包括一个或多个数字相机组件。数字相机组件(或多个组件)的实施例可以包括任何合适的部件。例如，光电检测器大体上位于成像透镜的焦平面处，使得成像透镜在光电检测器的表面处形成物体的图像。光电检测器可以使用例如光电二极管阵列、电荷耦合器件(CCD)，互补金属氧化物半导体(CMOS)传感器和/或任何其他合适的部件将图像的光信号转换成电信号。

IMC***210的一些实施例用有小的开口窗来封装，该开口窗可以被集成到PPED300的显示屏的框架中，或者集成在任何其他合适的位置。IMC***210相机可以代替PPED300的一个或多个其他的数字相机，或作为附加。在一些实施例中，IMC***210包括多个相机组件。IMC***210的一些实施例包括或被配置为直接控制照明部件135中的一个或多个。在一种实施方式中，IMC***210包括定位在数字相机的光圈附近的一个或多个照明光源。照明光源可以提供一个或多个波长下的照明，例如在光波长下(例如，在黑暗环境中提供照明)、在红外波长(例如，在约940nm波长或其他人眼安全波长下)等。

PPED架构200还可以包括应用程序处理器190。应用程序处理器190可以被实施为任何合适的一个或多个处理器。如所示的，应用程序处理器190的实施例可以包括始终开启的区域240。当PPED被锁定时，AO区域240保持开启(例如，消耗相对低的电量)以维持某些后台功能的操作。例如，当PPED被锁定时，应用程序处理器190的AO区域240可以继续监视与包括IMC触发器部件205在内的始终开启的UI部件105的用户交互，以检测唤醒交互、与IMC相关的交互等。在一些实施例中，应用程序处理器190的AO区域240是在可信执行环境(TEE)240中实施的。

应用程序处理器190的实施例可以经由一个或多个硬件接口180与硬件部件(包括IMC***210)通信。如以上参考常规的PPED所描述的，一些硬件部件经由MIPI接口与应用程序处理器190通信。例如，常规的数字相机部件140可以经由MIPI CSI等与应用程序处理器190通信，显示器部件125可以经由MIPI DSI与应用程序处理器190通信，等等。MIPI接口以及其他类似的接口方便应用程序处理器190用作硬件部件的所谓“主处理器”。例如，常规的集成数字相机没有其自己的微控制器；相反，数字相机的操作依赖于作为其主处理器的应用程序处理器190，并且依赖于经由诸如MIPI接口之类的适当接口与应用程序处理器190的通信。尽管这些实施方式提供了许多理想的特征，但是MIPI类型的接口相对于其他类型的接口(例如处理器到处理器、总线类型的接口)可能较慢。在一些实施例中，IMC***210经由诸如串行***接口(SPI)235之类的这种更快的总线型接口与应用程序处理器190通信。SPI235可以操作为联接在应用程序处理器190和IMC***210之间的通信接口总线，以能够例如在应用程序处理器190的AO区域240和IMC***210的IMC MCU215之间进行快速同步串行通信。

如本文中进一步描述的，与IMC触发器部件205的用户交互可以直接控制IMC MCU215以使IMC***210捕获图像数据。所捕获的图像数据可以由IMC***210进行预处理，并经由SPI 235发送到应用程序处理器190的AO区域240。因此，照片和/或视频可以由PPED的IMC***210捕获而无需等待(例如，在一些情况下甚至无需触发)应用程序处理器190的唤醒、显示器部件125的唤醒、常规的数字相机部件140的唤醒、应用程序的启动等。

图2B示出了根据各种实施例的用于将图2A的新颖PPED 200从睡眠模式转变到能够使用IMC***210捕获图像数据的示例性例程的流程图220。为了更加清楚起见，流程图220分为用户界面层161、应用层162和硬件层163。用户界面层161包括流程图220的涉及与硬件UI部件105用户交互的部分。应用层162包括流程图220的由应用程序处理器190执行(例如，可由应用程序软件执行)的部分。硬件层163包括流程图220的由除UI部件105和应用程序处理器190以外的硬件部件执行的部分。

假设流程图220在PPED 200被锁定时开始，以使得非始终开启的硬件部件的任何部件掉电、断电或以其他方式处于睡眠模式。如本文所述，根据新颖的PPED架构，IMC***210和一个或多个IMC触发器部件205被实施为始终开启的部件。这样，流程图220可以以由IMC触发器部件205中的一个所捕获的交互开始，并且该交互可以直接生成捕获信号129以触发IMC***210的图像和/或视频捕获。在一些实施例中，捕获的图像数据可以被预处理以传送到应用程序处理器190。例如，信号可以被预处理以经由SPI 235传送到应用程序处理器190的AO区域240。在AO区域240中运行的应用程序可以根据需要处理接收到的数据并且可以与存储器150进行界面连接。

例如，假设一个人正携带着锁定的智能手机，并且看到其希望在相机上快速捕获的东西。对于典型的常规智能手机，该人将(a)与智能手机连接以解锁智能手机，(b)等待显示器唤醒并激活，(c)与智能手机再次连接以定位并选择相机应用程序图标，(d)等待相机应用程序启动并唤醒相机部件，以及(e)再次与智能手机连接，以将相机指向所需方向并经由相机应用程序来触发图像捕获。利用本文所述的新颖的PPED架构，个人可以简单地将IMC***210相机指向期望的方向，并与IMC触发器部件205连接以触发图像捕获。

如所示的，一些实施例允许通过与IMC触发器部件205的交互来触发附加功能。在一些这样的实施例中，在IMC***210正在捕获图像数据的同时，一些实施方式可以并行开始唤醒应用程序处理器190、显示器部件125、照明部件135等的睡眠部分。例如，当一个人首先通过与IMC触发器部件205交互来使用IMC***210捕获图像(或开始捕获视频)时，该人可能是在“盲”操作；该人可能是在没有视觉反馈(例如来自取景器)的情况下捕获图像或视频。然而，与此同时，应用程序处理器190和显示器部件125正在唤醒，使得此后不久视觉反馈开始可用。在这种实施方式中，例如，可以在没有视觉反馈帮助的情况下捕获第一图片(或快速连续的前几张图片，或者视频的第一、第二秒)。此后，该人可以在视觉反馈帮助下继续捕获图像或视频(例如，从而允许该人动态校正指向、照明、缩放等)。

在一些实施例中，IMC MCU 215响应于IMC触发器部件205而动态地控制IMC***210对图像数据的捕获。例如，IMC MCU 215可以控制光学部件的操作以进行聚焦、照明、跟踪、图像稳定和/或其他图像捕获设置。例如，IMC MCU 215可以检测照明、运动物体和/或视野中的感兴趣物体等，并且可以相应地动态调整图像捕获设置。附加地或可替代地，一些实施例根据默认设置和/或用户可配置的图像捕获设置来进行操作。例如，用户可以配置IMC设置，例如照明默认值、缩放默认值、光圈默认值、分辨率默认值和/或任何其他合适的设置。在一些实施例中，图像捕获设置被存储在IMC MCU 215的存储器(未明确示出)中。

图3A和3B分别示出了根据各种实施例的示例性便携式个人电子设备(PPED)300的正视图和侧视图。PPED 300可以实施为具有一个或多个集成数字相机310的智能手机(例如，笔记本电脑、平板电脑、可穿戴设备等)。例如，如所示的，PPED 300可以包括前置(如自拍)相机310a、后置相机310b(如图3B所示)、弹出式相机310c和/或任何其他合适的集成相机310。集成相机310中的至少一个实施为即时模式相机，如参考图2A所描述的IMC***210。

PPED 300的实施例还可以包括用户界面部件(例如，图2A中的UI部件105)。一些实施例包括一个或多个显示器320。虽然没有明确示出，但显示器320的一些实施例可以具有与其集成的电容性触摸屏元件、另一数字相机310、指纹传感器和/或其他部件。用户界面部件还可以包括一个或多个物理按钮330。例如，物理按钮330可以包括电源按钮、音量按钮等。在一些实施方式中，按钮中的一个或多个专用于特定功能，且按钮中的一个或多个可动态指定(例如，由应用程序处理器190和/或其他部件)各种功能。例如，在操作常规的(非IMC)数字相机环境下时，在相机应用程序在前台运行的同时，特定的按钮可以触发图像捕获，而在其他应用程序在前台运行的同时，相同的按钮可以具有其他功能。虽然没有示出，但PPED 300可以包括额外的用户界面部件，如光学传感器、力传感器、生物测量传感器、加速度计等。

如上所述，用户界面部件中的某些可以配置为始终开启的部件，以使得它们即使在PPED 300被锁定的时候也可以响应用户交互。一些或所有的此类始终开启的用户界面部件可以配置为图2A的IMC触发器部件205，以使得与这些部件的交互可以直接触发集成到PPED 300中的IMC相机的图像捕获。在一些实施例中，物理按钮330中的一个或多个被配置为IMC触发器部件205。在一些这样的实施例中，物理按钮330可以(例如，直接经由硬件连接)与IMC***210的IMC MCU 215联接。在一种实施方式中，单个物理按钮(例如，按钮330d、按钮330e等)自动触发使用IMC***210(例如，使用相机310b)对照片的捕获。在另一种实施方式中，一个物理按钮(例如，按钮330d)自动触发使用IMC***210照片的捕获，而另一个物理按钮(例如，按钮330e)自动触发使用IMC***210对视频的捕获。在另一种实施方式中，同时按下多个物理按钮(例如，一起按下按钮330d和按钮330e)自动触发使用IMC***210对照片的捕获。在另一种实施方式中，按下一个或多个物理按钮持续至少预定量的时间(例如，按下按钮330d持续半秒)自动触发使用IMC***210对照片的捕获。

图4A至图4C示出了根据各种实施例的具有各种类型的IMC触发器部件的PPED 300的示例性实施方式。首先转向图4A，PPED 300c被示出具有被配置为IMC触发器部件的一个或多个集成的力传感器410。在一些这样的实施例中，力传感器410可以与IMC***210的IMCMCU 215联接(例如，直接经由硬件连接)。例如，一个或多个力传感器410中的每一个可以检测用户何时在力传感器410的位置中压迫PPED 300c或者以其他方式在PPED 300c上施加一定量的力，并且可以响应于其而触发使用IMC***210对照片或视频的捕获。在各种实施方式中，可以通过将力施加到力传感器410中的特定一个、同时将力施加到多个力传感器410、将力施加到一个或多个力传感器410持续至少预定量的时间、根据预定模式将力施加到一个或多个力传感器410等来触发IMC***210。

转向图4B，PPED 300d被示出为具有集成到显示器(例如，作为电容性触摸屏的一部分)中的触摸传感器，并且触摸传感器可用作IMC触发器部件。在一些这样的实施例中，一些或所有的力传感器可以与IMC***210的IMC MCU 215联接(例如，直接经由硬件连接)。例如，与一个或多个触摸位置或图案420的用户交互可以响应于其而触发使用IMC***210对照片或视频的捕获。在各种实施方式中，可以通过同时触摸一个或多个特定位置、以特定顺序或模式触摸一个或多个特定位置、在触摸传感器上绘出特定图案等来触发IMC***210，等等。

转向图4C中，PPED 300e被示出为具有经由显示器(例如，作为电容性触摸屏的一部分)实施并且可用作IMC触发器部件的二次激活的触摸传感器位置。响应于与一个或多个IMC触发器部件(例如，按钮、力传感器、触摸传感器等)的用户交互，一组触摸区域430被激活。例如，第一触摸区域430a变得活跃地与视频捕获相关联，使得随后与第一触摸区域430a的用户交互可以触发使用IMC***210对视频的捕获；并且第二触摸区域430b变得活跃地与照片捕获相关联，使得随后与第二触摸区域430b的用户交互可以触发使用IMC***210对照片的捕获。在一些实施方式中，触摸区域430的激活可以包括将预定图像输出到显示触摸区域430的指示的显示器。在其他实施方式中，没有提供视觉或其他指示。例如，区域以足够的距离分开(例如，第一触摸区域430a是显示器的整个顶部三分之一，而第二触摸区域430b是显示器的整个底部三分之一)，从而用户可以在没有视觉提示的情况下可靠地与期望的触摸区域430交互。

另外地或可替代地，PPED 300的实施例可以包括其他类型的IMC触发器部件205。在一个这样的实施例中，由首先捕获预定图像或图像的IMC***210来触发IMC***210的照片和/或视频捕获。例如，由于IMC***210是始终开启的部件，因此它可以被自动配置为响应预定手势、面部表情等的检测。在另一个这样的实施例中，IMC***210的照片和/或视频捕获由麦克风接收的音频输入来触发。例如，预定的音频命令、特定语音签章的识别或其他音频数据可以触发图像或视频捕获。在另一个这样的实施例中，通过以预定方式(例如，被陀螺传感器、加速计等检测到)移动PPED 300来触发IMC***210的照片和/或视频捕获。例如，摇动、旋转、挥动或以其他方式移动PPED 300可以触发图像或视频捕获。

在一些实施例中，PPED 300可以指示IMC***210操作的一个或多个方面。在一些这样的实施例中，使用IMC***210捕获图像或视频可以触发音频响应，诸如相机快门的声音、叮叮声或任何其他合适的音频反馈。在其他这样的实施例中，使用IMC***210捕获图像或视频可以触发视觉响应，比如将预定图像输出到显示器。例如，在照片或视频捕获期间，或者响应于成功的照片或视频捕获，显示器可以显示图形(例如，相机的图像)、文本(例如“IMC照片！”)和/或任何其他的视觉指示。在一些实施方式中，某些显示部件125可以被触发以唤醒始终开启的操作，例如允许显示预生成的图像(例如，锁定屏幕、与IMC相关的图形等)。在其他实施方式中，显示部件125可以被触发以与IMC***210的图像或视频捕获并行地唤醒，使得在图像或视频被捕获时(或者此后不久)，显示器准备输出内容。

图5示出了根据各种实施例的用于即时模式数字图像捕获的示例性方法500的流程图。方法500的实施例可以在便携式个人电子设备(PPED，比如以上参照图2A-图4C所描述的那些)的即时模式相机(IMC)***的背景下操作。方法500的实施例可以通过由集成到PPED中的IMC***的IMC控制器检测与IMC触发器部件的交互来在阶段504处开始。IMC触发器部件与IMC控制器联接，并且是集成到PPED中的一组始终开启的用户界面部件之一。例如，IMC触发器部件是物理按钮、力传感器、触摸传感器等。在一些实施例中，在阶段504处的检测包括检测与多个IMC触发器部件的并发交互(例如，基本上同时按下两个物理按钮)。在其他实施例中，在阶段504处的检测包括检测与一个或多个IMC触发器部件的预定模式的交互(例如，轻触特定次数和/或以特定节奏轻触、沿着特定路径滑动等)。

在阶段508处，实施例可以响应于在阶段504处的交互而由IMC控制器触发IMC***的数字相机对图像数据的捕获。在一些实施例中，在阶段504处的检测是在应用程序处理器处于睡眠模式(例如，PPED被锁定)时执行的。在一些这样的实施例中，在阶段504处的检测和在阶段508处的触发可以在不将应用程序处理器从睡眠模式中唤醒的情况下(例如，在不解锁PPED的情况下)执行。在其他这样的实施例中，方法500可以进一步响应于交互而由IMC控制器与触发图像数据的捕获并行地触发(例如，同时，在时间上接近等)应用程序处理器从睡眠模式的唤醒。例如，虽然图像数据的捕获和应用程序的唤醒并行发生，但是图像数据的捕获也可以在完成应用程序处理器的唤醒之前发生。

在一些实施例中，IMC控制器与存储器通信，该存储器具有在检测之前存储在其上的图像捕获设置。在这样的实施例中，在阶段508处的触发可以使得图像数据的捕获是根据图像捕获设置的(例如，图像数据是根据预设的默认值自动捕获的)。在其他此类实施例中，在检测之前，方法500可以包括：接收指示图像捕获设置中的一个或多个的用户配置的用户交互；以及响应于并根据用户交互而由IMC控制器更新存储器中的一个或多个图像捕获设置。

在阶段512处，实施例可以由IMC控制器预处理图像数据以生成预处理的图像信号。在阶段516处，实施例可以经由接口总线将预处理的图像信号传送到集成到PPED中的应用程序处理器的始终开启的区域。例如，图像数据可以被预处理，以经由接口总线的具体实施方式(例如串行***接口)进行传送。在一些实施例中，应用程序处理器具有在其上实施的可信执行环境，并且可信执行环境具有在其中实施的永远开启的区域。

将理解的是，当元件或部件在本文中被称为“连接到”或“联接到”另一元件或部件时，它可以连接或联接到其他的元件或部件，或也可存在中间元件或部件。相反，当元件或部件被称为“直接连接到”或“直接联接到”另一元件或部件时，在它们之间不存在中间元件或部件。将理解的是，尽管术语“第一”、“第二”、“第三”等在本文中可以用于描述各种元件、部件，但是这些元件、部件、区域不应受这些术语的限制。这些术语仅用于将一个元件、部件与另一元件、部件进行区分。因此，在不脱离本发明的教导的情况下，下面讨论的第一元件、部件可以被称为第二元件、部件。如本文所用的，术语“逻辑低”、“低状态”、“低电平”、“逻辑低电平”、“低”或“0”可互换使用。术语“逻辑高”、“高状态”、“高电平”、“逻辑高电平”、“高”或“1”可互换使用。

如本文所使用的，术语“一个”、“一种”和“该”可以包括单数和复数引用。还将理解的是，术语“包括”、“包含”、“具有”及其变体当在本说明书中使用时指所陈述的特征、步骤、操作、元件和/或部件的存在，但并不排除一个或多个其他特征、步骤、操作、元件、部件和/或它们的组的存在或增加。相反，术语“由……组成”当在本说明书中使用时指所述的特征、步骤、操作、元件和/或部件，并且排除另外的特征、步骤、操作、元件和/或部件。此外，如本文中所使用的，词语“和/或”可以指代并且涵盖相关联的所列项目中的一个或多个的任何可能的组合。

尽管这里参考示例性实施例描述了本发明，但是该描述不旨在以限制性的意义来解释。而是，示例性实施例的目的是在于使本领域技术人员更好地理解本发明的精神。为了不模糊本发明的范围，省略了众所周知的过程和制造技术的许多细节。参考说明书，示例性实施例以及其他实施例的各种修改对于本领域技术人员而言将是显而易见的。因此，意图是所附权利要求涵盖任何这样的修改。

此外，本发明的优选实施例的一些特征可以在不相应使用其他特征的情况下被有利地使用。这样，前面的描述应被认为仅是本发明原理的示例，而不是对其的限制。本领域技术人员将意识到落入本发明范围内的上述实施例的变型。因此，本发明不限于以上讨论的具体实施例和示例，而是由所附权利要求及其等同物来限定。

Claims (20)

1.一种用于即时模式数字图像捕获的便携式个人电子设备PPED，所述PPED包括：

应用程序处理器，所述应用程序处理器被配置为选择性地在睡眠模式或活跃模式中操作，所述应用程序处理器具有始终开启的区域，当所述应用程序处理器处于所述睡眠模式时，所述始终开启的区域保持活跃；

多个用户界面部件，所述多个用户界面部件具有一个或多个始终开启的用户界面部件，所述一个或多个始终开启的用户界面部件中的至少一个是即时模式相机IMC触发器部件；和

即时模式相机IMC***，所述IMC***具有由IMC控制器控制的数字相机组件，所述IMC控制器与所述IMC触发器部件联接并响应于所述IMC触发器部件，所述IMC控制器配置为：

检测与所述IMC触发器部件的交互；

响应于检测所述交互而触发由所述数字相机组件对图像数据的捕获；

预处理所述图像数据以生成预处理的图像信号；并且

经由接口总线将所述预处理的图像信号通信传送到所述应用程序处理器的所述始终开启的区域。

2.根据权利要求1所述的PPED，其中：

所述IMC控制器用于在所述应用程序处理器处于所述睡眠模式时检测所述交互；并且

所述IMC控制器用于在不将所述应用程序处理器从所述睡眠模式中唤醒的情况下执行所述检测和所述触发。

3.根据权利要求1所述的PPED，其中，所述检测是在所述应用程序处理器处于睡眠模式时进行的，并且进一步包括：

响应于所述交互，由所述IMC控制器以并行于触发对所述图像数据的捕获而触发所述应用程序处理器从所述睡眠模式中的唤醒，

其中，对所述图像数据的捕获发生在完成所述应用程序处理器的唤醒之前。

4.根据权利要求1所述的PPED，其中：

所述IMC***还具有存储器，所述存储器具有存储于其中的图像捕获设置；并且

所述IMC控制器用于执行所述触发，以使得对所述图像数据的捕获依照于所述图像捕获设置。

5.根据权利要求4所述的PPED，其中，所述IMC控制器还用于：

响应于并根据与所述用户界面部件中的一个或多个的用户交互，更新所述存储器中的所述图像捕获设置中的一个或多个，其中，所述用户交互指示所述图像捕获设置中的一个或多个的用户配置。

6.根据权利要求1所述的PPED，其中，所述IMC触发器部件经由硬件联接而与所述IMC控制器直接联接。

7.根据权利要求1所述的PPED，其中，所述接口总线包括串行***接口。

8.根据权利要求1所述的PPED，其中，所述应用程序处理器具有在其上实施的可信执行环境，所述可信执行环境包括所述始终开启的区域。

9.根据权利要求1所述的PPED，其中，所述IMC触发器部件是以下中的至少一个：物理按钮、力传感器或触摸传感器。

10.根据权利要求1所述的PPED，其中，所述PPED是智能手机。

11.一种用于即时模式数字图像捕获的方法，所述方法包括：

由集成到便携式个人电子设备PPED中的即时模式相机IMC***的IMC控制器检测与IMC触发器部件的交互，其中，所述IMC触发器部件与所述IMC控制器联接并且所述IMC触发器部件是集成到所述PPED中的一组始终开启的用户界面部件中的一个；

响应于所述交互，由所述IMC控制器触发由所述IMC***的数字相机对图像数据的捕获；

由所述IMC控制器预处理所述图像数据以生成预处理的图像信号；和

经由接口总线将所述预处理的图像信号通信传送到集成到所述PPED中的应用程序处理器的始终开启的区域。

12.根据权利要求11所述的方法，其中：

所述检测是在所述应用程序处理器处于睡眠模式时进行的；并且

所述检测和所述触发是在不将所述应用程序处理器从所述睡眠模式中唤醒的情况下执行的。

13.根据权利要求11所述的方法，其中，所述检测是在所述应用程序处理器处于睡眠模式时进行的，并且还包括：

响应于所述交互，由所述IMC控制器以并行于触发对所述图像数据的捕获而触发所述应用程序处理器从所述睡眠模式的唤醒，

其中，对所述图像数据的捕获发生在完成所述应用程序处理器的唤醒之前。

14.根据权利要求11所述的方法，其中：

所述IMC控制器与存储器通信，所述存储器具有在所述检测之前存储于其中的图像捕获设置；并且

所述触发使得对所述图像数据的捕获依照于所述图像捕获设置。

15.根据权利要求14所述的方法，还包括：在所述检测之前：

接收用户交互，所述用户交互指示所述图像捕获设置中的一个或多个的用户配置；和

响应于并且根据所述用户交互，由所述IMC控制器更新所述存储器中的所述图像捕获设置中的一个或多个。

16.根据权利要求11所述的方法，其中：

检测与所述IMC触发器部件的所述交互包括检测与多个IMC触发器组部件的并发交互。

17.根据权利要求11所述的方法，其中：

检测与所述IMC触发器部件的所述交互包括检测与一个或多个IMC触发器部件的预定模式的交互。

18.根据权利要求11所述的方法，其中，所述IMC触发器部件经由硬件联接而与所述IMC控制器直接联接。

19.根据权利要求11所述的方法，其中，所述接口总线包括串行***接口。

20.根据权利要求11所述的方法，其中，所述应用程序处理器具有在其上实施的可信执行环境，所述可信执行环境包括始终开启的区域。

Images