CN112929560A - 图像处理设备及其方法 - Google Patents

图像处理设备及其方法 Download PDF

Info

Publication number
CN112929560A
CN112929560A CN202011413928.4A CN202011413928A CN112929560A CN 112929560 A CN112929560 A CN 112929560A CN 202011413928 A CN202011413928 A CN 202011413928A CN 112929560 A CN112929560 A CN 112929560A
Authority
CN
China
Prior art keywords
signal
image
mode
channel
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011413928.4A
Other languages
English (en)
Inventor
车佶炯
李东禹
李瑞勋
郑暻娥
许承镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200030381A external-priority patent/KR20210071791A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112929560A publication Critical patent/CN112929560A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种图像处理设备及其方法，所述图像处理设备包括：图像传感器，被配置为在第一模式下生成与具有第一分辨率的图像相对应的第一信号，在第二模式下生成与具有第二分辨率的图像相对应的第二信号，第二分辨率高于第一分辨率。图像传感器被配置为生成关于分辨率的帧信息，第一模式和第二模式分别基于模式信号来确定。该设备还包括：通道分配器，被配置为基于帧信息将第一信号和第二信号分配给多个通道中的不同通道；以及图像信号处理器(ISP)，包括多个通道，第一通道被配置为处理第一信号，并且第二通道被配置为处理第二信号。ISP被配置为对由多个通道处理的图像数据进行后处理。

Description

图像处理设备及其方法
相关申请的交叉引用
本申请要求分别于2019年12月6日和2020年3月11日在韩国知识产权局提交的No.10-2019-0161678和No.10-2020-0030381韩国专利申请的优先权，其公开内容通过引用整体并入本文中。
技术领域
本发明构思涉及图像处理，更具体地，涉及用于处理高分辨率图像的设备和方法。
背景技术
随着安装在设备上的相机的数量增加或每秒可以捕获的图像的数量增加，可能需要增强设备的图像处理能力。因此，可能需要高效地解决由于图像处理能力的限制而引起的各种问题，例如丢帧和快门滞后。
发明内容
本发明构思提供了一种能够确定以帧为单位改变用于预览或捕获的拍照模式并且根据分辨率分配适当的通道的设备。
根据本发明构思的一个方面，提供了一种图像处理设备，包括：图像传感器，被配置为在第一模式下生成与具有第一分辨率的图像相对应的第一信号，在第二模式下生成与具有第二分辨率的图像相对应的第二信号，并且生成关于分辨率的帧信息，第二分辨率高于第一分辨率，第一模式和第二模式分别基于模式信号来确定；通道分配器，被配置为基于帧信息将第一信号和第二信号分配给多个通道中的不同通道；以及图像信号处理器(ISP)，包括多个通道，多个通道中的第一通道被配置为处理第一信号，多个通道中的第二通道被配置为处理第二信号，并且其中ISP被配置为对由多个通道处理的图像数据进行后处理。
根据本发明构思的另一方面，提供了一种图像处理设备，包括：图像传感器，被配置为在第一模式下生成与具有第一分辨率的图像相对应的第一信号，在第二模式下生成与具有第二分辨率的图像相对应的第二信号，并且生成关于分辨率的帧信息，第二分辨率高于第一分辨率，第一模式和第二模式分别基于模式信号来确定；通道分配器，被配置为基于帧信息将第一信号和第二信号分配给多个通道中的不同通道；图像信号处理器(ISP)，包括多个通道，多个通道中的第一通道被配置为处理第一图像，多个通道中的第二通道被配置为处理第二图像，并且ISP被配置为生成第三信号作为对第一信号进行后处理的结果，以及生成第四信号作为对第二信号进行后处理的结果；存储器子***，包括第一存储器和第二存储器，其中第一存储器临时存储第三信号，第二存储器临时存储第四信号；控制器，被配置为响应于捕获命令生成模式信号并且将与第二模式相对应的模式信号施加到图像传感器；显示单元，被配置为加载并且显示第三信号和第四信号中的至少一个，以供用户预先预览具有第一分辨率的图像；以及捕获单元，被配置为基于捕获命令加载第四信号以生成具有第二分辨率的图像。
根据本发明构思的另一方面，提供了一种图像处理方法，包括：在第一模式下生成与具有第一分辨率的图像相对应的第一信号；在第二模式下生成与具有第二分辨率的图像相对应的第二信号，第二分辨率高于第一分辨率；基于预定通道标准，以虚拟通道ID形式生成帧信息；以及基于帧信息确定图像帧的分辨率，并且基于所确定的分辨率将第一信号和第二信号分配给不同通道。
附图说明
根据以下结合附图的详细描述，将更清楚地理解本发明构思的实施例，附图中：
图1是示出了根据本发明构思的实施例的设备的框图；
图2是示出了根据本发明构思的实施例的通道分配器的电路图；
图3是根据本发明构思的实施例的由图像传感器和ISP基于通道处理的信号的定时图；
图4是根据本发明构思的实施例的由图像传感器和ISP基于通道处理的信号的定时图；
图5是根据本发明构思的另一实施例的由图像传感器和ISP基于通道处理的信号的定时图；
图6是根据本发明构思的实施例的图像处理方法的流程图；
图7、图8和图9是根据本发明构思的实施例的图像处理方法的更详细的流程图；
图10、图11、图12和图13是根据本发明构思的另一实施例的图像处理方法的更详细的流程图；
图14是示出了根据本发明构思的实施例的设备的框图；以及
图15是示出了包括根据本发明构思的实施例的设备在内的***的框图。
具体实施方式
在下文中，将参考附图描述本发明构思的实施例。
图1是示出了根据本发明构思的实施例的设备10的框图。
参照图1，设备10能够使用固态图像传感器(例如，电荷耦合器件和互补金属氧化物半导体(CMOS))来捕获和/或存储对象的图像，并且可以在数码相机、数码摄录机、移动电话或平板电脑或任何其他便携式设备中实现。便携式设备可以包括膝上型计算机、移动电话、智能电话、平板PC、个人数字助理(PDA)、企业数字助理(EDA)、数字静态相机、数码摄像机、音频设备、便携式多媒体播放器(PMP)、个人导航设备(PND)、MP3播放器、手持游戏机、电子书、可穿戴设备等。另外，设备10可以被安装在诸如无人机、高级驾驶员辅助***(ADAS)等的电子设备上，或者可以被安装在作为车辆、家具、制造设施、门、各种测量设备等的部件而提供的电子设备上。
根据本发明构思的设备10可以针对每个帧捕获主体(或对象)的图像。基于根据用户的捕获命令CAPTURE而生成的模式信号MODE，设备10感测低分辨率图像或高分辨率图像。可以生成帧信息FI，以在所感测的图像帧中将低分辨率图像帧与高分辨率图像帧区分开。可以根据标准化通道标准或由产品生产者组确定的任意通道标准将所生成的帧信息FI包括在通道信息中。例如，通道信息可以被存储在所发送的信号的头部(header)中，并且可以在不使用附加的数据存储空间的情况下通过虚拟通道被发送到另一知识产权(IP)。由产品生产者组确定的任意通道标准可以是移动设备制造商在其中建立了通用接口规范的移动产业处理器接口(MIPI)联盟，但是不限于此，可以应用各种任意通道标准。另外，可以以嵌入式数据的形式将通道信息发送到另一IP，其中，帧信息FI被存储在不同于虚拟通道的嵌入式芯片中。
根据本发明构思的设备10可以从帧信息FI中读取通道信息，以确定所捕获的图像帧的分辨率。基于帧信息FI，当确定当前图像帧是低分辨率图像帧时，设备10可以将关于低分辨率图像帧的信号分配给具有用于处理低分辨率图像帧的优化的环境配置的低分辨率通道。当确定接收到的下一图像帧是高分辨率图像帧时，设备10可以将关于高分辨率图像帧的信号分配给具有用于处理高分辨率图像帧的优化的环境配置的高分辨率通道。也就是说，设备10可以设置路径，使得高分辨率图像帧和低分辨率图像帧通过不同的通道。也就是说，设备10可以根据分辨率动态地分配高分辨率图像帧和低分辨率图像帧。
根据本发明构思的设备10可以使用一个处理器对通过不同通道而输入的高分辨率图像帧和低分辨率图像帧进行后处理。也就是说，尽管设备10使用一个处理器，但是设备10对通过具有不同环境配置的通道而输入的图像帧进行处理，因此不需要使用多个处理器。
根据本发明构思的实施例的设备10可以临时存储经后处理的低分辨率图像帧，然后在预览屏幕上显示低分辨率图像帧，使得用户可以预览所捕获的主体(或对象)。因为低分辨率图像帧比高分辨率图像帧具有更少的像素并且需要更少的数据处理，所以低分辨率图像帧可以快速地显示在预览屏幕上。在临时存储经后处理的高分辨率图像帧之后，设备10可以响应于用户的捕获命令CAPTURE以高分辨率捕获对象。设备10使用具有用于快速处理高分辨率图像帧的环境配置的通道，因此，即使当分辨率从低分辨率图像帧改变为高分辨率图像帧时，设备10也可以快速地捕获对象而没有延迟或帧丢失。另外，设备10可以对经后处理的高分辨率图像帧执行缩放以生成低分辨率图像，从而在(显示器的)预览屏幕上显示处理后的图像。
参照图1，根据本发明构思的一个实施例的设备10可以包括图像传感器100和图像处理器250，图像处理器250包括通道分配器200、控制器260和图像信号处理器(ISP)300。
图像传感器100可以将通过光学透镜入射的主体(或对象)的光学信号转换成电信号，基于电信号针对每个帧生成图像数据，并且将所生成的图像数据输出到图像处理器250。图像传感器100可以被安装在具有图像或光感测功能的电子设备上。例如，图像传感器100可以被安装在诸如相机、智能电话、可穿戴设备、物联网(IoT)设备、平板个人计算机(PC)、PDA、PMP、导航***、无人机、ADAS等的电子设备上。另外，图像传感器100可以被安装在作为车辆、家具、制造设施、门、各种测量没备等中的部件而提供的电子设备上。图像传感器100可以在ISP 300或图像处理器250的控制下通过透镜感测对象或主体(即，捕获形成对象或主体的数字图像所需的光(即，光学信号))。
图像传感器100可以包括处理所接收到的针对每个帧的光学信号的多个元件。多个元件可以包括用于处理光学信号或用于改进图像感测灵敏度的附加组件，例如像素阵列、行驱动器、斜坡信号发生器、定时发生器、模数转换器和包括输出缓冲器的读出电路。多个像素中的每个像素可以包括光电感测元件，光电感测元件感测光并且将感测到的光转换成作为电信号的像素信号。例如，光电感测元件可以是光电二极管、光电晶体管、光栅、钉扎光电二极管(PPD)或其组合。多个光电感测元件中的每个光电感测元件可以具有包括光电二极管、传输晶体管、复位晶体管、放大晶体管和选择晶体管的四晶体管结构。根据实施例，多个光电感测元件中的每个光电感测元件可以具有一晶体管结构、三晶体管结构或五晶体管结构或其中多个像素共享一些晶体管的结构。
在针对每个帧处理入射主体(或对象)时，图像传感器100可以通过基于从图像处理器250接收的模式信号MODE改变分辨率来感测入射对象。根据本发明构思的实施例，图像传感器100可以将拍照模式设置为低分辨率模式作为默认模式，从而生成低分辨率像素信号。可以基于由用户生成的捕获命令CAPTURE来生成模式信号MODE。当图像传感器100基于来自用户的捕获命令CAPTURE接收模式信号MODE或响应于拍照模式改变命令(例如，改变为高分辨率模式)接收模式信号MODE时，图像传感器100可以将拍照模式从先前的低分辨率模式改变为高分辨率模式，以用高灵敏度感测对象的图像帧，从而生成高分辨率像素信号。换句话说，图像传感器100可以针对每个帧处理对象的图像，并且每个帧可以具有不同的分辨率。在此，为了便于描述，由图像传感器100感测的分辨率是低分辨率和高分辨率这两个分辨率，但是不限于此，可以感测各种级别的分辨率。如有必要，分辨率可以分低分辨率、中分辨率或高分辨率来感测，或者可以包括N个级别的分辨率(N是大于1的整数)。
根据本发明构思的图像传感器100可以根据标准化通道标准或由产品生产者组确定的任意通道标准来生成帧信息FI，以区分感测到的图像帧具有低分辨率还是高分辨率。所生成的帧信息FI可以被发送到图像处理器250。包括帧信息FI的通道信息可以被包括在发送到图像处理器250的信号的头部区域中。另外，可以将通道信息以嵌入式数据的形式发送到另一IP，其中，帧信息FI被存储在不同于虚拟通道的嵌入式芯片中。
根据一些实施例，图像传感器100可以与诸如ISP 300、缩放器(未示出)、后处理器250等的其他数字逻辑一体地形成在同一芯片上。如图1所示，图像处理器250可以包括通道分配器200、控制器260和ISP 300，并且ISP 300还可以包括第一通道310、第二通道320和第三通道330以及后处理器340。图像处理器250可以包括和/或可以是中央处理单元(CPU)、微处理器或微控制器单元(MCU)。后处理可以直接由图像处理器250执行，或者可以由图像处理器250中包括的ISP 300执行。后处理可以通过对图像伪像应用图像增强算法来执行。在此，后处理可以意指用于基于感测到的图像数据减少错误和失真的一系列后续处理操作。例如，后处理可以包括用于改变图像数据的数据格式的图像处理(例如，将拜耳模式的图像数据改变为YUV或RGB格式)、对所接收的图像帧进行的用于改善图像质量的图像处理(例如，降噪、亮度调整、清晰度调整、白平衡、去噪、去马赛克、镜头遮光、伽玛校正等)。
通道分配器200可以接收作为图像传感器100的输出缓冲器的输出信号的图像数据，并且基于图像数据设置路径，使得具有不同分辨率的不同图像帧通过不同通道。根据本发明构思的实施例，通道分配器200可以基于所接收的信号读取帧信息FI，并且确定所接收的当前图像帧的分辨率。当所确定的图像帧具有低分辨率时，通道分配器200可以将图像帧发送到具有用于处理低分辨率图像帧的优化的环境配置的通道。当所确定的图像帧具有高分辨率时，通道分配器200可以将图像帧发送到具有用于处理高分辨率图像帧的优化的环境配置的通道。
通道分配器200可以读取通道信息，并且确定从图像传感器100输出的多个帧中哪个帧具有高分辨率以及哪个帧具有低分辨率。换句话说，通道分配器200可以确定从连续处理的一系列帧中的哪个帧起是高分辨率图像帧，并且分配通道，使得高分辨率图像帧通过与低分辨率帧不同的通道。
控制器260可以生成能够将图像传感器100的拍照模式设置为高分辨率模式或低分辨率模式的模式信号MODE。控制器260可以接收来自用户的捕获命令CAPTURE。控制器260可以基于所接收的捕获命令CAPTURE生成模式信号MODE，或者可以基于即将发布捕获命令CAPTURE的信息预先生成模式信号MODE。即将发布捕获命令CAPTURE的信息可以被预先获悉或从执行了诸如半快门(例如，半按下快门致动器)之类的操作的用户处接收。在图1中，控制器260与ISP 300分开配置，并且被配置在图像处理器250内部，但是不限于此。
参照图1，ISP 300的第一通道310至第三通道330可以被配置为分别处理不同分辨率的图像帧。也就是说，通道分配器200可以从所接收的信号中确定帧信息FI，并且设置路径，使得与高分辨率图像帧和低分辨率图像帧相对应的信号通过不同的通道。换句话说，通道分配器200可以根据分辨率动态地将高分辨率图像帧和低分辨率图像帧分配给不同通道。将参考图2描述通道分配器200的具体配置。
ISP 300可以对图像进行处理/处置，使得人可以很好地看到图像，并且将处理/处置后的图像输出到存储器子***400或直接输出到显示单元500。备选地，ISP 300可以通过PC接口(I/F)从外部主机接收控制信号，并且将处理/处置后的图像提供给外部主机。
根据本发明构思的ISP 300可以通过第一通道310至第三通道330接收图像帧。可以将第一通道310至第三通道330设置为针对根据分辨率处理图像帧而优化的环境。例如，第一通道310可以具有针对处理低分辨率图像帧而优化的环境配置，第三通道330可以具有针对处理高分辨率图像帧而优化的环境配置，而第二通道320可以具有针对处理中间分辨率图像帧而优化的环境配置，中间分辨率图像帧的分辨率比低分辨率图像帧更高并且比高分辨率图像帧更低。图1中示出了三个通道，即第一通道310至第三通道330，但是不限于此，可以存在多个通道。换句话说，由于需要根据图像数据的分辨率使处理速度或功耗不同，所以响应于由图像传感器100感测到的多个分辨率级别，ISP 300可以具有具备多个预设环境配置的通道。而且，由于需要使处理算法、速度或功耗由于除图像数据的分辨率之外的其他原因而不同，所以对应于由图像传感器100感测到的多个操作模式，ISP 300可以具有具备多个预设环境配置的通道。
根据本发明构思的ISP 300可以是能够处理多个传感器输出的多图像信号处理器。多图像信号处理器可以包括用于同时处理从多个传感器输出的图像数据的多个通道，或者可以包括能够顺序地处理多个输入信号以高效地处理多个图像数据片段的流水线设计的内部处理器。
ISP 300可以包括第一通道310、第二通道320和第三通道330以及用于配置设备10的硬件的后处理器340。另外，ISP 300通过使用单个后处理器(例如，后处理器340)来处理多个通道，因此不需要使用多个处理器。因为ISP 300具有仅利用一个处理器芯片(例如，一个核)执行多个处理器(即，多个核)的功能的效果，所以可以减少硬件所占用的空间，并且另外，还可以节省安装处理器芯片的成本。在图1中，ISP 300与图像传感器100分开配置，但是不限于此。
在一个实施例中，ISP 300和通道分配器200可以位于图像传感器100内部，并且ISP 300可以将处理/处置后的图像输出到存储器子***400或直接输出到显示单元500。另外，在其中ISP 300和通道分配器200位于图像传感器内部的实施例中，图像处理器250可以备选地使用一个或多个处理器执行除由ISP 300执行的后处理之外的后处理。
根据本发明构思的实施例的设备10还可以包括存储器子***400、显示单元500和捕获单元600。存储器子***400可以包括第一存储器410和第二存储器420。
存储器子***400可以存储从ISP 300接收的经后处理的图像数据并且将所存储的数据提供给没备10的其他组件。另外，存储器子***400可以存储用于操作设备10所需的各种***或用户数据。例如，存储器子***400可以包括以非易失性方式存储各种类型的信息的非易失性存储器和加载与设备10的操作有关的信息(例如，固件)的易失性存储器。
根据本发明构思的实施例的存储器子***400可以将从ISP 300接收的图像数据中的与低分辨率图像帧相对应的图像数据或基于高分辨率图像帧生成的低分辨率图像数据临时存储在第一存储器410中。设备10可以加载临时存储在第一存储器410中的所有低分辨率图像帧，以将低分辨率图像帧输出到显示单元500，从而无缝地显示所捕获的图像。存储器子***400可以将从ISP 300接收的图像数据中的与高分辨率图像帧相对应的图像数据临时存储在第二存储器420中。设备10可以根据用户的捕获命令CAPTURE或图像处理器250的处理命令从第二存储器420加载与捕获命令CAPTURE时间相对应的高分辨率图像帧，以将高分辨率图像帧输出到捕获单元600，从而控制捕获单元600生成高分辨率图像。
因为第一存储器410存储低分辨率图像帧，所以第一存储器410的存储容量可以相对地小于存储高分辨率图像帧的第二存储器420的存储容量。然而，根据临时存储的图像帧的数量，第一存储器410可以具有相对大于第二存储器420的存储容量。备选地，尽管第一存储器410和第二存储器420可以具有相同的存储容量，但是可以动态地调整在设备10的控制下存储的数据的量。
存储器子***400可以被实现为易失性存储器或非易失性存储器。易失性存储器可以包括动态随机存取存储器DRAM、静态RAM(SRAM)等，并且非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、相变RAM(PRAM)、磁性RAM(MRAM)、电阻式RAM(RRAM)、铁电RAM(FRAM)等。
根据本发明构思的实施例的显示单元500可以连续加载临时存储在存储器子***400中的图像帧，以向用户提供预览屏幕以用于捕获对象。例如，显示单元500可以从其中存储有经后处理的低分辨率图像帧的第一存储器410加载低分辨率图像数据，并且无缝地向用户提供预览屏幕。显示单元500不限于提供预览屏幕，并且可以将由捕获单元600生成的高分辨率图像显示给用户。
显示单元500可以包括能够输出图像的任何设备。例如，显示单元500可以包括计算机、移动电话和其他图像输出终端。显示单元500可以是输出设备的示例。输出设备的其他示例包括图形/显示设备、计算机屏幕、警报***、计算机辅助设计/计算机辅助加工(CAD/CAM)***、视频游戏站、智能电话显示屏或任何其他类型的数据输出设备。
捕获单元600可以从其中存储有经后处理的高分辨率图像帧的第二存储器420加载高分辨率图像数据，以生成高分辨率图像。
根据本发明构思的用于处理高分辨率图像的设备10可以减少或消除当将拍照模式从低分辨率模式切换到高分辨率模式时发生的自动聚焦延迟、自动曝光延迟和自动白平衡延迟。然而，自动聚焦延迟、自动曝光延迟和自动白平衡延迟仅是在用于处理高分辨率图像的设备10中可能发生的延迟的一些示例，并且除了所描述的延迟之外，还可能存在各种延迟因素。另外，根据本发明构思的用于处理高分辨率图像的设备10即使在没有丢帧的情况下也可以无任何延迟地处理帧，从而提高了图像帧的处理速度。如本文所使用的，“丢帧”是指在切换拍照模式时已经处理的帧的丢失。另外，根据本发明构思的用于处理高分辨率图像的设备10可以不需要将由图像传感器输出的所有信号存储在存储器中，从而降低了功耗。
图2是示出了根据本发明构思的实施例的通道分配器200的电路图。参照图2，通道分配器200可以包括选择器210和多个多路复用器(下文中被称为MUX)220、230和240。通道分配器200可以基于从图像传感器100接收的信号确定图像帧的分辨率，并且根据分辨率动态地分配通过其处理信号的路径。根据本发明构思的实施例，通道分配器200可以选择多个图像传感器中的任何一个，并且动态地分配顺序地从所选择的一个图像传感器输入的图像帧。
除了图1所示的图像传感器之外，设备10还可以包括多个图像传感器。例如，设备10还可以包括用于捕获各种角度和图像质量的图像的多个图像传感器，例如前相机图像传感器、后相机广角图像传感器、后相机接近图像传感器等。
选择器210可以从多个图像传感器中选择捕获当前对象的图像传感器。选择器210可以接收从所有多个图像传感器感测到的图像数据。选择器210可以生成用于从多个图像传感器中选择捕获当前对象的图像传感器的选择信号SEL，并且可以将选择信号SEL同时施加到所有多个MUX 220、230和240。例如，通道分配器200可以接收由图像传感器1、图像传感器2和图像传感器3感测到的图像数据，并且此时，选择器210可以生成用于选择当前需要处理的图像传感器(例如，图像传感器1)的选择信号SEL，并且将选择信号SEL施加到多个MUX220、230和240。在图2中，选择器210被包括在通道分配器200中，但是不限于此，其可以被包括在ISP 300中或可以被包括在图1的图像处理器250中。在图2中，为了便于描述，示出了三个图像传感器，但是本发明构思不限于此，可以存在多个图像传感器。
MUX 220、230和240可以是选择若干个输入信号之一并且将所选择的输入信号传送到一条线路的逻辑电路。
多个MUX 220、230和240中的每个MUX可以基于从选择器210施加的选择信号SEL将所选择的图像传感器的图像数据输出到ISP 300。如上所述，ISP 300是多图像信号处理器，并且可以是能够高效地处理从多个图像传感器输出的图像数据的IP。多个MUX 220、230和240中的每个MUX可以将关于所选择的图像传感器(例如，图像传感器1)的图像数据同时施加到ISP 300的多个通道。因此，ISP 300中设置的多个通道可以最初被配置为处理来自多个图像传感器的图像数据，但是替代地，其可以以与处理多个图像传感器相同的方式处理一个图像传感器(即，图像传感器1)的具有不同分辨率的图像帧。也就是说，共同参照图1和图2，将低分辨率图像帧、中间分辨率图像帧和高分辨率图像帧分别施加到ISP 300的第一通道310、第二通道320和第三通道330，这与将图像传感器1、图像传感器2和图像传感器3的图像数据施加到ISP 300具有类似的效果。在图2中，为了便于描述，示出了三个MUX，但是本发明构思不限于此，可以根据设备10需要处理的分辨率级别或根据ISP 300可以同时处理的通道的数量，以各种方式增加或减少MUX的数量。
图3是根据本发明构思的实施例的由图像传感器100和ISP 300基于通道处理的信号的定时图。具体地，根据分辨率划分由图像传感器100感测的图像帧，并且示出了在其中处理低分辨率图像帧的虚拟通道1和虚拟通道2。另外，还示出了针对每种分辨率处理图像传感器100的图像帧的第一通道310和第二通道320的信号处理定时。在此，水平轴指示时间，并且边缘的上升/下降可以以帧为单位进行配置。
参照图3，图像传感器100可以感测低分辨率图像(Low)帧和高分辨率图像(High)帧。例如，图像传感器100可以将前两个帧感测为低分辨率图像(Low)帧，并且生成与低分辨率图像(Low)帧相对应的帧信息FI。在设备10中，可能已经预先确定了将低分辨率图像(Low)帧分配给具有用于处理低分辨率图像(Low)帧的环境配置的第一通道310。通道分配器200可以从所接收的信号中读取帧信息FI，以确定当前接收的图像帧具有低分辨率，并且将该图像帧分配给ISP 300的第一通道310。换句话说，当图像传感器100感测到低分辨率图像(Low)帧时，可以将低分辨率图像(Low)帧发送到ISP 300的第一通道310，ISP 300可以使用具有用于处理低分辨率图像(Low)帧的环境配置的第一通道310来高效地对低分辨率图像数据进行后处理。
图像传感器100可以将第三帧感测为高分辨率图像(High)帧。在设备10中，可能已经预先确定了将高分辨率图像(High)帧分配给具有用于处理高分辨率图像(High)帧的环境配置的第二通道320。通道分配器200可以从所接收的信号中读取帧信息FI，以确定当前接收的图像帧具有高分辨率，并且将该图像帧分配给ISP 300的第二通道320。换句话说，当图像传感器100感测到高分辨率图像(High)帧时，将高分辨率图像(High)帧发送到ISP 300的第二通道320，ISP 300可以使用具有用于处理高分辨率图像(High)帧的环境配置的第二通道320来高效地对高分辨率图像数据进行后处理。
图像传感器100随后可以将第四帧和第五帧感测为低分辨率图像(Low)帧。处理低分辨率图像帧的过程与上述相同，因此，省略对该过程的进一步详细描述。
参考图3描述的虚拟通道可以意指根据MIPI标准的虚拟通道。
图4是根据本发明构思的实施例的由图像传感器100和ISP 300基于通道处理的信号的定时图。具体地，根据分辨率划分由图像传感器100感测的图像帧，示出了针对每种分辨率处理图像传感器100的图像帧的第一通道310和第二通道320的信号处理定时，示出了连续显示低分辨率图像帧的显示单元500的信号处理定时，并且示出了响应于捕获命令CAPTURE生成高分辨率图像帧的捕获单元600的信号处理定时。共同参照图1和图4。
首先，图像传感器100可以将设备10的拍照模式设置为感测低分辨率图像的低分辨率模式P。在时间t1处，图像传感器100可以将所捕获的对象的第一图像帧感测为低分辨率图像。由于发送感测到的数据的速度是有限的，因此从时间t1开始经过预定时间之后，可以在第一通道310中对感测到的低分辨率图像进行后处理。
在时间t2处，设备10可以接收捕获命令CAPTURE。图像传感器100可能需要花费预定时间来切换拍照模式。如图4所示，图像传感器100直到时间t4才完成拍照模式的切换。
在时间t3处，因为没有完全切换拍照模式，所以图像传感器100仍可以将第二帧感测为低分辨率图像。经过在第一通道310中对低分辨率图像进行后处理所需的预定时间之后，显示单元500可以显示关于第一帧的预览屏幕。
在时间t4处，响应于时间t2处的捕获命令CAPTURE，图像传感器100的拍照模式可以从低分辨率模式P改变为高分辨率模式C，并且图像传感器100可以将第三图像帧感测为高分辨率图像。类似于将感测到的低分辨率图像帧发送到ISP 300的情况，将感测到的高分辨率图像帧发送到ISP 300的速度也是有限的。因此，从时间t4起经过预定时间之后，可以由后处理器340通过第二通道320对感测到的高分辨率图像进行后处理。
显示单元500可以以恒定的时间间隔(例如，1/60秒和60fps(帧/秒)的显示速度)连续提供关于图像帧的预览屏幕。例如，显示单元500可以正在通过显示通过第一通道310输入并且在时间t4处由后处理器340处理的第一帧Frame 1而提供预览屏幕。在从显示第一帧Frame 1起经过一定时间段之后，显示单元500可以在第一帧Frame 1之后提供关于第二帧Frame 2的预览屏幕。
此外，给定说明性的恒定时间间隔1/60秒以及用于感测高分辨率的Frame 3、将高分辨率图像Frame 3发送到后处理器340和对高分辨率的Frame 3进行后处理所需的时间，当需要显示第三帧Frame 3但尚未完成对其的感测或ISP 300尚未完成对其的后处理时，显示单元500可以再次显示已经显示过的第二帧Frame 2。显示单元500可以响应于ISP 300对第三帧Frame 3的处理的完成而显示第三帧Frame 3。在时间t5处，可以在完成对第三图像帧的感测之后将拍照模式再次改变为低分辨率模式P。也就是说，图像传感器100可以响应于捕获命令CAPTURE仅将一帧(第三帧)感测为高分辨率图像。在图像传感器100改变拍照模式的变化时间(如果是最困难的情况，从t4到t5，或者(t5-t4))之后，图像传感器100可以再次将第四帧Frame 4感测为低分辨率图像，并且ISP 300可以处理输入到第一通道310的第四帧Frame 4。
在时间t6处，捕获单元600可以加载由ISP 300后处理并且存储在第二存储器420中的图像数据，从而生成关于第三帧Frame 3的高分辨率图像。
在时间t7处，图像传感器100可以感测关于第五帧的低分辨率图像，并且ISP 300可以在经过预定时间之后在时间t7处对由第一通道310接收到的图像数据进行后处理。在一个实施例中，显示单元500可以显示第四帧Frame 4，而不管图像传感器100或ISP 300是否正在处理第五帧Frame 5。换句话说，显示单元500可以从时间t3开始连续提供从第一帧Frame1到第四帧Frame4的预览屏幕，并且可以在多个帧中的下一帧(例如，第三帧Frame3)尚未被处理的情况下两次显示第二帧Frame2。根据一个实施例，显示单元500可以显示预览屏幕，但是不限于此，其可以在预定时间内显示由捕获单元600生成的高分辨率图像，而不是预览。
显示单元500的帧速率(或扫描速率)可以与图像传感器100的图像帧感测速率相同或较之更快。在一个实施例中，图像传感器100的图像帧感测速率可以是每秒24帧(fps)，显示单元500的帧速率(或扫描速率)可以是60fps，但是不限于此。
在根据本发明构思的设备10中，由图像传感器100感测为高分辨率图像的图像帧的数量仅限于响应于用户的捕获命令CAPTURE所需的数量。其他的图像帧由图像传感器100感测为低分辨率图像。也就是说，设备10可以将拍照模式设置为低分辨率模式P，然后仅在存在捕获命令CAPTURE时将低分辨率模式P切换为高分辨率模式C，并且紧接在感测到高分辨率图像之后，将高分辨率模式C改变回低分辨率模式P，从而减少将对象感测为高分辨率图像所需的功耗。
图5是根据本发明构思的另一实施例的由图像传感器100和ISP 300基于通道处理的信号的定时图。图5中所示的水平轴和垂直轴以及信号与图4中的水平轴和垂直轴以及信号类似。与图4类似地，显示单元500的帧速率(或扫描速率)可以与图像传感器100的图像帧感测速率相同或较之更快。
还参考图1来描述图5。
首先，如果没有从设备10接收到命令，则图像传感器100可以将拍照模式设置为用于感测低分辨率图像的低分辨率模式P。在时间t1处，图像传感器100可以将所捕获的对象的第一图像帧感测为低分辨率图像。在从时间t1起经过预定时间之后，可以通过第一通道310发送所感测的低分辨率图像并且对其进行后处理。
在时间t2处，图像处理器250发布高分辨率切换命令(P→C CMD)，并且所发布的高分辨率切换命令(P→C CMD)被输入到图像传感器100。可能需要花费预定时间来改变图像传感器100的拍照模式。如图5所示，图像传感器100直到时间t4才完成拍照模式的切换。
在时间t3处，图像传感器100尚未完全改变拍照模式，因此，图像传感器100感测到第二帧的低分辨率图像。在从时间t3起经过预定时间之后，显示单元500可以加载由ISP300处理并且存储在第一存储器410中的图像数据，并且向用户提供关于第一帧Frame 1的预览屏幕。
在时间t4处，响应于所发布的高分辨率切换命令(P→C CMD)，图像传感器100的拍照模式可以被改变为高分辨率模式C。图像传感器100可以将第三帧感测为高分辨率图像，并且可以由后处理器340对通过第二通道320接收的图像数据进行后处理。在对第三帧Frame 3的图像数据进行后处理的同时，显示单元500可以无缝地提供关于第二帧Frame 2的预览屏幕。因为显示单元500以恒定的时间间隔(例如，1/60秒)显示图像，所以当需要显示第三帧Frame 3但尚未完成对其的感测或ISP300尚未完成对其进行的后处理时，显示单元500可以再次显示已经显示过的第二帧Frame 2。
在时间t5处，可以接收用户的捕获命令CAPTURE。因为图像传感器100已经响应于图像处理器250的高分辨率切换命令(P→C CMD)将拍照模式改变为高分辨率模式C，所以不需要单独的拍照模式改变时间。
在时间t6处，捕获单元600可以立即生成第三帧Frame 3的高分辨率图像。因为接收到捕获命令CAPTURE的时间t5是在对第三帧Frame 3的感测期间，或者是通过显示单元500向用户提供关于第三帧Frame 3的预览屏幕的时间，所以可以捕获第三帧Frame 3的图像数据。
在时间t7处，图像处理器250发布低分辨率切换命令(C→P CMD)，并且所发布的低分辨率切换命令(C→P CMD)被输入到图像传感器100。与高分辨率切换的情况一样，需要花费预定时间来改变图像传感器100的拍照模式。根据一个实施例，当需要显示第四帧Frame4但尚未完成对其的感测或ISP 300尚未完成对其进行的后处理时，显示单元500可以再次显示已经显示过的第三帧Frame 3。
在时间t8处，图像传感器100可以感测第五帧Frame5的高分辨率图像。捕获单元600可以生成已经由ISP 300后处理的第四帧Frame 4的高分辨率图像。
在时间t9处，图像传感器100的拍照模式可以被改变回低分辨率模式P。图像传感器100可以将第六帧Frame 6感测为低分辨率图像。由于第五帧Frame 5的后处理尚未完成，因此显示单元500可以显示第四帧Frame 4。
从时间t3开始连续地，显示单元500可以从存储器子***400加载由ISP 300通过第一通道310或第二通道320后处理的图像帧，以无缝地向用户提供预览屏幕。根据一个实施例，显示单元500可以将通过ISP 300的第一通道310和第二通道320中的至少一个后处理的图像帧提供给用户。根据一个实施例，显示单元500可以显示预览屏幕，但是不限于此，其可以在预定时间内显示由捕获单元600生成的高分辨率图像，而不是预览。
根据本发明构思的设备10可以在捕获命令CAPTURE之前通过图像处理器250预先改变拍照模式。例如，图像处理器250可以预先改变拍照模式，并且如果存在用户的捕获命令CAPTURE，则可以立即引用该拍照模式来拍摄图片以作为捕获准备模式。在捕获准备模式中，可以固定自动聚焦，以便快速地以高分辨率处理对象。因此，在捕获时，设备10可以减少或消除快门操作的时间与完成对高分辨率图像的处理的时间之间的延迟时间(即，快门滞后时间)。关于图5描述的虚拟通道可以意指根据MIPI标准的虚拟通道。
图6是根据本发明构思的实施例的图像处理方法的流程图。参照图1和图6，设备10的图像传感器100可以针对每个帧接收所捕获的主体(或对象)的图像，并且生成关于低分辨率图像帧的第一信号(例如，包含低分辨率图像帧的二进制信号)和关于高分辨率图像帧的第二信号(例如，包含高分辨率图像帧的二进制信号)(S110)。
图像传感器100可以基于预先确定的通道标准(例如，MIPI标准)以虚拟通道ID的形式或以嵌入式数据的形式生成与图像的分辨率有关的帧信息FI(S120)。可以根据图像的分辨率来生成帧信息FI，但是不限于此。携带所生成的帧信息FI的信号被输出到通道分配器200。帧信息FI可以作为信号的头部信息而被携带。
通道分配器200可以读取所接收的信号的帧信息FI，确定所接收的图像帧的分辨率，并且基于所确定的分辨率设置路径，使得第一信号和第二信号通过不同的路径(S130)。
通道分配器200可以将与低分辨率图像帧相对应的第一信号输出到具有用于高效地处理低分辨率图像的环境配置的第一通道310，并且将与高分辨率图像帧相对应的第二信号输出到具有用于高效地处理高分辨率图像的环境配置的第二通道320。ISP 300可以对所接收的第一信号进行后处理以生成与低分辨率图像相对应的第三信号，并且对所接收的第二信号进行后处理以生成与高分辨率图像相对应的第四信号(S140)。
存储器子***400可以临时存储第三信号，并且显示单元500可以显示所捕获的对象以供用户预览所捕获的对象(S150)。另外，存储器子***400可以临时存储第四信号，并且捕获单元600可以根据用户的捕获命令生成高分辨率图像，和/或生成与第四信号相对应的低分辨率图像以显示所捕获的对象以供用户预览所捕获的对象(S160)。也就是说，可以对高分辨率图像帧进行后处理，同时可以使用缩放器生成相应帧的低分辨率图像并且将其显示在预览屏幕上，但是本发明构思不限于此。在此，存储第三信号或第四信号的含义可以被理解为意指存储第三信号或第四信号被后处理的二进制数据。
图7、图8和图9是根据本发明构思的实施例的图像处理方法的更详细的流程图。
图7是根据本发明构思的实施例的图6的操作S110的更详细的流程图。共同参照图1、图4、图6和图7，在第一时间(图4中的t2)处，图像处理器250可以基于用户的捕获命令(图4中的“CAPTURE”)发布用于将拍照模式从低分辨率模式改变为高分辨率模式的命令(S111_1)。图像传感器100可以感测低分辨率图像，以在低分辨率模式尚未被改变为高分辨率模式的第二时间(图4中的t3)处生成第一信号(例如，低分辨率图像帧二进制信号)(S112_1)。此后，图像传感器100可以在第三时间(图4中的t4)处将拍照模式改变为高分辨率模式，并且生成与高分辨率图像相对应的第二信号(例如，高分辨率图像帧二进制信号)(S113_1)。
图8是示出了根据本发明构思的实施例的图6的操作S130的更详细的流程图。共同参照图1、图4、图6和图8，在操作S120之后，在第二时间(图4中的t3)处，通道分配器200可以设置(即，分配)路径，使得所生成的第一信号(例如，低分辨率图像帧二进制信号)被输出到ISP 300的第一通道310(S131_1)。然后，在第三时间(图4中的t4)处，通道分配器200可以设置(即，分配)路径，使得所生成的第二信号(例如，高分辨率图像帧二进制信号)被输出到ISP 300的第二通道320(S132_1)。
图9是示出了根据本发明构思的实施例的进一步添加到图6的操作的操作的流程图。共同参照图1、图4、图6和图9，在操作S160之后，图像传感器100可以在紧接感测到高分辨率图像之后的第四时间(图4的t5)处再次将拍照模式改变为低分辨率模式(图4的P)(S170_1)。
图7至图9类似于根据本发明构思的实施例的图4，因此省略了冗余的描述。
图10、图11、图12和图13是根据本发明构思的另一实施例的图像处理方法的更详细的流程图。图10是更详细地示出了根据本发明构思的另一实施例的图6的操作S110的流程图。共同参照图1、图5、图6和图10，图像处理器250可以在第一时间(图5中的t2)处发布将拍照模式从低分辨率模式改变为高分辨率模式的高分辨率切换命令(P→C CMD)，并且图像传感器100可以接收高分辨率切换命令(P→C CMD)(S111_2)。图像传感器100可以在切换到高分辨率模式(图5中的C)之前的第二时间(图5中的t3)处感测低分辨率图像，以生成第一信号(S112_2)。此后，图像传感器100在第三时间(图5中的t4)处被改变为高分辨率模式，并且因此感测高分辨率图像以生成第二信号(S113_2)。
图11是根据本发明构思的另一实施例的图6的操作S130的更详细的流程图。共同参照图1、图5、图6和图11，在操作S120之后，在第二时间(图5中的t3)处，通道分配器200可以设置(即，分配)路径，使得所生成的第一信号(例如，低分辨率图像帧二进制信号)被输出到ISP 300的第一通道310(S131_2)。另外，在第三时间(图5中的t4)处，通道分配器200可以设置(即，分配)路径，使得所生成的第二信号(例如，高分辨率图像帧二进制信号)被输出到ISP 300的第二通道320(S132_2)。
图12是根据本发明构思的另一实施例的图6的操作S160的更详细的流程图。共同参照图1、图5、图6和图12，在操作S150之后，图像传感器100可以在第四时间(图5中的t5)处接收捕获命令(图5中的“CAPTURE”)(S161_2)。捕获单元600可以通过从第二存储器420加载通过对与高分辨率图像相对应的第二信号进行后处理而获得的第四信号来生成高分辨率图像(S162_2)。然而，本发明构思不限于此，捕获单元600可以同时生成与第四信号相对应的低分辨率图像和高分辨率图像，并且将低分辨率图像和高分辨率图像加载到第一存储器410中以在显示单元500上显示低分辨率图像和高分辨率图像。图像传感器100可以连续地感测高分辨率图像，直到将拍照模式改变为低分辨率模式为止，并且捕获单元600可以生成高分辨率图像(S163_2)。
图13是示出了根据本发明构思的另一实施例的添加到图6的操作的操作的流程图。共同参照图1、图5、图6和图13，在操作S160之后，在第五时间(图5中的t7)处，图像处理器250可以发布再次将拍照模式从高分辨率模式(图5中的C)改变为低分辨率模式(图5中的P)的命令(S171_2)。在经过预定时间之后，图像传感器100可以在第六时间(图5中的t9)处将拍照模式切换回低分辨率模式P(S172_2)。
图10至图13类似于根据本发明构思的实施例的图4，因此省略了冗余的描述。
图14是示出了根据本发明构思的实施例的设备10’的框图。还参照图1。
参照图14，根据本发明构思的实施例的设备10’可以包括图像传感器100’、通道分配器200’、控制器260’、包括ISP 300’的图像处理器250’、存储器子***400’、显示单元500’、捕获单元600’和视频处理单元700’。图像处理器250’可以包括通道分配器200’、控制器260’和ISP 300’，并且ISP 300’可以包括第一通道310’、第二通道320’、第三通道330’和后处理器340’。图14的每个功能单元类似于已经关于图1描述的每个功能单元，因此省略了冗余的描述。
除了第一存储器410’和第二存储器420’之外，存储器子***400’可以包括用于其他目的(例如，视频记录)的第三存储器430’，其存储从ISP 300’接收的图像数据中的与低分辨率图像帧相对应的图像数据和与高分辨率图像帧相对应的图像数据两者。
视频处理单元700’可以与捕获单元600’分开地被包括在设备10’中，以高效地处理由设备10’捕获的图像中的视频，并且在这种情况下，捕获单元600’可以处理静止图片。视频处理单元700’可以加载与低分辨率图像相对应的第三信号或与高分辨率图像相对应的第四信号以生成压缩视频流。
因为静止图片和视频具有不同的图像特征、要计算的吞吐量和压缩方法，所以可以通过不同的IP高效地处理静止图片和视频以适合每个特性。
根据本发明构思的实施例，捕获单元600’可以包括用于处理静止图片的编解码器和硬件加速器，视频处理单元700’可以包括用于处理视频的编解码器和硬件加速器。
由捕获单元600’处理的静止图片可以被存储在第一存储器410’和/或第二存储器420’中，由视频处理单元700’处理的视频可以被存储在第一存储器410’和/或第二存储器420’中，或者可以被存储在单独的存储器(即，第三存储器430’)中。由于视频的分辨率和视频的大小不同于静止图片的分辨率和静止图片的大小，因此可以在单独的存储器中高效地存储并且处理静止图片和视频。然而，本发明构思不限于此，可以使用第一存储器410’和第二存储器420’来存储视频。
图15是示出了包括根据本发明构思的实施例的设备在内的***1的框图。参照图15，根据本发明构思的实施例的***1可以包括图像传感器1000、通道分配器1500、ISP2000、显示设备3000、应用处理器(AP)4000、工作存储器5000、储存设备6000、用户接口7000和无线收发器8000，并且ISP 2000可以被实现为与AP 4000分开的集成电路。图15的图像传感器1000可以类似于图1的图像传感器100，图15的通道分配器1500可以类似于图1的通道分配器200。图15的ISP 2000可以类似于图1的ISP 300，图15的工作存储器5000可以类似于图1的存储器子***400，图15的显示设备3000可以类似于图1的显示单元500。另外，图15的AP 4000可以包括图1的图像处理器250。
图像传感器1000可以基于所接收的光信号生成图像数据并且将二进制数据提供给ISP 2000，并且如果需要，可以类似于ISP 2000那样执行图像处理。AP 4000可以控制***1的整体操作，并且可以被提供为驱动应用程序、操作***等的片上***(SoC)。AP 4000可以控制ISP 2000的操作，并且可以将由ISP 2000生成的转换后的图像数据提供给显示设备3000或将图像数据存储在储存设备6000中。
工作存储器5000可以存储AP 4000处理或执行的程序和/或数据。储存设备6000可以被实现为诸如NAND闪存或电阻式存储器之类的非易失性存储器设备，例如，储存设备6000可以被提供为存储卡(例如，MMC存储卡、eMMC存储卡、SD存储卡或微型SD存储卡)。储存设备6000可以存储关于控制ISP 2000的图像处理操作的执行算法的数据和/或程序，并且当执行图像处理操作时，可以将该数据和/或程序加载到工作存储器5000中。
用户接口7000可以被实现为能够接收用户输入的各种设备，例如键盘、帘幕按键面板、触摸面板、指纹传感器、麦克风等。用户接口7000可以接收用户输入并且向AP 4000提供与所接收的用户输入相对应的信号。无线收发器8000可以包括调制解调器8100、收发器8200和天线8300。为了便于说明，ISP 2000被包括在AP 4000中，但是不限于此，ISP 2000可以被安装为与AP 4000分开的IP。
尽管已经参考本发明的实施例具体示出和描述了本发明构思，但是将理解，在不脱离所附权利要求的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (20)

1.一种图像处理设备，包括：
第一图像传感器，被配置为在第一模式下生成与具有第一分辨率的图像相对应的第一信号，在第二模式下生成与具有第二分辨率的图像相对应的第二信号，以及生成关于分辨率的帧信息，所述第二分辨率高于所述第一分辨率，所述第一模式和所述第二模式分别基于模式信号来确定；
通道分配器，被配置为基于所述帧信息将所述第一信号和所述第二信号分配给多个通道中的不同通道；以及
图像信号处理器ISP，包括所述多个通道，所述多个通道中的第一通道被配置为处理所述第一信号，所述多个通道中的第二通道被配置为处理所述第二信号，并且其中所述ISP被配置为对由所述多个通道处理的图像数据进行后处理。
2.根据权利要求1所述的图像处理设备，其中，所述第一通道被配置为处理所述具有第一分辨率的图像，
所述第二通道被配置为处理所述具有第二分辨率的图像，以及
所述通道分配器还被配置为在所述第一模式下将所述第一信号提供给所述第一通道以及在所述第二模式下将所述第二信号提供给所述第二通道。
3.根据权利要求2所述的图像处理设备，其中，所述通道分配器包括：
第一多路复用器，连接到所述第一通道，并且被配置为接收所述第一信号和所述第二信号；以及
第二多路复用器，连接到所述第二通道，并且被配置为接收所述第一信号和所述第二信号。
4.根据权利要求3所述的图像处理设备，还包括第二图像传感器，
其中，所述通道分配器还包括被配置为生成选择信号的选择器，以及
其中，所述选择信号控制所述第一多路复用器和所述第二多路复用器共同接收从所述第一图像传感器和所述第二图像传感器中的任何一个输出的信号。
5.根据权利要求1所述的图像处理设备，其中，所述第一图像传感器被配置为以虚拟通道ID或嵌入式数据的形式生成所述帧信息。
6.根据权利要求5所述的图像处理设备，其中，所述虚拟通道ID包括基于预定通道标准的所述帧信息。
7.根据权利要求6所述的图像处理设备，其中，所述通道分配器还被配置为接收所述虚拟通道ID，并且基于所述预定通道标准从所接收的虚拟通道ID中确定分辨率。
8.一种图像处理设备，包括：
图像传感器，被配置为在第一模式下生成与具有第一分辨率的图像相对应的第一信号，在第二模式下生成与具有第二分辨率的图像相对应的第二信号，以及生成关于分辨率的帧信息，所述第二分辨率高于所述第一分辨率，所述第一模式和所述第二模式分别基于模式信号来确定；
通道分配器，被配置为基于所述帧信息将所述第一信号和所述第二信号分配给多个通道中的不同通道；
图像信号处理器ISP，包括所述多个通道，所述多个通道中的第一通道被配置为处理所述第一图像，所述多个通道中的第二通道被配置为处理所述第二图像，并且所述ISP被配置为生成第三信号作为对所述第一信号进行后处理的结果，以及生成第四信号作为对所述第二信号进行后处理的结果；
存储器子***，包括第一存储器和第二存储器，其中所述第一存储器临时存储所述第三信号，所述第二存储器临时存储所述第四信号；
控制器，被配置为响应于捕获命令生成所述模式信号并且将与所述第二模式相对应的所述模式信号施加到所述图像传感器；
显示单元，被配置为加载并且显示所述第三信号和所述第四信号中的至少一个，以供用户预览所述具有第一分辨率的图像；以及
捕获单元，被配置为基于所述捕获命令加载所述第四信号以生成所述具有第二分辨率的图像。
9.根据权利要求8所述的图像处理设备，其中，在第一时间段，所述控制器还被配置为接收所述捕获命令，并且基于所述捕获命令发布用于将所述图像传感器的拍照模式从所述第一模式改变为所述第二模式的命令，
在改变为所述第二模式完成之前且晚于所述第一时间段的第二时间段，所述图像传感器还被配置为生成所述第一信号，所述通道分配器还被配置为将所生成的第一信号分配给所述第一通道，所述ISP还被配置为生成所述第三信号并且将所述第三信号发送到所述第一存储器，并且所述显示单元还被配置为从所述第一存储器加载并显示所述第三信号，
在晚于所述第二时间段的第三时间段，所述图像传感器还被配置为使改变为所述第二模式完成并且生成所述第二信号，所述通道分配器还被配置为将所生成的第二信号分配给所述第二通道，所述ISP还被配置为生成所述第四信号并且将所述第四信号发送到所述第二存储器，并且所述捕获单元还被配置为从所述第二存储器加载所述第四信号以生成所述具有第二分辨率的图像，并且降低所述第四信号的分辨率以将所述第四信号存储在所述第一存储器中，以及
在所述图像传感器生成所述第二信号之后且晚于所述第三时间段的第四时间段，所述控制器还被配置为发布用于将所述拍照模式从所述第二模式改变为所述第一模式的命令。
10.根据权利要求8所述的图像处理设备，其中，在第一时间段，所述控制器还被配置为发布用于将所述图像传感器的所述拍照模式从所述第一模式改变为所述第二模式的命令，
在改变为所述第二模式完成之前且晚于所述第一时间段的第二时间段，所述图像传感器还被配置为生成所述第一信号，所述通道分配器还被配置为将所生成的第一信号分配给所述第一通道，所述ISP还被配置为生成所述第三信号并且将所述第三信号发送到所述第一存储器，并且所述显示单元还被配置为从所述第一存储器加载并显示所述第三信号，
在晚于所述第二时间段的第三时间段，所述图像传感器被改变为所述第二模式以生成所述第二信号，所述通道分配器还被配置为将所生成的第二信号分配给所述第二通道，并且所述ISP还被配置为生成所述第四信号并且将所述第四信号发送到所述第二存储器，
在晚于所述第三时间段的第四时间段，所述控制器还被配置为接收所述捕获命令，所述捕获单元还被配置为从所述第二存储器加载所述第四信号以生成所述具有第二分辨率的图像，并且降低所述第四信号的分辨率以将所述第四信号存储在所述第一存储器中，
在晚于所述第四时间段的第五时间段，所述控制器还被配置为发布用于将所述拍照模式改变回所述第一模式的命令，
在晚于所述第五时间段的第六时间段，所述图像传感器还被配置为使改变为所述第一模式完成，以及
所述捕获单元还被配置为继续生成所述具有第二分辨率的图像，直到改变为所述第一模式完成为止。
11.根据权利要求8所述的图像处理设备，其中，所述第一通道被配置为处理所述具有第一分辨率的图像，
所述第二通道被配置为处理所述具有第二分辨率的图像，以及
所述通道分配器还被配置为在所述第一模式下将所述第一信号提供给所述第一通道，以及在所述第二模式下将所述第二信号提供给所述第二通道。
12.根据权利要求11所述的图像处理设备，其中，所述通道分配器包括：
第一多路复用器，连接到所述第一通道并且被配置为接收所述第一信号和所述第二信号；以及
第二多路复用器，连接到所述第二通道并且被配置为接收所述第一信号和所述第二信号。
13.根据权利要求8所述的图像处理设备，其中，所述图像传感器被配置为以虚拟通道ID或嵌入式数据的形式生成所述帧信息。
14.根据权利要求13所述的图像处理设备，其中，所述虚拟通道ID包括基于预定通道标准的所述帧信息。
15.根据权利要求14所述的图像处理设备，其中，所述通道分配器还被配置为接收所述虚拟通道ID，并且基于所述预定通道标准从所接收的虚拟通道ID中确定分辨率。
16.一种图像处理方法，包括：
在第一模式下生成与具有第一分辨率的图像相对应的第一信号；
在第二模式下生成与具有第二分辨率的图像相对应的第二信号，所述第二分辨率高于所述第一分辨率；
基于预定通道标准，以虚拟通道ID的形式生成帧信息；以及
基于所述帧信息确定图像帧的分辨率，并且基于所确定的分辨率将所述第一信号和所述第二信号分配给不同通道。
17.根据权利要求16所述的图像处理方法，其中，生成所述第一信号和所述第二信号包括：
在第一时间段，基于捕获命令发布用于将拍照模式从所述第一模式改变为所述第二模式的改变命令；
在改变为所述第二模式完成之前且晚于所述第一时间段的第二时间段，生成所述第一信号；以及
在晚于所述第二时间段的第三时间段，基于所发布的改变命令，完成将所述拍照模式改变为所述第二模式并且生成所述第二信号。
18.根据权利要求17所述的图像处理方法，其中，所述分配包括：
在所述第二时间段，将所生成的第一信号分配给第一通道；
在所述第三时间段，将所生成的第二信号分配给第二通道；以及
在紧接生成所述第二信号之后且晚于所述第三时间段的第四时间段，将所述拍照模式改变回所述第一模式。
19.根据权利要求16所述的图像处理方法，其中，生成所述第一信号和所述第二信号还包括：
在第一时间段，发布用于将拍照模式改变为所述第二模式的第一改变命令；
在改变为所述第二模式完成之前且晚于所述第一时间段的第二时间段，生成所述第一信号；以及
在晚于所述第二时间段的第三时间段，基于所发布的第一改变命令，完成将所述拍照模式改变为所述第二模式并且生成所述第二信号。
20.根据权利要求19所述的图像处理方法，其中，所述分配包括：
在所述第二时间段，将所生成的第一信号分配给第一通道；
在所述第三时间段，将所生成的第二信号分配给第二通道；
在晚于所述第三时间段的第四时间段，接收捕获命令并且生成所述具有第二分辨率的图像；
连续生成所述具有第二分辨率的图像，直到将所述拍照模式改变为所述第一模式为止；
在晚于所述第四时间段的第五时间段，发布用于将所述拍照模式改变回所述第一模式的第二改变命令；以及
在晚于所述第五时间段的第六时间段，基于所发布的第二改变命令，完成将所述拍照模式改变为所述第一模式。
CN202011413928.4A 2019-12-06 2020-12-04 图像处理设备及其方法 Pending CN112929560A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2019-0161678 2019-12-06
KR20190161678 2019-12-06
KR1020200030381A KR20210071791A (ko) 2019-12-06 2020-03-11 고해상도 이미지를 처리하기 위한 장치 및 방법
KR10-2020-0030381 2020-03-11

Publications (1)

Publication Number Publication Date
CN112929560A true CN112929560A (zh) 2021-06-08

Family

ID=76162659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011413928.4A Pending CN112929560A (zh) 2019-12-06 2020-12-04 图像处理设备及其方法

Country Status (2)

Country Link
US (1) US11223762B2 (zh)
CN (1) CN112929560A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023019999A1 (zh) * 2021-08-20 2023-02-23 荣耀终端有限公司 工作模式的切换控制方法、电子设备及可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230319232A1 (en) * 2022-04-05 2023-10-05 Qualcomm Incorporated Automatic video record functionality
US11895414B1 (en) * 2022-08-04 2024-02-06 Qualcomm Incorporated Virtual channel configuration session of a camera sensor

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2612030A1 (fr) * 1987-03-03 1988-09-09 Thomson Csf Systeme de prise de vue d'image video a trois capteurs solides fonctionnant en bispectral ou en haute resolution
JP2002252808A (ja) * 2001-02-23 2002-09-06 Sony Corp イメージセンサの画像信号処理装置
EP1330088A2 (en) * 1992-03-26 2003-07-23 Matsushita Electric Industrial Co., Ltd. Multiresolution transmission
US20040190083A1 (en) * 2003-03-24 2004-09-30 Brother Kogyo Kabushiki Kaisha Image sensor, image reading device, and image resolution setting method
JP2004328618A (ja) * 2003-04-28 2004-11-18 Brother Ind Ltd イメージセンサ、読取装置、及び解像度設定方法
DE102008026956A1 (de) * 2008-06-05 2009-12-24 Tobias Römer Verfahren und Vorrichtung zum Umschalten zwischen Digital-TV-Kanälen, insbesondere hochauflösenden Digital-TV-Kanälen
US20110285866A1 (en) * 2010-05-18 2011-11-24 Satish Kumar Bhrugumalla Multi-Channel Imager
CN103595896A (zh) * 2013-11-19 2014-02-19 广东威创视讯科技股份有限公司 超高清分辨率图像同步显示方法和***
CN205545623U (zh) * 2016-03-30 2016-08-31 沈阳泰科易科技有限公司 一种大视频流传输的全景相机
WO2017128908A1 (en) * 2016-01-29 2017-08-03 Boe Technology Group Co., Ltd. Display processing apparatus, device and method
US20190149758A1 (en) * 2017-11-14 2019-05-16 Semiconductor Components Industries, Llc Pixel control signal verification in a stacked image sensor

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
KR100831661B1 (ko) 2006-12-06 2008-05-22 삼성전자주식회사 이미지 센서를 구비하는 촬영 장치와 그 사진 촬영 방법
US7705889B2 (en) 2007-06-15 2010-04-27 Sony Corporation Shutter time compensation
JP2009188485A (ja) * 2008-02-04 2009-08-20 Seiko Epson Corp 画像読取装置、画像読取方法
US8681236B2 (en) 2009-06-18 2014-03-25 Samsung Electronics Co., Ltd. Apparatus and method for reducing shutter lag of a digital camera
KR101661574B1 (ko) 2009-11-10 2016-10-14 삼성전자주식회사 셔터-딜레이를 줄이기 위한 카메라 모듈
KR101087550B1 (ko) 2010-04-01 2011-11-29 엠텍비젼 주식회사 이미지 시그널 프로세서 및 셔터 랙 감소 방법
TWI418210B (zh) 2010-04-23 2013-12-01 Alpha Imaging Technology Corp 避免快門延遲之影像擷取模組及影像擷取方法
KR101701852B1 (ko) 2010-12-29 2017-02-13 엘지전자 주식회사 이동단말기 및 그 제어방법
US8553109B2 (en) * 2011-07-20 2013-10-08 Broadcom Corporation Concurrent image processing for generating an output image
KR101796481B1 (ko) 2011-11-28 2017-12-04 삼성전자주식회사 저전력 셔터랙 제거 방법, 카메라 모듈 및 이를 구비하는 모바일 기기
US9225904B2 (en) 2012-02-13 2015-12-29 Htc Corporation Image capture method and image capture system thereof
KR101893406B1 (ko) 2012-03-28 2018-08-30 삼성전자 주식회사 카메라의 이미지처리 장치 및 방법
EP2654288B1 (en) 2012-04-16 2021-07-07 Samsung Electronics Co., Ltd. Image processing apparatus and method of camera
US8854503B2 (en) * 2012-06-07 2014-10-07 Broadcom Corporation Image enhancements through multi-image processing
US20140078343A1 (en) * 2012-09-20 2014-03-20 Htc Corporation Methods for generating video and multiple still images simultaneously and apparatuses using the same
KR20140111758A (ko) 2013-03-12 2014-09-22 삼성전자주식회사 이미지 처리 장치 및 이를 포함하는 컴퓨팅 시스템
KR102305470B1 (ko) 2015-02-13 2021-09-28 삼성전자주식회사 복수의 영상 처리 채널을 통해 병렬로 영상 신호 처리를 수행하는 영상 신호 처리 장치

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2612030A1 (fr) * 1987-03-03 1988-09-09 Thomson Csf Systeme de prise de vue d'image video a trois capteurs solides fonctionnant en bispectral ou en haute resolution
EP1330088A2 (en) * 1992-03-26 2003-07-23 Matsushita Electric Industrial Co., Ltd. Multiresolution transmission
JP2002252808A (ja) * 2001-02-23 2002-09-06 Sony Corp イメージセンサの画像信号処理装置
US20040190083A1 (en) * 2003-03-24 2004-09-30 Brother Kogyo Kabushiki Kaisha Image sensor, image reading device, and image resolution setting method
JP2004328618A (ja) * 2003-04-28 2004-11-18 Brother Ind Ltd イメージセンサ、読取装置、及び解像度設定方法
DE102008026956A1 (de) * 2008-06-05 2009-12-24 Tobias Römer Verfahren und Vorrichtung zum Umschalten zwischen Digital-TV-Kanälen, insbesondere hochauflösenden Digital-TV-Kanälen
US20110285866A1 (en) * 2010-05-18 2011-11-24 Satish Kumar Bhrugumalla Multi-Channel Imager
CN103595896A (zh) * 2013-11-19 2014-02-19 广东威创视讯科技股份有限公司 超高清分辨率图像同步显示方法和***
WO2017128908A1 (en) * 2016-01-29 2017-08-03 Boe Technology Group Co., Ltd. Display processing apparatus, device and method
CN205545623U (zh) * 2016-03-30 2016-08-31 沈阳泰科易科技有限公司 一种大视频流传输的全景相机
US20190149758A1 (en) * 2017-11-14 2019-05-16 Semiconductor Components Industries, Llc Pixel control signal verification in a stacked image sensor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李少辉, 高岳, 高稚允: "图像比色法在炉膛火焰温度场实时监测的研究", 光学技术, no. 02 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023019999A1 (zh) * 2021-08-20 2023-02-23 荣耀终端有限公司 工作模式的切换控制方法、电子设备及可读存储介质

Also Published As

Publication number Publication date
US20210176396A1 (en) 2021-06-10
US11223762B2 (en) 2022-01-11

Similar Documents

Publication Publication Date Title
US11223762B2 (en) Device and method for processing high-resolution image
US12010423B2 (en) Electronic device for recording image as per multiple frame rates using camera and method for operating same
US9232125B2 (en) Method of eliminating a shutter-lag, camera module, and mobile device having the same
CN108141539B (zh) 数字拍摄装置及其操作方法
KR102128468B1 (ko) 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
US10979612B2 (en) Electronic device comprising plurality of cameras using rolling shutter mode
US20130201360A1 (en) Method of changing an operation mode of a camera image sensor
US20230188844A1 (en) Electronic device and image control method of the electronic device
CN101753820B (zh) 信息处理装置、缓冲器控制方法和计算机程序
US9350920B2 (en) Image generating apparatus and method
CN111464754B (zh) 用于生成hdr图像的成像***及其操作方法
US9628721B2 (en) Imaging apparatus for generating high dynamic range image and method for controlling the same
KR20200094500A (ko) 이미지 프레임 데이터에 포함된 라인 데이터를 복수의 구간들로 처리하는 전자 장치 및 방법
US9363440B2 (en) Imaging device and imaging method that sets a phase difference between first and second synchronization signals
US20170026558A1 (en) Digital photographing apparatus and digital photographing method
KR20210071791A (ko) 고해상도 이미지를 처리하기 위한 장치 및 방법
JP2022177830A (ja) イメージ処理装置
CN115529427A (zh) 图像处理装置、电子装置以及用于噪声降低的装置的操作方法
US11032476B2 (en) Image sensor and electronic device comprising the same
US10742876B2 (en) Imaging device, imaging method, and imaging program
JP6697585B2 (ja) 撮像装置、撮像方法、撮像プログラム
CN108366213B (zh) 像素及其成像方法和成像装置
US20230073138A1 (en) Image sensor, image processing system including the same, and image processing method
WO2024093518A1 (zh) 一种出图模式切换方法及相关设备
US11671704B2 (en) Electronic device including a plurality of image sensors and method for thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination