CN101300848B - 图像拾取装置和编码数据传送方法 - Google Patents

图像拾取装置和编码数据传送方法 Download PDF

Info

Publication number
CN101300848B
CN101300848B CN2006800411873A CN200680041187A CN101300848B CN 101300848 B CN101300848 B CN 101300848B CN 2006800411873 A CN2006800411873 A CN 2006800411873A CN 200680041187 A CN200680041187 A CN 200680041187A CN 101300848 B CN101300848 B CN 101300848B
Authority
CN
China
Prior art keywords
data
output
signal
image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2006800411873A
Other languages
English (en)
Other versions
CN101300848A (zh
Inventor
金旺炫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maira Co ltd
Original Assignee
MtekVision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MtekVision Co Ltd filed Critical MtekVision Co Ltd
Publication of CN101300848A publication Critical patent/CN101300848A/zh
Application granted granted Critical
Publication of CN101300848B publication Critical patent/CN101300848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436—Power management, e.g. shutting down unused components of the receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440254—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering signal-to-noise parameters, e.g. requantization

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种传送编码的数据的方法以及一种执行该方法的成像装置。根据本发明的传送编码的数据的方法包括：如果将被输出到接收部件的JPEG编码的数据包括一帧的开始信息，则将有效数据使能信号转换为高状态或低状态；然后，保持有效数据使能信号的高状态或低状态直到将被输出到接收部件的JPEG编码的数据包括一帧的结束信息。因此，可增加后端芯片的处理效率并减小功耗。

Description

图像拾取装置和编码数据传送方法
技术领域
本发明涉及数据编码，更具体地讲，涉及传送编码的数据。
背景技术
通过在小或薄的便携式终端(比如便携式电话或PDA(个人数字助理))上安装小或薄的成像装置，便携式终端现在也能够用作成像装置。由于这种新的发展，比如便携式电话的便携式终端不仅能够发送音频信息，而且能够发送视觉信息。成像装置除了被安装在便携式电话和PDA之外，也已被安装在比如MP3播放器的便携式终端上。结果，各种便携式终端现在能够用作捕获外部图像并将图像保留为电子数据的成像装置。
通常，成像装置使用固态成像装置(比如CCD(电荷耦合器件)图像传感器或CMOS(互补式金属氧化物半导体)图像传感器)。
图1是典型的成像装置的简化的结构，图2显示典型的JPEG编码处理的步骤。图3显示关于用于输出编码的数据的图像信号处理器(ISP)的信号类型。
如图1所示，将捕获的外部图像转换为电子数据并在显示单元150上显示图像的成像装置包括：图像传感器110、图像信号处理器(ISP)120、后端芯片130、基带芯片140和显示单元150。所述成像装置还可包括：用于存储转换的电子数据的存储器和用于将模拟信号转换为数字信号的AD转换器。
相应于每单位像素中通过透镜输入的光的量，图像传感器110具有贝叶(Bayer)模式并输出电子信号。
图像信号处理器120将从图像传感器110输入的原始数据转换为YUV值并将转换的YUV值输出到后端芯片130。基于人眼对亮度反应比对色度反应更敏感的事实，YUV方法将颜色划分为作为亮度的Y分量和作为色度的U和V分量。由于Y分量对差错更敏感，所以与U和V分量相比，在Y分量中有更多的比特被编码。通常Y∶U∶V的比例为4∶2∶2。
通过以FIFO的方式顺序地存储转换的YUV值，图像信号处理器120允许后端芯片130接收相应的信息。
后端芯片130通过预定的编码方法将输入的YUV值转换为JPEG或BMP，并将YUV值存储在存储器中，或者对存储在存储器中的编码图像进行解码以在显示单元150中进行显示。后端芯片130也可放大、缩小或旋转图像。当然，如图1所示，基带芯片140也可从后端芯片130接收解码的数据并在显示单元150中显示解码的数据。
基带芯片140控制成像装置的一般操作。例如，一旦通过键输入单元(未示出)从用户接收到捕获图像的命令，基带芯片140就可通过向后端芯片130发送图像产生命令使后端芯片130产生与输入的外部图像相应的编码的数据。
显示单元150显示通过后端芯片130或基带芯片140的控制而提供的解码的数据。
图2示出由后端芯片130执行的典型的JPEG编码的步骤。由于JPEG编码处理200已被本领域的普通技术人员所公知，这里将只提供简单描述。
如图2所示，输入的YUV值的图像被划分成8×8个像素大小的块，并在由210表示的步骤中，对每个块执行DCT(离散余弦变换)。作为-129和127之间的8比特整数而被输入的像素值通过DCT被变换为-1024到1023之间的值。
然后，在220表示的步骤中，量化器通过应用根据视觉效果的加权值对每个块的DCT系数进行量化。加权值的表被称作“量化表”。量化表值在DC附近取值小，在高频处取值大，使得DC附近的数据损失少而在高频处压缩更多的数据。
然后，在230表示的步骤中，通过作为无损编码器的熵编码器来产生最终压缩的数据。
通过上述步骤编码的数据被存储在存储器中。后端芯片对在存储器中加载的数据进行解码，并在显示单元150中显示数据。
在图3中显示在顺序地输入存储在存储器中的数据以进行处理(比如解码)的步骤中的信号类型。通常，后端芯片130被实现以用于接收YUV/贝叶格式的数据，P_CLK、Y_sync、H_REF和数据信号被用作用于接收这种数据的接口。
如图3所示，传统的后端芯片130在将编码的数据传送到后面的部件(例如解码单元)的整个处理期间将时钟信号(P_CLK)的输出状态保持在“接通”状态。因此，后端芯片130必须在无效的数据(例如，包括0x00的数据)被输入之前执行与后面的部件进行连接的操作。
结果，传统的成像装置的后端芯片130执行不必要的操作而消耗了不必要的电功率。
而且，如图3所示，尽管对当前正被处理的帧的编码处理还未完成，但是传统的图像信号处理器120可将新的垂直同步信号(V_sync2)输出到后端芯片130。
在这种情况下，后端芯片130有时在未完成对正确数据的输入和/或处理的情况下不仅处理当前正被处理的帧，而且还处理下一帧。
此外，传统的图像信号处理器120交替地输出由后端芯片130在存储数据时可用到的H_REF信号，导致由后端芯片130的写使能信号的转换所造成的功耗。
                         发明公开
                         技术问题
因此，本发明提供一种传送编码的数据的方法和执行该方法的成像装置，所述方法和装置能够增加处理的效率并减小后端芯片的功耗。
本发明还提供一种传送编码数据的方法和执行该方法的成像装置，所述方法和装置能够通过将可由后端芯片在存储数据时使用的H_REF信号保持在高状态或低状态来防止由后端芯片的存储器的写使能信号的转换所造成的功率消耗。
本发明还提供一种传送编码数据的方法和执行该方法的成像装置，所述方法和装置能够通过在图像信号处理器将编码的数据提供给后端芯片时使用普通的接口结构而使硬件设计和控制更加容易。
本发明还提供了一种传送编码的数据的方法和执行该方法的成像装置，所述方法和装置能够通过允许图像信号处理器根据编码速度确定输入的帧是否被编码来执行平滑的编码操作。
通过下面描述的实施例，本发明的其他目的将会变得更加清楚。
                       技术解决方案
为了实现上述目的，本发明的一方面的特征在于一种图像信号处理器和/或具有该图像信号处理器的成像装置。
根据本发明的实施例，所述成像装置的图像信号处理器具有：编码单元，通过按照预定编码方法对与从图像传感器输入的电子信号相应的图像数据进行编码来产生编码的图像数据；数据输出单元，将每帧的从编码单元顺序地输入的所述编码的图像数据传送到接收部件。在一帧的所述编码的图像数据被输出时，数据输出单元可使被输出到接收部件的有效数据使能信号保持在高状态或低状态。
可仅在输出所述编码的图像数据的有效数据的区间将时钟信号输出到接收部件。可在输出所述编码的图像数据的有效数据的区间输出虚设数据。
有效数据使能信号可在为编码的图像数据输出“开始标记”时开始所述保持的步骤，并可在为编码的图像数据输出“停止标记”时结束所述保持的步骤。
数据输出单元可包括寄存器，所述寄存器通过将输出延迟预定时钟来输出从编码单元输入的编码的图像数据。
如果在编码单元处理前面的帧时从图像传感器或编码单元输入用于开始输入后面的帧的信息，则数据输出单元可将用于跳过对后面的帧的处理的跳过命令输入到图像传感器或者编码单元。
预定编码方法可以是JPEG编码方法、BMP编码方法、MPEG编码方法和TV-out方法中的一种。
数据输出单元还可将垂直同步信号(V_sync)输出到接收部件。
数据输出单元可包括：V_sync产生器，根据垂直同步信号控制命令产生并输出高状态或低状态的垂直同步信号；H_sync产生器，根据有效数据使能控制命令产生并输出高状态或低状态的有效数据使能信号；延迟单元，根据数据输出控制命令，输出无效数据或预先产生的虚设数据以及从编码单元输入的有效数据；传送控制单元，产生并输出垂直同步信号控制命令、有效数据使能控制命令和数据输出控制命令。
有效数据使能信号可在接收部件中被解释为写使能信号。
通过使用存储在延迟单元中的编码的图像数据的头信息和尾信息，传送控制单元可确定前面帧的编码是否被完成。
在前面帧正被处理时输入后面帧的输入开始信息的情况下，如果通过V_sync产生器输出的垂直同步信号是低状态，则传送控制单元可执行控制以保持当前状态。
根据本发明的另一实施例的成像装置的图像信号处理器包括：V_sync产生器，根据垂直同步信号控制命令产生并输出高状态或低状态的垂直同步信号；H_sync产生器，根据有效数据使能控制命令产生并输出高状态或低状态的有效数据使能信号；延迟单元，根据数据输出控制命令，输出无效数据或预先产生的虚设数据以及从编码单元输入的有效数据；传送控制单元，产生并输出垂直同步信号控制命令、有效数据使能控制命令和数据输出控制命令。在一帧的编码的图像数据被输出时，传送控制单元可控制H_sync产生器以高状态或低状态输出有效数据使能信号。
根据本发明的另一实施例，包括图像传感器、图像信号处理器、后端芯片和基带芯片的成像装置的图像信号处理器包括：编码单元，通过按照预定编码方法对与从图像传感器输入的电子信号相应的图像数据进行编码来产生编码的图像数据；数据输出单元，根据预定的基准将每帧的从编码单元顺序地输入的编码的图像数据传送到接收部件。在一帧的所述编码的图像数据被输出时，数据输出单元可使被输出到接收部件的有效数据使能信号保持在高状态或低状态。
为了实现上述目的，本发明的另一方面的特征在于一种传送编码的数据的方法，所述方法在图像信号处理器和/或记录用于执行该方法的程序的记录介质中被执行。在一个实施例中，在包括图像传感器的成像装置的图像信号处理器中被执行的传送编码的数据的方法包括：(a)如果将被输出到接收部件的JPEG编码的数据包括一帧的开始信息，则将有效数据使能信号转换为高状态或低状态；(b)保持有效数据使能信号的高状态或低状态直到将被输出到接收部件的JPEG编码的数据包括一帧的结束信息。
仅在输出JPEG编码的图像数据的有效数据的区间将时钟信号输出到接收部件。
如果在处理前面的帧时从图像传感器输入用于开始输入后面的帧的信息，则控制后面的帧的编码处理可被跳过。
可通过使用输入的编码的图像数据的头信息和尾信息，确定前面帧的编码是否被完成。
有效数据使能信号在接收部件中可被解释为写使能信号。
附图说明
图1显示典型的成像装置的简单结构；
图2显示典型的JPEG编码的步骤；
图3显示传统的图像信号处理器输出编码的数据的信号类型；
图4显示根据本发明实施例的成像装置的框图；
图5显示根据本发明实施例的数据输出单元的框图；
图6显示根据本发明实施例的图像信号处理器输出编码的数据的信号类型；
图7显示根据本发明另一实施例的图像信号处理器输出编码的数据的信号类型。
具体实施方式
通过下面参照附图的描述，上述目的、特征和优点将会更清楚。
由于可存在本发明的多种排列和实施例，因此将参照附图来示出和描述特定实施例。然而，这绝不是将本发明限制于特定实施例，而应当理解为包括由本发明的精神和范围所涵盖的所有排列、等同物和替换。贯穿附图，以相似的标号来表示相似的部件。贯穿本发明的描述，当确定特定技术的描述使本发明的要点难以理解时，将省略有关的详细描述。
比如“第一”和“第二”的术语可用于描述各种部件，但是上述部件不应该限于上述术语。上述术语只用于部件之间的相互区分。例如，在不脱离本发明的权利要求的范围的情况下，可将第一部件命名为第二部件，反之亦然。术语“和/或”将包括列出的多项的结合或列出的多项中的任何一项。
当一个部件被描述为被“连接”或“接入”到另一部件时，应该被解释为被直接连接或接入到另一部件，而且还可能在中间有其他部件。另一方面，如果一个部件被描述为被“直接连接”或“直接接入”到另一部件，则将理解其间没有其他部件。
在描述中使用的术语仅意在描述特定实施例，而绝不限制本发明。除非另外清楚地使用，单数的表述包括复数的意思。在本描述中，比如“包括”或“由......组成”的表述意在指明特征、数量、步骤、操作、部件、部分或其结合，而不应该解释为排除一个或多个特征、数量、步骤、操作、部件、部分或其结合的存在或可能性。
除非另外限定，这里使用的所有的术语，包括技术术语和科学术语，具有与本发明所属领域的普通技术人员通常所理解的相同含义。在普通词典中所限定的任何术语应该被解释为具有相关技术的上下文中的相同含义，除非另外明确限定，所述任何术语不应该被解释为具有理想的或过分形式化的含义。
下面，将参照附图来详细描述优选实施例。不管附图标号如何，将为同一或相应的部件提供相同的标号，并且，将不会重复对同一或相应部件的任何多余的描述。
在描述本发明实施例的过程中，将描述作为本发明的核心主题的图像信号处理器的处理操作。然而，清楚的是，本发明的范围绝不被这里的描述所限制。
图4显示根据本发明实施例的成像装置的框图，图5显示根据本发明实施例的数据输出单元430的框图；图6显示根据本发明实施例的图像信号处理器输出编码的数据的信号类型；图7显示根据本发明另一实施例的图像信号处理器输出编码的数据的信号类型。
如图4所示，本发明的成像装置包括：图像传感器110、图像信号处理器400和后端芯片405。尽管很清楚地，所述成像装置还可包括显示单元150、存储器、基带芯片140和键输入单元，但是这些部件在一定程度上与本发明不相关，因此这里将不对其进行描述。
图像信号处理器400包括：预处理单元410、JPEG编码器420和数据输出单元430。当然，图像信号处理器400可进一步包括用于内部操作的时钟产生器。
预处理单元410执行预处理步骤以为JPEG编码器420的处理进行准备。预处理单元410可从图像传感器110接收每一线(line)的每帧的电信号类型的原始数据，并对所述原始数据进行处理，然后可将所述原始数据传送到JPEG编码器420。
预处理步骤可包括由颜色空间变换、滤波和颜色二次采样构成的步骤中的至少一个步骤。
颜色空间变换将RGB颜色空间变换到YUV(或YIQ)颜色空间。这是为了在识别不出图像质量的差异的情况下减少信息量。
滤波是使用低通滤波器来对图像进行平滑以增加压缩比的步骤。
颜色二次采样通过使用所有的Y值和一些其他值，而不使用其余的值来对色度信号分量进行二次采样。
与先前描述的方法一样，JPEG编码器420对预处理的原始数据进行压缩，并产生JPEG编码的数据。JPEG编码器420可包括用于临时存储从预处理单元410输入的经过处理的原始数据的存储器，以将原始数据划分为预定的块单位(例如，8×8)以进行编码。JPEG编码器420还可包括用于在将JPEG编码的数据输出到数据输出单元430之前临时存储JPEG编码的数据的输出存储器。例如，输出存储器可以是FIFO。换句话说，本发明的图像信号处理器400与传统图像信号处理器120不同，本发明的图像信号处理器400还可对图像数据进行编码。
数据输出单元430将通过JPEG编码器420产生的JPEG编码的数据传送到后端芯片405(或相机控制处理器，以下称为“后端芯片”405)。
在将从JPEG编码器420提供的JPEG编码的数据传送到后端芯片405过程中，数据输出单元430使有效数据使能信号(H_REF)保持在高或低的状态直到在一帧中的所有JPEG编码的数据被输出，并且只有在有效数据(即，实际上形成图像的JPEG编码的数据)被输出时，数据输出单元430才输出时钟信号。这里，在一帧中的所有编码的数据被输出时被保持的H_REF信号的高状态或低状态可依据所述信号被识别为有效数据使能信号的状态而有所不同。然而，本描述假设如果H_REF是高，则后端芯片405识别出JPEG编码的数据正被输入。
如果尽管JPEG编码器420还未完成对特定帧(例如，第k输入的帧，以下称为“第k帧”，其中，k是自然数)的编码，而从图像传感器110输入了通知后面帧(例如，第(k+1)输入的帧，以下称为“第(k+1)帧”)的输入的V_sync_I信号，则数据输出单元430可控制V_sync产生器520(参照图5)使与该帧相应的V_sync信号的输出跳过。换句话说，如果V_sync产生器520将V_sync信号的低的状态(即，没有新的帧被输入)输出到后端芯片405，则数据输出单元430可控制以保持当前状态(参照图7中以虚线示出的V_sync2)。
可通过检测边沿(例如，根据V_sync信号的类型的上升沿或下降沿)来检测出新的帧的输入，但这里只对检测上升沿的情况进行描述。
如果在第k帧被编码时通知对第(k+1)帧的输入的V_sync_I信号被从图像传感器110输入，则数据输出单元430可将用于使与V_sync_I信号相应的第(k+1)帧输出和/或处理跳过的V_sync_skip信号发送到图像传感器110、预处理单元410或JPEG编码器420。
这里，图像传感器110、预处理单元410或JPEG编码器420必须已经被实现为当从数据输出单元430接收到V_sync_skip信号时执行预定操作。通过本描述，本领域的任何技术人员将容易地理解设计和实现上述部件的方法，因此，这里将不进行进一步的描述。
例如，在图像传感器110接收到V_sync_skip信号的情况下，可以指明与V_sync_I信号相应的帧的原始数据不被发送到预处理单元410。如果预处理单元410接收到V_sync_skip信号，则指明与V_sync_I信号相应的帧的原始数据的处理被跳过，或指明处理的原始数据不被发送到JPEG编码器420。同样，如果JPEG编码器420接收到V_sync_skip信号，则指明不对与V_sync_I信号相应的帧的处理的原始数据进行编码或者指明从预处理单元410接收的处理的原始数据不被存储在存储器中。
通过上述步骤，尽管从图像传感器110顺序地输入与帧#1、#2、#3和#4相应的原始数据，但是通过数据输出单元430的操作或控制而输入到后端芯片405的编码的图像数据可仅被限制为#1、#3和#4。
如果从控制便携式终端的一般操作的基带芯片140接收到例如捕获画面的命令，则后端芯片405接收从图像信号处理器400输入的改善了画面的JPEG编码的数据并将其存储在存储器中，然后对所述数据进行解码并将其显示在显示单元150上，或者，基带芯片140读取并处理所述数据。
图5示出了数据输出单元430的详细结构。
参照图5，数据输出单元430包括：与门510、V_sync产生器520、H_sync产生器530、延迟单元540和传送控制单元550。
与门510只有在每个输入被输入有信号时，将时钟信号(P_CLK)输出到后端芯片405。也就是说，通过从布置在图像信号处理器400中的时钟产生器(未示出)接收时钟信号并从传送控制单元550接收时钟控制信号，与门510只在时钟控制信号指示时钟信号的输出时将时钟信号输出到后端芯片405。时钟控制信号可以是高信号或低信号，所述高信号或低信号的每一个可被识别为P_CLK使能信号或P_CLK禁止信号。当然，相反的情况也是可能的。如图6所示，P_CLK被输出到后端芯片405的区间与有效数据被输出的区间重合，在该区间中，延迟单元540输出一帧的JPEG编码的数据。
通过传送控制单元550的控制，V_sync产生器520产生并输出用于显示有效区间的垂直同步信号(V_sync)。在V_sync信号的输出命令被输入之后，V_sync产生器520输出V_sync信号的高状态直到通过传送控制单元550输入了V_sync信号的输出终止命令。对本领域的任何技术人员来说清楚的是，垂直同步信号表示每帧的输入的开始。
通过传送控制单元550的控制，H_sync产生器530产生并输出有效数据使能信号(H_REF)(即，直到在H_REF的输出命令被输入之后输入了H_REF的输出终止命令)。有效数据使能信号的高区间(或低区间，取决于先前描述的设计方法)与从延迟单元540输出一帧中的JPEG编码的数据的输出区间重合(即，从帧的开始信息(例如，开始标记)到帧的结束信息(例如，停止标记))。
延迟单元540在H_REF以高状态被输出的区间中顺序地输出从JPEG编码器420输入的JPEG编码的数据。例如，延迟单元540可包括用于在输出数据之前将从JPEG编码器420输入的数据延迟预定持续时间(例如，2-3个时钟)的寄存器。
可通过传送控制单元550确定存储在延迟单元540的JPEG编码的数据是否有效。如果当前将被输出的数据是无效数据(例如，包括0x00的数据)，则传送控制单元550可控制与门510使时钟信号不被输出到后端芯片405。
如图6所示，从H_REF信号的上升沿到下降沿，本发明的延迟单元540将输出从JPEG编码器420输入的JPEG编码的数据。
传送控制单元550根据确定的持续时间和频率来控制时钟控制信号、V_sync产生器520、H_sync产生器530和延迟单元540的输出，以控制每个信号(即，P_CLK、H_sync、V_sync和数据)的输出状态。
传送控制单元550可通过从延迟单元540从JPEG编码器430顺序地接收并为输出有效数据而临时存储的JPEG编码的数据的头和尾来捕获“开始标记”和“停止标记”而识别关于JPEG编码的开始和结束。通过此，可识别一帧是否完全被JPEG编码器420编码。
一旦“开始标记”被识别，传送控制单元550就控制H_sync产生器530使H_REF信号以高状态被输出，并控制H_REF信号使之保持在高状态直到识别的“停止标记”被输出。
传送控制单元550也可确定临时存储在延迟单元540中的JPEG编码的数据是否是有效数据，如果当前将被输出的数据不是有效数据，则传送控制单元550可控制延迟单元540输出虚设(dummy)数据。本发明提到的无效数据是指根据例如JPEG标准无效的数据(即，实际上并不形成图像的数据)，例如，有时被表示为0x00的数据。在无效数据被输出的区间，虚设数据(即，只满足形式的数据)可被输出。
当然，有可能在延迟单元前面布置输出JPEG编码的数据和虚设数据的复用器(MUX)，并且延迟单元540接收这些JPEG编码的数据和虚设数据以输出。在这种情况下，如果传送控制单元550确定输入的JPEG编码的数据是无效数据，则传送控制单元550可将虚设数据输出命令输入到MUX。然后，MUX应能使预先指定的虚设数据输入到延迟单元540并输出到后端芯片405。
如果尽管第k帧的JPEG编码还未完成但V_sync_I信号指示从图像传感器110输入第(k+1)帧，则如先前所述，传送控制单元550控制V_sync产生器520跳过V_sync信号的输出。换句话说，如果V_sync产生器520当前正将低状态的V_sync信号输出到后端芯片405，则V_sync产生器520将被控制以保持当前状态(参照图7)。
然后，如前面详细描述的那样，传送控制单元550可通过将V_sync_skip信号发送到图像传感器110、预处理单元410或JPEG编码器420来控制后面的与V_sync_skip信号相应的帧跳过数据的输出和处理(例如，JPEG编码)。
这是因为如果与V_sync_I信号相应的数据没有从前面的部件输入(例如，接收V_sync_skip信号的图像传感器110不输出与V_sync_I信号相应的原始数据)，则后面的部件不必执行任何不必要的处理，或者后面的部件可删除输入的数据(例如，接收V_sync_skip信号的JPEG编码器420根据V_sync_I信号不对从预处理单元410接收的经处理的原始数据进行编码，而是删除该原始数据)。使用这种方法，图像信号处理器400的每个部件执行其预定功能，而不会不必要地处理后面的帧，从而减少不必要的功耗并限制处理效率的降低。
在图6中显示通过传送控制单元550的控制而输入到后端芯片405的信号类型。
如图6所示，在正在输出无效的编码的数据或虚设数据时，将被输出到后端芯片405的时钟信号(P_CKL)被关断(图6中P_CKL的虚线区间)，因此，可最小化任何不必要的操作，从而使后端芯片405的功耗最小化。
此外，通过控制以使H_REF信号在一帧的所有JPEG编码的数据被输出时(即，一帧的有效数据以及无效数据或虚设数据被输出时)保持在高状态，可减少由后端芯片405的存储器的写使能信号的转换所造成的功耗。
如图6所示，一旦与“开始标记”相应的JPEG编码的数据被写入延迟单元540，传送控制单元550就识别出这点并允许H_REF信号以高状态被输出以及“开始标记”被输出。同样地，一旦与“停止标记”相应的JPEG编码的数据被写入延迟单元540，传送控制单元550就识别出这点并允许JPEG编码的数据被输出，然后允许H_REF信号被转换为低状态。
在传统的方法中，V_sync信号或H_REF信号(H_sync)计数器被用于显示与一帧相应的数据正被输出。
使用H_REF(或H_sync)计数器的传统的方法对信号的特定状态(如，高或低)的次数进行计数，并识别出在所述次数与预定行(column)大小匹配之前仍是一帧。
然而，在本发明中，虽然V_sync信号不是单独被识别，但是每个部件都可容易地识别出在H_REF信号被保持在特定状态时与一帧相应的区间，而无需对H_REF(或H_sync)信号进行单独计数。然而，在本发明中，为了仅将从延迟单元540输出的JPEG编码的数据中的有效数据写入后端芯片405的存储器，时钟信号必须在无效数据或虚设数据被输出的区间中不被输出到后端芯片405。
而且，如果JPEG编码器420对从图像传感器110输入的第k帧的图像进行编码的速度慢(例如，在对一帧进行编码的同时输入指示新帧输入开始的V_sync_I)，则如图7所示，由于后面的第k+1帧不能被同时编码(例如，如果这些帧被同时编码则会出现数据差错)，所以数据输出单元430通过使用于后面的帧的V_sync信号保持低(即，如图7所示的V_sync2的虚线区间；在现有技术中在相应点输出的V_sync2信号在本发明中被跳过)来允许完成JPEG编码。通过数据输出单元430的控制，JPEG编码器420跳过下一帧的编码。如果传送控制单元550将V_sync_skip信号发送到图像传感器110或预处理单元410，则可不从前面的部件将与V_sync_I信号相应的数据提供给JPEG编码器420。
实现传统的后端芯片405以接收YUV/贝叶格式的数据，并将P_CLK、V_sync、H_REF和数据信号用作接收这些数据的接口。
考虑到这一点，本发明的图像信号处理器400被实现以使用与传统图像信号处理器相同的接口。
因此，清楚的是，尽管后端芯片405通过设计后端芯片的传统方法来实现，但是本发明的后端芯片405可被端口匹配。
例如，如果典型的后端芯片405的操作可被称作根据V_sync信号的上升沿的中断而被初始化，则因为传统接口结构被同样应用到本发明，所以通过将相应的信号输入到后端芯片405，在本发明中，与输出传统V_sync信号相似，可在芯片之间进行连接。
同样，考虑到典型的后端芯片405必须产生V_sync上升中断以及在从图像信号处理器400接收到数据时，有效数据使能信号(H_REF)被用作存储器的写使能信号，可通过使用本发明的信号输出方法来减少后端芯片405的功耗。此外，通过控制以使H_REF信号在一帧的所有JPEG编码的数据被输出时保持在高状态，可减少由后端芯片405的存储器的写使能信号的转换所造成的功耗。
到目前为止，尽管已经描述了使用JPEG编码方法的图像信号处理器400，但是清楚的是，也可在其他编码方法(比如，BMP编码方法、MPEG(MPEG1/2/4和MPEG-4AVC)编码和TV-out方法)中使用相同数据传送方法。
附图和详细描述只是本发明的示例，仅用于描述本发明而绝不限制本发明的精神和范围。因此，本领域的任何普通技术人员应当理解，大量的排列和其他等同的实施例是可能的。本发明的真实范围仅由权利要求的精神来限定。
                     产业上的可利用性
如上所述，本发明可增加处理效率并减小后端芯片的功耗。
本发明可通过将可由后端芯片在存储数据时使用的H_REF信号保持在高或低的状态来防止由后端芯片的存储器的写使能信号的转换所造成的功耗。
而且，本发明可在图像信号处理器将编码的数据提供给后端芯片时通过使用普通的接口结构来使得硬件设计和控制更容易。
此外，本发明通过允许图像信号处理器根据编码速度确定输入的帧是否被编码来进行平滑编码操作。

Claims (17)

1.一种成像装置的图像信号处理器，所述图像信号处理器包括：
编码单元，通过按照预定编码方法对与从图像传感器输入的电子信号相应的图像数据进行编码来产生编码的图像数据；
数据输出单元，将每帧的所述编码的图像数据传送到接收部件，从编码单元顺序地输入所述编码的图像数据；
其中，数据输出单元将有效数据使能信号保持在高状态或低状态，直到一帧中的所有编码的图像数据被输出，并且只有在所述编码的图像数据的有效数据被输出时，所述数据输出单元才向接收部件输出时钟信号。
2.如权利要求1所述的图像信号处理器，其中，在输出所述编码的数据的有效数据的区间输出虚设数据。
3.如权利要求1所述的图像信号处理器，其中，有效数据使能信号在为编码的图像数据输出“开始标记”时开始所述保持的步骤，并在为编码的图像数据输出“停止标记”时结束所述保持的步骤。
4.如权利要求1所述的图像信号处理器，其中，数据输出单元包括寄存器，所述寄存器通过将输出延迟预定时钟来输出从编码单元输入的编码的图像数据。
5.如权利要求1所述的图像信号处理器，其中，如果在编码单元处理前面的帧时从图像传感器或编码单元输入用于开始输入后面的帧的信息，则数据输出单元将用于跳过对后面的帧的处理的跳过命令输入到图像传感器或者编码单元。
6.如权利要求1所述的图像信号处理器，其中，预定编码方法是JPEG编码方法、BMP编码方法、MPEG编码方法和TV-out方法中的一个。
7.如权利要求1所述的图像信号处理器，其中，数据输出单元还将垂直同步信号(V_sync)输出到接收部件。
8.如权利要求7所述的图像信号处理器，其中，数据输出单元包括：
V_sync产生器，根据垂直同步信号控制命令产生并输出高状态或低状态的垂直同步信号；
H_sync产生器，根据有效数据使能控制命令产生并输出高状态或低状态的有效数据使能信号；
延迟单元，根据数据输出控制命令，输出无效数据或预先产生的虚设数据以及从编码单元输入的有效数据；
传送控制单元，产生并输出垂直同步信号控制命令、有效数据使能控制命令和数据输出控制命令。
9.如权利要求1或8所述的图像信号处理器，其中，有效数据使能信号在接收部件中被解释为写使能信号。
10.如权利要求7所述的图像信号处理器，其中，通过使用存储在延迟单元中的编码的图像数据的头信息和尾信息，传送控制单元确定前面帧的编码是否被完成。
11.如权利要求10所述的图像信号处理器，其中，在前面帧正被处理时输入后面帧的输入开始信息的情况下，如果通过V_sync产生器输出的垂直同步信号是低状态，则传送控制单元执行控制以保持当前状态。
12.一种成像装置的图像信号处理器，所述图像信号处理器包括：
V_sync产生器，根据垂直同步信号控制命令产生并输出高状态或低状态的垂直同步信号；
H_sync产生器，根据有效数据使能控制命令产生并输出高状态或低状态的有效数据使能信号；
延迟单元，根据数据输出控制命令，输出无效数据或预先产生的虚设数据以及从编码单元输入的有效数据；
传送控制单元，产生并输出垂直同步信号控制命令、有效数据使能控制命令和数据输出控制命令；
其中，传送控制单元控制H_sync产生器以高状态或低状态输出有效数据使能信号，直到一帧中的所有编码的图像数据被输出，并且只有在所述编码的图像数据的有效数据被输出时，才输出时钟信号。
13.一种成像装置，包括图像传感器、图像信号处理器、后端芯片和基带芯片，其中，图像信号处理器包括：
编码单元，通过按照预定编码方法对与从图像传感器输入的电子信号相应的图像数据进行编码来产生编码的图像数据；
数据输出单元，根据预定的基准将每帧的编码的图像数据传送到接收部件，从编码单元顺序地输入所述编码的图像数据，
其中，数据输出单元将有效数据使能信号保持在高状态或低状态，直到一帧中的所有编码的图像数据被输出，并且只有在所述编码的图像数据的有效数据被输出时，所述数据输出单元才向接收部件输出时钟信号。
14.一种传送编码的数据的方法，所述方法在包括图像传感器的成像装置的图像信号处理器中被执行，所述方法包括：
(a)如果将被输出到接收部件的JPEG编码的数据包括一帧的开始信息，则将有效数据使能信号转换为高状态或低状态；
(b)保持有效数据使能信号的高状态或低状态直到一帧中的所有JPEG编码的数据被输出到所述接收部件，并且只有在所述JPEG编码的数据的有效数据被输出时，才向所述接收部件输出时钟信号。
15.如权利要求14所述的方法，其中，如果在处理前面的帧时从图像传感器输入用于开始输入后面的帧的信息，则控制后面的帧的编码处理被跳过。
16.如权利要求15所述的方法，其中，通过使用输入的编码的图像数据的头信息和尾信息，确定前面帧的编码是否被完成。
17.如权利要求14所述的方法，其中，有效数据使能信号在接收部件中被解释为写使能信号。
CN2006800411873A 2005-11-02 2006-10-24 图像拾取装置和编码数据传送方法 Active CN101300848B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2005-0104584 2005-11-02
KR1020050104584A KR100664554B1 (ko) 2005-11-02 2005-11-02 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치
PCT/KR2006/004356 WO2007052915A1 (en) 2005-11-02 2006-10-24 Image pickup device and encoded data transferring method

Publications (2)

Publication Number Publication Date
CN101300848A CN101300848A (zh) 2008-11-05
CN101300848B true CN101300848B (zh) 2010-06-30

Family

ID=37866873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800411873A Active CN101300848B (zh) 2005-11-02 2006-10-24 图像拾取装置和编码数据传送方法

Country Status (5)

Country Link
US (1) US20080225165A1 (zh)
JP (1) JP2009515408A (zh)
KR (1) KR100664554B1 (zh)
CN (1) CN101300848B (zh)
WO (1) WO2007052915A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090167888A1 (en) * 2007-12-28 2009-07-02 Yo-Hwan Noh Methods of processing imaging signal and signal processing devices performing the same
US9883116B2 (en) * 2010-12-02 2018-01-30 Bby Solutions, Inc. Video rotation system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5414464A (en) * 1993-04-09 1995-05-09 Sony Corporation Image sensor and electronic still camera with an addressable image pickup section and an analog product sum calculation section
US5491561A (en) * 1992-07-21 1996-02-13 Matsushita Electric Industrial Co., Ltd. Image processor for processing high definition image signal and standard image signal and disk apparatus therefor
US5963678A (en) * 1995-12-28 1999-10-05 Canon Kabushiki Kaisha Image signal processing apparatus and method
CN1605210A (zh) * 2001-12-20 2005-04-06 皇家飞利浦电子股份有限公司 用于视频序列压缩的编码方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3402619B2 (ja) * 1992-01-14 2003-05-06 キヤノン株式会社 電子スチルカメラ
CN1125566C (zh) * 1996-09-06 2003-10-22 索尼公司 数据编码方法和数据编码设备
JPH11177520A (ja) * 1997-12-10 1999-07-02 Sony Corp データ多重化装置
US6704044B1 (en) * 2000-06-13 2004-03-09 Omnivision Technologies, Inc. Completely integrated baseball cap camera
JP2003009002A (ja) * 2001-06-22 2003-01-10 Sanyo Electric Co Ltd 撮像装置
JP2003087639A (ja) * 2001-09-11 2003-03-20 Nec Corp 画像処理集積回路
JP2003264745A (ja) * 2002-03-08 2003-09-19 Sanyo Electric Co Ltd 電荷転送装置
JP2003264810A (ja) * 2002-03-11 2003-09-19 Yazaki Corp データ伝送システム及びデータ伝送方法
JP4503987B2 (ja) * 2003-11-12 2010-07-14 オリンパス株式会社 カプセル型内視鏡
JP4063204B2 (ja) * 2003-11-20 2008-03-19 セイコーエプソン株式会社 画像データ圧縮装置及びエンコーダ
JP2005295143A (ja) * 2004-03-31 2005-10-20 Canon Inc 画像符号化装置及びその制御方法、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5491561A (en) * 1992-07-21 1996-02-13 Matsushita Electric Industrial Co., Ltd. Image processor for processing high definition image signal and standard image signal and disk apparatus therefor
US5414464A (en) * 1993-04-09 1995-05-09 Sony Corporation Image sensor and electronic still camera with an addressable image pickup section and an analog product sum calculation section
US5963678A (en) * 1995-12-28 1999-10-05 Canon Kabushiki Kaisha Image signal processing apparatus and method
CN1605210A (zh) * 2001-12-20 2005-04-06 皇家飞利浦电子股份有限公司 用于视频序列压缩的编码方法

Also Published As

Publication number Publication date
US20080225165A1 (en) 2008-09-18
WO2007052915A1 (en) 2007-05-10
JP2009515408A (ja) 2009-04-09
KR100664554B1 (ko) 2007-01-03
CN101300848A (zh) 2008-11-05

Similar Documents

Publication Publication Date Title
CN1791219B (zh) 用于片上***的双层总线结构
CN101300828B (zh) 用于输出延迟的垂直同步信号的图像信号处理器和方法
US8018499B2 (en) Image processing method and device using different clock rates for preview and capture modes
US20110080956A1 (en) Reducing Memory Bandwidth for Processing Digital Image Data
CN101300829B (zh) 图像拾取装置和编码数据传送方法
CN101300847B (zh) 图像拾取装置和编码数据传送方法
CN101300848B (zh) 图像拾取装置和编码数据传送方法
US6928115B2 (en) Compression-encoded data decoding apparatus cross-reference to related applications
KR100788983B1 (ko) 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치
US8233729B2 (en) Method and apparatus for generating coded block pattern for highpass coefficients
CN101300836B (zh) 图像信号处理器和延迟的垂直同步信号输出方法
KR100854724B1 (ko) 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치
KR20070047730A (ko) 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230418

Address after: Seoul, South Kerean

Patentee after: Maira Co.,Ltd.

Address before: Seoul City, Korea

Patentee before: MTEKVISION Co.,Ltd.

TR01 Transfer of patent right