CN112468789A - Raw图像转换电路及raw图像转换方法 - Google Patents

Raw图像转换电路及raw图像转换方法 Download PDF

Info

Publication number
CN112468789A
CN112468789A CN202110141248.XA CN202110141248A CN112468789A CN 112468789 A CN112468789 A CN 112468789A CN 202110141248 A CN202110141248 A CN 202110141248A CN 112468789 A CN112468789 A CN 112468789A
Authority
CN
China
Prior art keywords
pixel
array
color component
unit
interpolation calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110141248.XA
Other languages
English (en)
Other versions
CN112468789B (zh
Inventor
杨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Xinqing Technology Co ltd
Original Assignee
Hubei Xinqing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Xinqing Technology Co ltd filed Critical Hubei Xinqing Technology Co ltd
Priority to CN202110141248.XA priority Critical patent/CN112468789B/zh
Publication of CN112468789A publication Critical patent/CN112468789A/zh
Application granted granted Critical
Publication of CN112468789B publication Critical patent/CN112468789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种RAW图像转换电路及RAW图像转换方法,根据初始RAW帧图像中各像素的分布位置,确定具有初始颜色分量的各像素的缓存位置,并基于缓存位置输出对应像素的插值计算阵列,像素包括待转换像素和非转换像素中的至少一种;根据插值计算阵列,生成具有标的颜色分量的待转换像素;以及根据缓存位置对应输出具有初始颜色分量的非转换像素和具有标的颜色分量的待转换像素中的至少一种;其支持像素流的流式输入和流式输出,帧图像之间不需要存在间隔,提高了转换效率;且其既可以将不需要进行转换的图像直接流式输出,也可以根据对应像素的缓存位置进行转换后流式输出对应的RAW格式的标的RAW帧图像。

Description

RAW图像转换电路及RAW图像转换方法
技术领域
本申请涉及RAW图像转换技术领域,具体涉及一种RAW图像转换电路及RAW图像转换方法。
背景技术
数字摄相头拍摄的图像一般是不适于显示的,未经加工的原始数据格式(RAW),要经过ISP(Image Signal Processor,图像处理器)处理后,被转换为RGB或YUV等适于显示的图像格式。RAW格式的图像也包含多种不同的图像格式,例如RGB-Ir4x4、RGB-Ir2x2为两种不同的RAW格式。由于数字摄相头技术和ISP的处理技术都快速地发展变化,有时会出现数字摄相头输出的RAW格式与ISP支持的RAW格式不相同。这种情况下,需要对RAW图像进行对应的格式转换。
发明内容
本申请提供一种RAW图像转换电路及RAW图像转换方法,解决了不同RAW格式的图像需要进行转换的问题。
第一方面,本申请提供一种RAW图像转换电路,其包括输入处理单元、逻辑转换单元以及寄存输出单元;输入处理单元用于根据初始RAW帧图像中各像素的分布位置,确定具有初始颜色分量的各像素的缓存位置,并基于缓存位置输出对应像素的插值计算阵列,像素包括待转换像素和非转换像素中的至少一种;逻辑转换单元与输入处理单元连接,用于根据插值计算阵列,生成具有标的颜色分量的待转换像素;以及寄存输出单元与逻辑转换单元连接,用于根据缓存位置对应输出具有初始颜色分量的非转换像素和具有标的颜色分量的待转换像素中的至少一种。
基于第一方面,在第一方面的第一种实施方式中,插值计算阵列包括第一插值计算子阵列和第二插值计算子阵列;输入处理单元基于缓存位置输出对应像素的第一插值计算子阵列;逻辑转换单元根据第一插值计算子阵列,得出对应的第二插值计算子阵列,以及根据第二插值计算子阵列生成具有标的颜色分量的待转换像素。
基于第一方面的第一种实施方式,在第一方面的第二种实施方式中,输入处理单元包括缓存单元和第一控制单元;缓存单元用于接入并缓存具有初始颜色分量的各像素;第一控制单元与缓存单元连接,用于按照分布位置,控制具有初始颜色分量的各像素存储至对应的缓存位置,并基于缓存位置和选择算法控制缓存单元输出对应像素的第一插值计算子阵列。
基于第一方面的第二种实施方式,在第一方面的第三种实施方式中,逻辑转换单元包括第一寄存阵列单元和第二控制单元;第一寄存阵列单元与缓存单元连接,用于寄存第一插值计算子阵列;第二控制单元与第一寄存阵列单元连接,用于根据第一插值计算子阵列和第一插值算法,生成且输出对应的第二插值计算子阵列。
基于第一方面的第三种实施方式,在第一方面的第四种实施方式中,逻辑转换单元还包括第二寄存阵列单元和第三控制单元;第二寄存阵列单元与第一寄存阵列单元连接,用于寄存第二插值计算子阵列;第三控制单元与第二寄存阵列单元连接,用于根据第二插值计算子阵列和第二插值算法,生成具有标的颜色分量的待转换像素。
基于第一方面的第四种实施方式,在第一方面的第五种实施方式中,寄存输出单元包括1*1寄存器阵列,1*1寄存器阵列与第二寄存阵列单元连接,用于寄存并输出具有标的颜色分量的待转换像素和具有初始颜色分量的非转换像素中的至少一种。
基于第一方面的第一种实施方式,在第一方面的第六种实施方式中,第一插值计算子阵列是基于缓存位置,以具有初始颜色分量的对应像素为中心,选取具有初始颜色分量的周边像素构成的9*9像素阵列。
基于第一方面的第六种实施方式,在第一方面的第七种实施方式中,第二插值计算子阵列是基于第一插值算法生成的5*5像素阵列。
基于第一方面的上述任一种实施方式,在第一方面的第八种实施方式中,像素的分布位置位于初始RAW帧图像的周边,不足以形成对应的插值计算阵列时,在具有初始颜色分量的像素的缓存位置的周边,虚补至少一个4*4像素阵列;4*4像素阵列为插值计算阵列中的前四行颜色分量与前四列颜色分量构成的像素阵列。
第二方面,本申请提供一种RAW图像转换方法,其包括:根据初始RAW帧图像中各像素的分布位置,确定具有初始颜色分量的各像素的缓存位置,并基于缓存位置输出对应像素的插值计算阵列,像素包括待转换像素和非转换像素中的至少一种;根据插值计算阵列,生成具有标的颜色分量的待转换像素;以及根据缓存位置对应输出具有初始颜色分量的非转换像素和具有标的颜色分量的待转换像素中的至少一种。
本申请提供的RAW图像转换电路及RAW图像转换方法,根据初始RAW帧图像中各像素的分布位置,确定具有初始颜色分量的各像素的缓存位置,并基于缓存位置输出对应像素的插值计算阵列,像素包括待转换像素和非转换像素中的至少一种;根据插值计算阵列,生成具有标的颜色分量的待转换像素;以及根据缓存位置对应输出具有初始颜色分量的非转换像素和具有标的颜色分量的待转换像素中的至少一种;其支持像素流的流式输入和流式输出,帧图像之间不需要存在间隔,提高了转换效率;且其既可以将不需要进行转换的图像直接流式输出,也可以根据对应像素的缓存位置进行转换后流式输出对应的RAW格式的标的RAW帧图像。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其它有益效果显而易见。
图1为本申请实施例提供的RAW图像转换电路的结构示意图。
图2为图1中RAW图像转换电路的结构示意图。
图3为本申请实施例提供的第一寄存阵列单元存储对应像素的颜色分量的结构示意图。
图4为本申请实施例提供的周边像素的颜色分量进行拼接的结构示意图。
图5为本申请实施例提供的一种RGBIr4x4格式的RAW图像的结构示意图。
图6为本申请实施例提供的一种RGBIr2x2格式的RAW图像的结构示意图。
图7为图5中初始像素重复阵列的结构示意图。
图8为本申请实施例提供的获得第二插值计算子阵列的流程示意图。
图9为本申请实施例提供的获得标的颜色分量的流程示意图。
图10为本申请实施例提供的RAW图像转换方法的流程示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1至图4,其中,如图1所示,本实施例提供了一种RAW图像转换电路,其包括输入处理单元100、逻辑转换单元200以及寄存输出单元300。其中,输入处理单元100用于根据初始RAW帧图像中各像素的分布位置,确定各像素的初始颜色分量的缓存位置,并基于缓存位置输出对应像素的插值计算阵列,像素包括待转换像素和非转换像素中的至少一个。逻辑转换单元200与输入处理单元100连接,用于根据插值计算阵列,生成待转换像素的标的颜色分量。寄存输出单元300与逻辑转换单元200连接,用于根据缓存位置对应输出非转换像素的初始颜色分量、待转换像素的标的颜色分量。
需要进行说明的是,本实施例中的RAW图像转换电路是基于分布位置接入的对应像素流,并根据对应的缓存位置输出的对应像素流,因此,其支持像素流的流式输入和流式输出,帧图像之间不需要存在间隔,提高了转换效率;且其既可以将不需要进行转换的图像直接流式输出,也可以根据对应像素的缓存位置进行转换后流式输出对应的RAW格式的标的RAW帧图像。
可以理解的是,该RAW图像转换电路根据初始RAW帧图像中各像素的分布位置,确定各像素的初始颜色分量的缓存位置,并基于缓存位置输出对应像素的插值计算阵列,然后根据插值计算阵列,生成待转换像素的标的颜色分量,再根据缓存位置对应输出非转换像素的初始颜色分量、待转换像素的标的颜色分量,可以将初始RAW帧图像转换为对应RAW格式的标的RAW帧图像。
如图2所示,在其中一个实施例中,插值计算阵列包括第一插值计算子阵列和第二插值计算子阵列;输入处理单元100基于缓存位置输出对应像素的第一插值计算子阵列;逻辑转换单元200根据第一插值计算子阵列,得出对应的第二插值计算子阵列,以及根据第二插值计算子阵列生成待转换像素的标的颜色分量。
如图2所示,在其中一个实施例中,输入处理单元100包括缓存单元110和第一控制单元120;缓存单元110用于接入并缓存各像素的初始颜色分量;第一控制单元120与缓存单元110连接,用于按照分布位置,控制各像素的初始颜色分量存储至对应的缓存位置,并基于缓存位置和选择算法控制缓存单元110输出对应像素的第一插值计算子阵列。
如图2所示,在其中一个实施例中,逻辑转换单元200包括第一寄存阵列单元210和第二控制单元220;第一寄存阵列单元210与缓存单元110连接,用于寄存第一插值计算子阵列;第二控制单元220与第一寄存阵列单元210连接,用于根据第一插值计算子阵列和第一插值算法,生成且输出对应的第二插值计算子阵列。
如图2所示,在其中一个实施例中,逻辑转换单元200还包括第二寄存阵列单元230和第三控制单元240;第二寄存阵列单元230与第一寄存阵列单元210连接,用于寄存第二插值计算子阵列;第三控制单元240与第二寄存阵列单元230连接,用于根据第二插值计算子阵列和第二插值算法,生成待转换像素的标的颜色分量。
如图2所示,在其中一个实施例中,寄存输出单元300包括1*1寄存器阵列310,1*1寄存器阵列310与第二寄存阵列单元230连接,用于寄存并输出标的颜色分量或者初始颜色分量。
在其中一个实施例中,第一插值计算子阵列是基于缓存位置,以对应像素的初始颜色分量为中心,选取周边像素的初始颜色分量构成的9*9像素阵列。
在其中一个实施例中,第二插值计算子阵列是基于第一插值算法生成的5*5像素阵列。
基于上述,本申请中的RAW图像转换电路具体还可以为如下所述:
上述缓存单元110具体可以为9块RAM(Random Access Memory,随机存取存储器)所构成的9条线缓存,其作用是同时分别对应缓存初始RAW帧图像中9行像素的初始颜色分量。第一控制单元120用于控制初始颜色分量在缓存单元110中的输入和输出。
具体地,缓存单元110可以缓存连续的9行,例如可以缓存第1~9行。第10行像素逐个来到时,就逐个覆盖第1行的像素。缓存单元110是一次输出9个像素,它们属于9个不同行的一列。通过第一控制单元120,对这9个像素的顺序的调整,始终输出行号连续的9个像素。例如缓存单元110输出的可能是第10,2,3…9行同一列的像素,第一控制单元120把它调整为2,3,4…9,10行同一列的像素。这样做的好处是,有新的一行来到时,不用把所有RAM里的数据都移动出来也可以保持像素位置的正确。
第一寄存阵列单元210为一个9x9大小的寄存器阵列。第二控制单元220把第一寄存阵列单元210中寄存的第一插值计算子阵列,即该第一插值计算子阵列为初始RAW帧图像中像素的初始颜色分量所构成的像素阵列,经过第一插值算法计算得到第二插值计算子阵列,该第二插值计算子阵列寄存在第二寄存阵列单元230,该第二寄存阵列单元230为一个5x5大小的寄存器阵列,它用来存储每个像素的第二插值计算子阵列,每个时钟周期更新一次。如果当前像素为非转换像素,则不需要对应的插值计算,也就是不需要得出对应的第二插值计算子阵列,那么仅需要更新位于第二寄存阵列单元230中心的一个颜色分量值,将其更新为当前像素的颜色分量值即可,换句话说,非转换像素的标的颜色分量与初始颜色分量是相同的,并未发生变化。第三控制单元240为控制第二寄存阵列单元230计算标的颜色分量或传递无需计算的初始颜色分量的组合逻辑电路。寄存输出单元300为1x1寄存器阵列,用于寄存并输出标的颜色分量或者初始颜色分量,并作为RAW图像转换电路的输出。
可以理解的是,由于第一控制单元120的存在,使得RAW图像转换电路的输出带宽能够保持稳定,并且相邻帧之间的转换不需要特别设置间隔时间。例如,在一帧的开始阶段,缓存单元110接收完第0、1、2、3行后,正在接收第4行时,第一控制单元120控制缓存单元110向第一寄存阵列单元210输出的是,第n列中第零行至第八行,例如,(0,n), (1,n), (2,n), (3,n), (0,n), (1,n), (2,n), (3,n), (4,n)这些像素的初始颜色分量。如此,第一寄存阵列单元210不必考虑是否需要计算拼接的点,所有点的计算方式均相似。在接下来的时间上,缓存单元110在接收第4行第n列时,寄存输出单元300即1x1寄存器阵列在寄存并输出第0行第n列。在第二帧开始时,缓存单元110正在接收第零行时,第一控制单元120控制缓存单元110向第一寄存阵列单元210输出的是(m-7,n), (m-6,n), (m-5,n), (m-4,n), (m-3,n), (m-2,n), (m-1,n), (m,n), (m-3,n)这些像素的初始颜色分量,m指对应帧的最后一行,在此表示第一帧的最后一行。
时间上缓存单元110在接收第2帧第0行第n列时,1x1寄存器阵列在寄存并输出第一帧第m-3行第n列对应的颜色分量,其为对应像素的初始颜色分量或者标的颜色分量。缓存单元110在接收第二帧第1行第n列时,1x1寄存器阵列在寄存并输出第一帧第m-2行第n列对应的颜色分量,其为对应像素的初始颜色分量或者标的颜色分量。缓存单元110在接收第二帧第2行第n列时,1x1寄存器阵列在寄存并输出第一帧第m-1行第n列对应的颜色分量,其为对应像素的初始颜色分量或者标的颜色分量。缓存单元110在接收第二帧第3行第n列时,1x1寄存器阵列在寄存并输出第一帧第m行第n列对应的颜色分量,其为对应像素的初始颜色分量或者标的颜色分量。这样9个RAM始终都在使用当中,提高了利用效率;并且避免了这种情况:在一帧结束时,输入一个像素的初始颜色分量,可以对应输出4行像素的颜色分量;因此,下一帧中第一个像素的初始颜色分量的输入需要等待4行像素的颜色分量的输出时间。这样做的好处是:摄像头可以流式连续输出,无需设计拥挤等待这个功能;而且传输总线可以根据平均带宽来设计,无需设计过多的带宽余量。
如图3所示,需要进行说明的是,由于图像是每个时钟周期输入一个像素的,并且是逐行输入的,任何关系到多于一像素点的计算都需要缓存。本申请描述的RAW图像转换电路的输出也是每个时钟周期逐行输出一个像素的,这样不改变相机与ISP之间连接的方式,更加便于集成。
缓存单元110逐行接收像素的初始颜色分量并缓存在RAM中,第一控制单元120在控制接收像素的初始颜色分量并写入对应的RAM的同时,每个时钟周期从不同的RAM中读出9个像素。写入RAM时,对于9个RAM是写满一个再写下一个,每个RAM恰好存储一行像素的初始颜色分量,读出时是每个RAM同时输出一个像素的初始颜色分量。同时输出的是位于不同行像素的9个初始颜色分量。这个设计使得缓存单元110存储的恰好是图像上的一个9x9像素对应的第一插值计算子阵列,每个时钟周期向右滑动一个像素的距离。
因为每计算一个标的颜色分量,需要知道当前像素后面的4行零4个像素对应的颜色分量,所以本申请描述的RAW图像转换电路的输出比输入有4行零4个像素的延迟。
例如,在初始RAW帧图像的开始一行,用来输入缓存单元110的像素行号是第1、2、3、4、0、1、2、3、4行。第0行表示初始RAW帧图像的开始一行,也就是说用1、2、3、4行来代替0行之前没有像素的位置。在每一行的最左侧,存入缓存单元110的像素列号是第1、2、3、4、0、1、2、3、4列。在每一行的最右侧,存入缓存单元110的列号是第N-5、N-4、N-3、N-2、N-1、N-5、N-4、N-3、N-2列,其中,N为RAW帧图像的像素列数。这样的设计是因为RAW图像转换电路的输入是每个时钟周期一个像素,这样连续进行的,一张图和下一张图之间没有间隔时间。RAW图像转换电路需要从计算上一张图的最后一个像素的颜色分量立刻切换至计算下一张图第一个像素的状态。9个RAM中有5个是对应存储上一张图中五行像素的初始颜色分量,9个RAM中另外4个是对应存储下一张图中四行像素的初始颜色分量。例如,这时正在计算上一张图中倒数第5个像素:9个RAM中有5行零4个像素的初始颜色分量是上一张图的,3行零N-4个像素的初始颜色分量是下一张图的。这时正在计算上一张图最后一个像素的初始颜色分量:9个RAM中有5行零5个像素的初始颜色分量是上一张图的,3行零N-5个像素的初始颜色分量是下一张图的,这时正在计算下一张图第一个像素的初始颜色分量。
如图4所示,在其中一个实施例中,像素的分布位置位于初始RAW帧图像的周边,不足以形成对应的插值计算阵列时,在像素的初始颜色分量的缓存位置的周边,虚补至少一个4*4像素阵列,该4*4像素阵列为如图4中左上角粗框线所示;4*4像素阵列为插值计算阵列中的前四行颜色分量与前四列颜色分量构成的像素阵列。
请参阅图1至图10,在其中一个实施例中,本申请提供的RAW图像转换电路为一个数字电路,其功能是把RGBIr4x4格式的RAW图像转换为RGBIr2x2格式的RAW图像。
本申请提供的RAW图像转换方法同样是把RGBIr4x4格式的RAW图像转换为RGBIr2x2格式的RAW图像。其具体转换过程,如下所述:
如图5所示,其上所示的每一个小方格表示一个像素,一张RAW图像一般是1920x1080个像素或其他常用大小。RAW图像的每一个像素只有一个颜色分量,经过ISP处理后,每个像素具有多个颜色分量,因此,可用于图像的显示。例如R(Red,红)、G(Green,绿)、B(Blue,蓝)三个颜色分量。RAW图像每一个像素只有一个颜色分量,这个分量可能是R也可能是G,也可能是B或Ir(红外光颜色分量)。像素在帧图像上的位置决定了其所具有的颜色分量。图5中B代表这个位置的像素拥有蓝色分量,G代表这个位置的像素拥有绿色分量,R代表这个位置的像素拥有红色分量,Ir代表这个位置的像素拥有灰紫色分量。可以看到RGBIr4x4的像素排列是按照初始像素重复阵列进行循环重复的,该初始像素重复阵列可以但不限于为如图5中粗线框所构成的包围区域,其与图7中所示是对应的。该初始像素重复阵列还可以为,如图5中所示的粗线框下移一行像素,同时右移一列像素所构成的包围区域。该初始像素重复阵列是一个4x4的像素阵列。
RGBIr2x2格式的RAW图像中的像素排列是按照标的像素重复阵列进行循环重复的,该标的像素重复阵列如图6中粗线框所构成的包围区域,其是一个2x2的像素阵列。其中,Ir代表这个位置的像素拥有红外光颜色分量。
这个转换过程的工作也是每个4x4方格循环重复一次。如图7中的标号所示,通过插值的方法计算出B03和B21位置的R分量,并采用该R分量代替原来的B分量。然后计算出Ir10、Ir12、Ir30、Ir32位置的B分量,并采用该B分量代替原来的Ir分量。然后再计算出G11、G13、G31、G33位置的Ir分量,并采用该Ir分量代替原来的G分量。其它像素的颜色分量保持不变。
每一个像素对应的标的颜色分量的具体插值计算都是根据其周围像素的初始颜色分量计算出当前像素的标的颜色分量的。经过反复计算实验,在视觉效果和计算视实现难度上有所取舍,得到的插值算法,可以分为两个步骤完成。其中,第一个步骤:由当前像素点周围9x9方块81个像素点的初始颜色分量计算出一个5x5的G-plane;第二个步骤:根据G-plane计算出该当前像素需要插值的标的颜色分量。
其中,计算G-plane的方法如下:
根据当前像素的颜色分量在重复单元中的位置不同,计算G-plane的方法也不同;G-plane上每个点的计算方法也不同。
例如,如图8中第二行的第一个图所示,B03和B21这两个点,它们的G-plane计算方法如图8中第二行的第四个图(即第二行最右边的图)所示:B03和B21这两个点的G-plane是5x5的方块,G-plane上有25个像素点,如图8中第二行的第二个图表示的四个灰的像素点Ir11、Ir13、Ir31以及Ir33,这四个G-plane上的点的计算方法是9点插值,如图8中第一行的第一个图所示,其本身的值(假设为1)乘以8减去周围8个点的值(-1),根据设置再加上与中心点最近的四个点的值(1),根据设置也可能不加这四个点的值,这样可以得到这四个G-plane上的点。
例如,B03和B21这两个点,它们的G-plane计算方法如图8中第二行的第四个图所示:B03和B21这两个点的G-plane是5x5的方块,G-plane上有25个像素点,如图8中第二行的第三个图表示的9个红和蓝的像素点B00、R02、B04、R20、B22、R24、B40、R42以及B44,这9个G-plane上的点的计算方法是5点插值,如图8中第一行的第二个图所示,其本身的值(假设为1)乘以4减去周围4个点的值(-1),根据设置再加上与中心点最近的四个点的值(1),根据设置也可能不加这四个点值(1),这样得到这9个G-plane上的点所对应的颜色分量。
例如,B03和B21这两个点,它们的G-plane计算方法如图8中第二行的第四个图所示:B03和B21这两个点的G-plane是5x5的方块,G-plane上有25个像素点,如图8中第二行的第四个图表示的12个绿的像素点G10、G12、G14、G21、G23、G30、G32、G34、G41以及G43,这12个G-plane上的点直接复制原图上的值,因为这12个位置本来的颜色分量就是G。
G-plane的大小是5x5,计算G-plane上的点时,也是根据自身位置周围5x5的像素方块,所以,在这个算法中,计算一个点关系到周围9x9的方块内的像素点的值。
每个需要转换计算的点都有自己的G-plane,当得到这个G-plane后,可以根据G-plane计算出所需的插值结果。计算方法如图9中第一行的第四个图所示:如果是B03、B21这两个点的话,就把G-plane上的R02、Ir13、R24、Ir33、R42、Ir31、R20、Ir11均乘以-1,可以根据设置再加上R02、R24 、R42、R20这四个点的值与一个系数的乘积,也可以根据设置不加,然后再加上G12、G23、G32、GB21与-2的乘积,然后再加上B22与16的乘积,这样来得到B03或B21点的最后计算结果。
图9中第二行的四个小图表示Ir10、Ir12、Ir30、Ir32这四个点由G-plane得出最后结果的流程示意图。其与前述相似,在此不再赘述。
图9中第三行的四个小图表示G11、G13、G31、G33四个点由G-plane得出最后结果的流程示意图。其与前述相似,在此不再赘述。
如图4所示,图像边缘处的插值,由于计算一个点的转换后的值需要这个点周围9x9方块内81个点的值,对于第0行第0列这个点来说,所需的9x9方块内有些点没有值,当前算法采用把最初4行和4列重复一次拼上去,这样来填补空缺之处,这个方法使得边缘的点也能够计算插值,并且图像视觉上没有颜色或纹路异常的边缘。其中,图4中左上角的粗框线区域为填补空缺的区域,对应补充右下角粗框线区域中首行首列的点(0,0)。
如图10所示,在其中一个实施例中,基于上述,本申请提供一种RAW图像转换方法,其包括以下步骤:
步骤S10:根据初始RAW帧图像中各像素的分布位置,确定具有初始颜色分量的各像素的缓存位置,并基于缓存位置输出对应像素的插值计算阵列,像素包括待转换像素和非转换像素中的至少一种。
步骤S20:根据插值计算阵列,生成具有标的颜色分量的待转换像素。
以及步骤S30:根据缓存位置对应输出具有初始颜色分量的非转换像素和具有标的颜色分量的待转换像素中的至少一种。
可以理解的是,本实施例中的RAW图像转换方法是基于分布位置接入的对应像素流,并根据对应的缓存位置输出的对应像素流,因此,其支持像素流的流式输入和流式输出,帧图像之间不需要存在间隔,提高了转换效率;且其既可以将不需要进行转换的图像直接流式输出,也可以根据对应像素的缓存位置进行转换后流式输出对应的RAW格式的标的RAW帧图像。
需要进行说明的是,在本申请的RAW图像转换电路及RAW图像转换方法中,处理的均为对应的像素数据,其中,示意出的对应颜色分量仅为像素数据之一。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
以上对本申请实施例所提供的RAW图像转换电路及RAW图像转换方法进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想;本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。

Claims (10)

1.一种RAW图像转换电路,其特征在于,包括:
输入处理单元,用于根据初始RAW帧图像中各像素的分布位置,确定具有初始颜色分量的各像素的缓存位置,并基于所述缓存位置输出对应像素的插值计算阵列,所述像素包括待转换像素和非转换像素中的至少一种;
逻辑转换单元,与所述输入处理单元连接,用于根据所述插值计算阵列,生成具有标的颜色分量的所述待转换像素;以及
寄存输出单元,与所述逻辑转换单元连接,用于根据所述缓存位置对应输出具有所述初始颜色分量的非转换像素和具有所述标的颜色分量的待转换像素中的至少一种。
2.根据权利要求1所述的RAW图像转换电路,其特征在于,所述插值计算阵列包括第一插值计算子阵列和第二插值计算子阵列;所述输入处理单元基于所述缓存位置输出对应像素的所述第一插值计算子阵列;所述逻辑转换单元根据所述第一插值计算子阵列,得出对应的第二插值计算子阵列,以及根据所述第二插值计算子阵列生成具有所述标的颜色分量的待转换像素。
3.根据权利要求2所述的RAW图像转换电路,其特征在于,所述输入处理单元包括:
缓存单元,用于接入并缓存具有所述初始颜色分量的各像素;和
第一控制单元,与所述缓存单元连接,用于按照所述分布位置,控制具有所述初始颜色分量的各像素存储至对应的缓存位置,并基于所述缓存位置和选择算法控制所述缓存单元输出对应像素的第一插值计算子阵列。
4.根据权利要求3所述的RAW图像转换电路,其特征在于,所述逻辑转换单元包括:
第一寄存阵列单元,与所述缓存单元连接,用于寄存所述第一插值计算子阵列;和
第二控制单元,与所述第一寄存阵列单元连接,用于根据所述第一插值计算子阵列和第一插值算法,生成且输出对应的第二插值计算子阵列。
5.根据权利要求4所述的RAW图像转换电路,其特征在于,所述逻辑转换单元还包括:
第二寄存阵列单元,与所述第一寄存阵列单元连接,用于寄存所述第二插值计算子阵列;和
第三控制单元,与所述第二寄存阵列单元连接,用于根据所述第二插值计算子阵列和第二插值算法,生成具有所述标的颜色分量的待转换像素。
6.根据权利要求5所述的RAW图像转换电路,其特征在于,所述寄存输出单元包括1*1寄存器阵列,所述1*1寄存器阵列与所述第二寄存阵列单元连接,用于寄存并输出具有所述标的颜色分量的待转换像素和具有所述初始颜色分量的非转换像素中的至少一种。
7.根据权利要求2所述的RAW图像转换电路,其特征在于,所述第一插值计算子阵列是基于所述缓存位置,以具有所述初始颜色分量的对应像素为中心,选取具有所述初始颜色分量的周边像素构成的9*9像素阵列。
8.根据权利要求7所述的RAW图像转换电路,其特征在于,所述第二插值计算子阵列是基于第一插值算法生成的5*5像素阵列。
9.根据权利要求1至8任一项所述的RAW图像转换电路,其特征在于,所述像素的分布位置位于所述初始RAW帧图像的周边,不足以形成对应的所述插值计算阵列时,在具有所述初始颜色分量的像素的缓存位置的周边,虚补至少一个4*4像素阵列;所述4*4像素阵列为所述插值计算阵列中的前四行颜色分量与前四列颜色分量构成的像素阵列。
10.一种RAW图像转换方法,其特征在于,包括:
根据初始RAW帧图像中各像素的分布位置,确定具有初始颜色分量的各像素的缓存位置,并基于所述缓存位置输出对应像素的插值计算阵列,所述像素包括待转换像素和非转换像素中的至少一种;
根据所述插值计算阵列,生成具有标的颜色分量的所述待转换像素;以及
根据所述缓存位置对应输出具有所述初始颜色分量的非转换像素和具有所述标的颜色分量的待转换像素中的至少一种。
CN202110141248.XA 2021-02-02 2021-02-02 Raw图像转换电路及raw图像转换方法 Active CN112468789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110141248.XA CN112468789B (zh) 2021-02-02 2021-02-02 Raw图像转换电路及raw图像转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110141248.XA CN112468789B (zh) 2021-02-02 2021-02-02 Raw图像转换电路及raw图像转换方法

Publications (2)

Publication Number Publication Date
CN112468789A true CN112468789A (zh) 2021-03-09
CN112468789B CN112468789B (zh) 2021-04-23

Family

ID=74802391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110141248.XA Active CN112468789B (zh) 2021-02-02 2021-02-02 Raw图像转换电路及raw图像转换方法

Country Status (1)

Country Link
CN (1) CN112468789B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6356276B1 (en) * 1998-03-18 2002-03-12 Intel Corporation Median computation-based integrated color interpolation and color space conversion methodology from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space
US20030034984A1 (en) * 2001-08-10 2003-02-20 Nobuo Murata Apparatus and method of registration correction for video signal processor and a television camera having registration correcting function
US20040218073A1 (en) * 2003-04-30 2004-11-04 Nokia Corporation Color filter array interpolation
CN1917616A (zh) * 2005-08-17 2007-02-21 宾得株式会社 摄影装置
CN101360247A (zh) * 2008-09-18 2009-02-04 北京中星微电子有限公司 一种图像插值的方法
CN103379343A (zh) * 2012-04-12 2013-10-30 索尼公司 图像处理装置、图像处理方法和程序
CN103765876A (zh) * 2011-08-31 2014-04-30 索尼公司 图像处理设备以及图像处理方法和程序
CN106447597A (zh) * 2016-11-02 2017-02-22 上海航天控制技术研究所 一种基于并行流水机制的高分辨图像加速处理方法
CN108460805A (zh) * 2018-01-18 2018-08-28 西安理工大学 一种利用传统数码相机获取rgb和红外图像的方法
US10750195B2 (en) * 2017-07-21 2020-08-18 Samsung Electronics Co., Ltd. Electronic device and method for encoding image data therein
CN112261391A (zh) * 2020-10-26 2021-01-22 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6356276B1 (en) * 1998-03-18 2002-03-12 Intel Corporation Median computation-based integrated color interpolation and color space conversion methodology from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space
US20030034984A1 (en) * 2001-08-10 2003-02-20 Nobuo Murata Apparatus and method of registration correction for video signal processor and a television camera having registration correcting function
US20040218073A1 (en) * 2003-04-30 2004-11-04 Nokia Corporation Color filter array interpolation
CN1917616A (zh) * 2005-08-17 2007-02-21 宾得株式会社 摄影装置
CN101360247A (zh) * 2008-09-18 2009-02-04 北京中星微电子有限公司 一种图像插值的方法
CN103765876A (zh) * 2011-08-31 2014-04-30 索尼公司 图像处理设备以及图像处理方法和程序
CN103379343A (zh) * 2012-04-12 2013-10-30 索尼公司 图像处理装置、图像处理方法和程序
CN106447597A (zh) * 2016-11-02 2017-02-22 上海航天控制技术研究所 一种基于并行流水机制的高分辨图像加速处理方法
US10750195B2 (en) * 2017-07-21 2020-08-18 Samsung Electronics Co., Ltd. Electronic device and method for encoding image data therein
CN108460805A (zh) * 2018-01-18 2018-08-28 西安理工大学 一种利用传统数码相机获取rgb和红外图像的方法
CN112261391A (zh) * 2020-10-26 2021-01-22 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端

Also Published As

Publication number Publication date
CN112468789B (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
US6587602B2 (en) Resolution conversion system and method
US7425933B2 (en) Systems and methods for correcting green disparity in imager sensors
JP4317624B2 (ja) 画像処理装置
JP6400331B2 (ja) 表示パネルの駆動装置及び表示パネル駆動方法
JP6251029B2 (ja) 制御装置、画像処理装置、制御方法、およびプログラム
CN112468789B (zh) Raw图像转换电路及raw图像转换方法
US20110170776A1 (en) Image distortion correcting method and image processing apparatus
CN102739918A (zh) 图像处理装置、方法、记录介质和程序
JP4621944B2 (ja) 画像フィルタ装置、方法およびコンピュータプログラム
US6816202B1 (en) Picture frame generating circuit and digital television system using the same
US8194150B2 (en) Moving image processing apparatus and video camera apparatus using the same
JP3272309B2 (ja) 画素補間処理方法及びそのユニット、並びにそれを備えたデジタル画像表示装置
JP6655685B2 (ja) 表示パネルの駆動装置
JP2001086355A (ja) 画像処理装置および記録媒体
JP2010283588A (ja) 高精細映像信号処理装置
JP2012134626A (ja) 画像処理装置、画像処理方法、及び撮像装置
US6801671B1 (en) Controlled image deterioration correction device with reduction/enlargement
JP3444170B2 (ja) フィールド画像補間方法及びフィールド画像補間装置
CN112788310B (zh) 影像处理方法及相关的影像处理电路
JP6415086B2 (ja) 画像処理装置、画像処理方法、及びプログラム
TWI715269B (zh) 影像處理方法及相關的影像處理電路
JP2006154576A (ja) 階調補正装置および階調補正方法
US20220332126A1 (en) Image processing apparatus, method of controlling the same, and storage medium
JP6045247B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JPH0383178A (ja) ディザ画像の拡大処理方式

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant