CN1945627A - 数字舌象色偏校正方法 - Google Patents

数字舌象色偏校正方法 Download PDF

Info

Publication number
CN1945627A
CN1945627A CN 200610113870 CN200610113870A CN1945627A CN 1945627 A CN1945627 A CN 1945627A CN 200610113870 CN200610113870 CN 200610113870 CN 200610113870 A CN200610113870 A CN 200610113870A CN 1945627 A CN1945627 A CN 1945627A
Authority
CN
China
Prior art keywords
prime
value
max
photo
lightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 200610113870
Other languages
English (en)
Other versions
CN100412906C (zh
Inventor
白净
张永红
吴佳
崔珊珊
孙晓静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CNB2006101138705A priority Critical patent/CN100412906C/zh
Publication of CN1945627A publication Critical patent/CN1945627A/zh
Application granted granted Critical
Publication of CN100412906C publication Critical patent/CN100412906C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Of Color Television Signals (AREA)

Abstract

本发明涉及舌象色偏的数字校正方法,其特征在于,依次含有以下步骤:对用闪光灯拍摄的Macbeth色校准比色卡图像进行白平衡校正后转入色调,饱和度,明度空间,与色卡的标准值比较得到相应的调整参数;再用数码相机拍摄舌象图片,再按上述方法调整白平衡后转入色调,饱和度,明度空间,用上述求出的调整参数对色调,饱和度,饱和度进行调整后,转化回红,绿,蓝空间;最后用gamma值对红绿蓝空间的图片进行调整。曲线校正值gamma值是通过Macbeth色卡标准值的明度值和色卡照片中的明度平均值用最小二乘法为标准进行拟合的。试验证明,本方法更确切地反映了舌头的真实颜色,得到了医生的认可。

Description

数字舌象色偏校正方法
技术领域
本发明属于舌象色偏的数字校正方法范畴。
背景技术
从20世纪80年代中后期开始,中医工作者和数字图像工作者开始联合,尝试以计算机技术为基础进行舌诊客观化研究。研究主要集中在舌头照片颜色的校准,存储和输出和用现代图像处理分析技术对舌头的照片进行处理等方面。其中,舌头的颜色是舌诊中最重要的信息。使用数码相机强制闪光模式拍摄的舌象,虽然能够利用闪光灯的强光线屏蔽自然光线干扰,但是闪光灯的强光照射舌头表面,会使舌象的整体颜色产生偏差,整个舌象偏向红黄的暖色调,因此需要通过一定的方法来校正此偏差。
本方法利用修正数码照片颜色常用的Macbeth24色标准比色卡,该比色卡经过特殊工艺处理,表面具有和皮肤相近的反射光谱,通过照片中Macbeth24比色卡的颜色和真实比色卡颜色的比对,设计出一系列校准参数,用于校准拍摄的舌头图片。
发明内容
本发明的目的在于校正舌象拍摄时,由强闪光灯造成的色偏,提供一套通用的舌象颜色校正的计算机方法。
本发明的特征在于:
步骤(1),在强制闪光条件下,用数码相机拍摄N张Macbeth色卡,N=10~15张,并把照片输入计算机;
步骤(2),计算机对N张Macbeth色卡照片校正白平衡:
若:所述N张照片Macbeth色卡照片表示为f1(x,y),f2(x,y)...fN(x,y)该照片中每一幅图像表示为:fi(x,y)=[Ri(x,y),Gi(x,y),Bi(x,y)],i=1...NRi(x,y),Gi(x,y),Bi(x,y)分别代表在采样点(x,y)的红色、绿色、蓝色的值;则校正白平衡后各照片相应的图片表示为:
fi′=[Ri′(x,y),Gi′(x,y),Bi′(x,y)],
R i ′ ( x , y ) = 255 Max ( R i ( x , y ) ) * R i ( x , y )
其中, G i ′ ( x , y ) = 255 Max ( G i ( x , y ) ) * G i ( x , y )
B i ′ ( x , y ) = 255 Max ( B i ( x , y ) ) * B i ( x , y )
其中,Max(Ri(x,y)),Max(Gi(x,y))和Max(Bi(x,y))分别表示在图像fi(x,y)中,红色通道、绿色通道和蓝色通道的最大值;
步骤(3),把将在RGB空间表示的fi′(x,y)和Macbeth色卡颜色转入HSV空间表示,HSV分别表示色调,饱和度和明度:
步骤(3.1),把fi′(x,y)=[Ri′(x,y),Gi′(x,y),Bi′(x,y)]转换到HSV空间:
H i ′ ( x , y ) = cos - 1 [ ( R i ′ ( x , y ) - G i ′ ( x , y ) ) + ( R i ′ ( x , y ) - B i ′ ( x , y ) ) 2 ( R i ′ ( x , y ) - G i ′ ( x , y ) ) 2 + ( R i ′ ( x , y ) - B i ′ ( x , y ) ) * ( G i ′ ( x , y ) - B i ′ ( x , y ) ) ]
S i ′ ( x , y ) = Max ( R i ′ ( x , y ) , G i ′ ( x , y ) , B i ′ ( x , y ) ) - Min ( R i ′ ( x , y ) , G i ′ ( x , y ) , B i ′ ( x , y ) ) Max ( R i ′ ( x , y ) , G i ′ ( x , y ) , B i ′ ( x , y ) )
Vi′(x,y)=Max(Ri′(x,y),Gi′(x,y),Bi′(x,y))
所述Hi′(x,y),Si′(x,y),Vi′(x,y)分别表示转换后第i幅图像在采样点(x,y)的色调、饱和度、明度三个通道的值,而Ri′(x,y),Gi′(x,y),Bi′(x,y)分别表示调整白平衡后第i幅图像在采样点(x,y)的红、绿、蓝三个通道的值,校正白平衡后图像的HSV通道表示为:
fi′(x,y)=[Hi′(x,y),Si′(x,y),Vi′(x,y)]
步骤(3.2),把Macbeth色卡的标准值Mj转入HSV空间,
Mj=[MRj,MGj,MBj],j=1~24
MH j = cos - 1 [ ( MR j - MG j ) + ( MR j - MB j ) 2 ( MR j - MG j ) 2 + ( MR j - MG j ) ( MR j - MB j ) ]
MS j = Max ( MR j , MG j , MB j ) - Min ( MR j , MG j , MB j ) Max ( MR j , MG j , MB j )
MVj=Max(MRj,MGj,MBj)
其中,MRj,MGj,MBj分别表示色卡第j个色块的红、绿、蓝三个通道的值,
MHj,MSj,MVj分别表示转换后第j个色块的色调、饱和度、明度三个通道的值;
得到:色卡标准值的HSV空间表达方式:Mj=[MHj,MSj,MVj],j=1~24;
步骤(4),按照以下步骤通过标准Macbeth色卡与色卡照片的值分别求出各调整参数:
步骤(4.1),求出调整白平衡后Macbeth色卡照片色调H通道的平均值,并把其与标准色卡平均色调作比较,得到色调调整参数h:
N副Macbeth照片的色调平均值为 Hav = 1 N Σ i = 1 N Hav i , Havi为调整白平衡后的第i个图像的色调H通道的平均值,
Macbeth色卡的标准色调平均值为 Hst = 1 24 Σ j = 1 24 MH j ,
色调调整参数为h=Hav-Hst;
步骤(4.2),求出调整白平衡后Macbeth色卡照片明度V通道的平均值,并把其与标准色卡平均明度作比较,得到明度调整参数v:
N副Macbeth照片的明度平均值为 Vav = 1 N Σ i = 1 N Vav i , Vavi为调整白平衡后的第i个图像的明度V通道的平均值,
Macbeth色卡的标准明度平均值为 Vst = 1 24 Σ j = 1 24 MV j ,
明度调整参数为v=Vav-Vst;
步骤(4.3),求调整自平衡后Macbeth色卡照片饱和度S通道的平均值,并把其与色卡标准值的饱和度做比较,通过拟合得到饱和度调整参数s:
在N张Macbeth色卡照片中,色块j的饱和度平均值为 Sav j = 1 N Σ i = 1 N fS ij , 其中,fSij为第i幅照片中色块j的饱和度,i=1~N,j=1~24,
色卡中各色块的标准饱和度为MS1,MS2...MS24
饱和度调整参数s为: s = Σ j = 1 24 Sav j * MS j Σ j = 1 24 Sav j 2 ;
步骤(5),求出曲线校正值gamma:
在N张Macbeth色卡照片中,色块j的明度值为 Vav j = 1 N Σ i = 1 N fV ij , 其中,fVij为第i幅照片中色块j的明度,i=1~N,j=1~24,
色卡中各色块的标准明度为Vav1,Vav2...Vav24
曲线校正值gamma为: gamma = Σ j = 1 24 ln ( Vav j ) * ln ( MV j ) Σ j = 1 24 ln ( Vav j ) 2 ;
步骤(6),用数码相机拍摄舌头照片,得到图像It(x,y)=[IR(x,y),IG(x,y),IB(x,y)],其中,IR(x,y),IG(x,y),IB(x,y)分别代表在该图像采样点(x,y)红色、绿色、蓝色的值;步骤(7),校正舌象照片It(x,y)中的白色为纯白色,得到校正后的舌象照片为It′(x,y):
It′(x,y)=[IR′(x,y),IG′(x,y),IB′(x,y)]
IR ′ ( x , y ) = 255 Max ( IR ( x , y ) ) * IR ( x , y )
IG i ′ ( x , y ) = 255 Max ( IG ( x , y ) ) * IG ( x , y )
IB i ′ ( x , y ) = 255 Max ( IB ( x , y ) ) * IB ( x , y )
其中,Max(IR(x,y)),Max(IG(x,y))和Max(IB(x,y))分别表示在图像It(x,y)中,红色通道、绿色通道和蓝色通道的最大值;
步骤(8),将在RGB空间表示的舌象图片转换到用色调H,饱和度S,明度V空间表示
IH ′ ( x , y ) = cos - 1 [ ( IR ′ ( x , y ) - IG ′ ( x , y ) ) + ( IR ′ ( x , y ) - IB ′ ( x , y ) ) 2 ( IR ′ ( x , y ) - IG ′ ( x , y ) ) 2 + ( IR ′ ( x , y ) - IB ′ ( x , y ) ) ( IG ′ ( x , y ) - IB ′ ( x , y ) ) ]
IS ′ ( x , y ) = Max ( IR ′ ( x , y ) , IG ′ ( x , y ) , IB ′ ( x , y ) ) - Min ( IR ′ ( x , y ) , IG ′ ( x , y ) , IB ′ ( x , y ) ) Max ( IR ′ ( x , y ) , IG ′ ( x , y ) , IB ′ ( x , y ) )
IV′(x,y)=Max(IR′(x,y),IG′(x,y),IB′(x,y));
步骤(9),判断在校正白平衡后,舌象图片曝光是否过度,对曝光不足的图片要进行明度均衡:
步骤(9.1),对所述的照片做明度直方图分布:
直方图HistV(t)=Num(IV′(x,y)=t),t=0~255,表示在直方图中,第t个分量代表的意思为在明度图IV′(x,y)中值为t的点的个数;
步骤(9.2),求明度图的峰值PeakV:
PeakV=Max(HistV(t)),t=0~255;
步骤(9.3),判断是否PeakV<thresholdV
其中,thresholdV为设定值取值100,若PeakV≥thresholdV,则对IV′(x,y)不处理,
否则,进入下一个步骤;
步骤(9.4),对图像IV′(x,y)作直方图均衡化,得到 IV ′ ( x , y ) = Σ k = 1 IV ′ ( x , y ) HistV ( IV ′ ( x , y ) ) , k表示明度值的计数器;
步骤(10),根据步骤(4)设定的调整参数h、s、v对HSV空间内的图像进行校正:
IHd(x,y)=IH′(x,y)-h
ISd(x,y)=IS′(x,y)*s;
IVd(x,y)=IV′(x,y)-v
步骤(11),将HSV空间内的图像转化到RGB空间内:
步骤(11.1),设定四个临时变量f,aa,bb,cc帮助转化:
其中,f=IHd-floor(IHd),函数floor(IHd)的意思是取比IHd小的最大的整数,故f表示的是IHd的小数部分,
aa=IVd*(1-ISd)
bb=IVd*(1-(ISd*f))
cc=IVd*(1-(ISd*(1-f)))
步骤(11.2),根据IHd的范围确定IRd,IGd,IBd的值:
IH d ∈ [ 0 ~ π 6 ) , 则IRd=IVd,IGd=cc,IBd=aa
IH d ∈ [ π 6 ~ π 3 ) , 则IRd=bb,IGd=IVd,IBd=aa
IH d ∈ [ π 3 ~ π 2 ) , 则IRd=aa,IGd=IVd,IBd=cc
IH d ∈ [ π 2 ~ 2 π 3 ) , 则IRd=aa,IGd=bb,IBd=IVd
IH d ∈ [ 2 π 3 ~ 5 π 6 ) , 则IRd=cc,IGd=aa,IBd=IVd
IH d ∈ [ 5 π 6 ~ 2 π ) , 则IRd=IVd,IGd=aa,IBd=bb
步骤(12),用曲线校正值gamma对图像进行调整:
IRd′(x,y)=IRd(x,y)gamma
IGd′(x,y)=IGd(x,y)gamma
IBd′(x,y)=IBd(x,y)gamma
得到的调整后图像Itd(x,y)=[IRd′(x,y),IGd′(x,y),IBd′(x,y)]就是调整后的舌象照片。
使用结果证明经过医生目测,确定调整后的图象比未调整的图象更确切的反映了舌头的真实颜色,得到医生的认可。
附图说明
图1:算法流程图;
图2:Macbeth色卡实物图;
图3:Macbeth色卡示意图;
图4:Macbeth色卡真值表;
图5:照片的直方图:(a)曝光未足的照片明度直方图,(b)作直方图均衡化之后的明度直方图;
图6:拍摄的一张舌象照片;
图7:调整白平衡、明度均匀化之后的舌象照片;
图8:调整完的舌象照片结果。
具体实施方式
该方法硬件由一个数码照相机和一台计算机组成。调整算法的软件由Matlab实现。输入的舌头照片由中医大夫用数码相机拍摄,拍摄时病人平伸出舌头,方便医生将整个舌头摄入照片。
Macbeth色卡由24个色块组成,分布为四行六列,按照从左至右,从上到下的顺序排列,如图2所示。依次表示为Mj=[MRj,MGj,MBj],j=1~24,顺序示意图如图3所示。其中,MRj,MGj,MBj分别表示第j个色块中红色,绿色,蓝色通道的数值,其附带说明中列有该卡24个色块的标准值,如图4所示。
采用尼(Sony)Cybershot DSC-W1数码相机,在室内拍照,拍摄时避免强光干扰,同时使用强制闪光灯模式,距离为30厘米左右。拍摄10张Macbeth色卡,将照片输入到计算机中。
对十幅图像调整白平衡,将图像中最亮的颜色调整到(255,255,255),其他颜色作相应的线性调整。再将其转化到HSV空间。
对于转化到HSV空间中的图像,与标准色卡颜色做对比,求出参量。在我们的实验中,得到四个参量分别是h=0.02,s=-5,v=-6,gamma=1.1。
摄入一张舌头的照片,存入计算机。如图6所示。对该照片调整白平衡后,转换到HSV空间。求V通道的直方图,发现该图像属于曝光不足类型,对图像进行明度均衡化,得到图片如图7所示。
再按照这套***得到的参数h=0.02,s=-5,v=-6,gamma=1.1对图像进行相应的调整,最后调整后的结果如图8所示。
本发明具体实施步骤如下:
1.拍摄N张Macbeth色卡
拍摄条件为:在室内拍照,拍摄时避免强光干扰,同时使用强制闪光灯模式,距离为30厘米左右。拍摄N张Macbeth色卡,N=10~15。将照片输入到计算机中。
2.对这N张Macbeth色卡照片校正白平衡
将储存在计算机中的N张照片表示为f1(x,y),f2(x,y)...fN(x,y),其中,对于每一幅图像,fi(x,y)=[Ri(x,y),Gi(x,y),Bi(x,y)],i=1...N。(x,y)代表图像的采样点,Ri(x,y),Gi(x,y),Bi(x,y)分别代表在该采样点红色、绿色、蓝色的值。
由于在数码照片中的纯白色的红、绿、蓝三个颜色的值分别为255,255,255,是图像中最亮的颜色,也是各通道的最大值。为了校正拍摄图像的亮度色偏,在校正图像颜色之前,需要将照片中的白色校正为纯白色,其方法为:
R i ′ ( x , y ) = 255 Max ( R i ) * R i ( x , y )
G i ′ ( x , y ) = 255 Max ( G i ) * G i ( x , y )
B i ′ ( x , y ) = 255 Max ( B i ) * B i ( x , y )
其中,Max(Ri),Max(Gi)和Max(Bi)表示在图像fi(x,y)中,红色通道、绿色通道和蓝色通道的最大值。调整后相应图片表示为fi′=[Ri′(x,y),Gi′(x,y),Bi′(x,y)]。通过调整白平衡,我们得到一系列调整后的图像f1′(x,y),f2′(x,y)...fN′(x,y)。
3.将在RGB(红、绿、蓝)空间表示的fi′(x,y)和色卡颜色Mj=[MRj,MGj,MBj],j=1~24转入HSV(色调,饱和度,明度)空间表示
对于已经校正白平衡的图像fi′(x,y)=[Ri′(x,y),Gi′(x,y),Bi′(x,y)],通过下式将其转换到HSV空间中。
H i ′ ( x , y ) = cos - 1 [ ( R i ′ ( x , y ) - G i ′ ( x , y ) ) + ( R i ′ ( x , y ) - B i ′ ( x , y ) ) 2 ( R i ′ ( x , y ) - G i ′ ( x , y ) ) 2 + ( R i ′ ( x , y ) - B i ′ ( x , y ) ) * ( G i ′ ( x , y ) - B i ′ ( x , y ) ) ]
S i ′ ( x , y ) = Max ( R i ′ ( x , y ) , G i ′ ( x , y ) , B i ′ ( x , y ) ) - Min ( R i ′ ( x , y ) , G i ′ ( x , y ) , B i ′ ( x , y ) ) Max ( R i ′ ( x , y ) , G i ′ ( x , y ) , B i ′ ( x , y ) )
Vi′(x,y)=Max(Ri′(x,y),Gi′(x,y),Bi′(x,y))
其中,Ri′(x,y),Gi′(x,y),Bi′(x,y)分别表示调整白平衡后第i幅图像在采样点(x,y)的红、绿、蓝三个通道的值,Hi′(x,y),Si′(x,y),Vi′(x,y)分别表示转换后第i幅图像在采样点(x,y)的色调、饱和度、明度三个通道的值。由此得到校正白平衡之后图像的HSV通道表示为
fi′(x,y)=[Hi′(x,y),Si′(x,y),Vi′(x,y)]
另外,将对色卡的标准值Mj=[MRj,MGj,MBj],j=1~24也转入到HSV空间。
MH j = cos - 1 [ ( MR j - MG j ) + ( MR j - MB j ) 2 ( MR j - MG j ) 2 + ( MR j - MG j ) ( MR j - MB j ) ]
MS j = Max ( MR j , MG j , MB j ) - Min ( MR j , MG j , MB j ) Max ( MR j , MG j , MB j , )
MVj=Max(MRj,MGj,MBj)
其中,MRj,MGj,MBj分别表示色卡第j个色块的红、绿、蓝三个通道的值,MHj,MSj,MVj分别表示转换后第j个色块的色调、饱和度、明度三个通道的值。从而得到色卡标准值的HSV空间表达方式Mj=[MHj,MSj,MVj],j=1~24。
4.求出调整白平衡后Macbeth色卡照片H(色调)通道的平均值,与色卡平均色调做比较,得到色调调整参数h
用Hav1,Hav2,...HavN表示调整后的各个图像i的H通道的平均值,则N副图像的色调平均值为 Hav = 1 N Σ i = 1 N Hav i · 另外,求色卡标准色调值的平均值 Hst = 1 24 Σ j = 1 24 MH j · 两者的差h=Hav-Hst为调整色度的参数。
5.求出调整白平衡后Macbeth色卡照片V(明度)通道的平均值,与色卡平均明度做比较,得到明度调整参数v
用Vav1,Vav2,...VavN表示调整后的各个图像的V通道的平均值,则N副图像的明度平均值为 Vav = 1 N Σ i = 1 N Vav i · 另外,求色卡标准值的平均值 Vst = 1 24 Σ j = 1 24 MV j · 两者的差v=Vav-Vst为调整明度的参数。
6.求出调整白平衡后Macbeth色卡照片S(饱和度)通道的平均值,与色卡的饱和度做比较,通过拟合得到饱和度调整参数s
在一张调整了白平衡之后的照片fi′(x,y)中,按照位置分别取出24个矩形的色块,如图3所示,求得各个色块内饱和度分别为fSi1,fSi2....fSi24。对采集的所有照片都分别求出24个色块的饱和度之后,再求各个色块对于这N张图片的平均值。
Sav j = 1 N Σ i = 1 N fS ij ·
对于求得的饱和度平均值Sav1,Sav2...Sav24和色卡标准饱和度MS1,MS2...MS24,用最小二乘法标准进行拟和,具体方法为:选取参数s,MSj=s*Savj,使得 δ = Σ j = 1 24 ( s * Sav j - MS j ) 2 的值最小。
s的计算方法为: s = Σ j = 1 24 Sav j * MS j Σ j = 1 24 Sav j 2
7.求出调整白平衡后色卡照片V(明度)通道的平均值,与色卡的明度做比较,通过拟合得到曲线校正值gamma
gamma源于CRT(显示器/电视机)的响应曲线,即其明度与输入电压的非线性关系;
gamma校正相当于对图像进行处理;gamma的变化带来明度的变化,故通过明度V通道来得到gamma的值:
在一张调整了白平衡之后的照片fi′(x,y)中,按照位置分别取出24个矩形的色块,求得各个色块内明度数值分别为fVi1,fVi2....fVi24。对采集的所有照片都分别求出24个色块的明度之后,再求各个色块对于这N张图片的平均值。
Vav j = 1 N Σ i = 1 N fV ij ·
对于求得的明度平均值Vav1,Vav2...Vav24和色卡标准明度MV1,MV2...MV24,用最小二乘法标准进行拟和,具体方法为:选取参数gamma,MVj=Vavj gamma,使得 σ = Σ j = 1 24 ( Vav j gamma - MV j ) 2 的值最小。
gamma的计算方法为 gamma = Σ j = 1 24 ln ( Vav j ) * ln ( MV j ) Σ j = 1 24 ln ( Vav j ) 2 ·
8.用数码相机拍摄舌头照片,存入计算机。
其表示方法为It(x,y)=[IR(x,y),IG(x,y),IB(x,y)],(x,y)代表图像的采样点,IR(x,y),IG(x,y),IB(x,y)分别代表在该采样点红色、绿色、蓝色的值。
9.校正舌象照片白平衡
将舌象照片中的白色校正为纯白色,其方法为:
It′(x,y)=[IR′(x,y),IG′(x,y),IB′(x,y)]
IR ′ ( x , y ) = 255 Max ( IR ) * IR ( x , y )
IG i ′ ( x , y ) = 255 Max ( IG ) * IG ( x , y )
IB i ′ ( x , y ) = 255 Max ( IB ) * IB ( x , y )
其中,Max(IR),Max(IG)和Max(IB)表示在图像It(x,y)中,红色通道、绿色通道和蓝色通道的最大值。通过调整白平衡,我们得到调整后的舌象图片为It′(x,y)。
10.将在RGB空间表示Iti′(x,y)转入HSV(色调,饱和度,明度)空间表示
IH ′ ( x , y ) = cos - 1 [ ( IR ′ ( x , y ) - IG ′ ( x , y ) ) + ( IR ′ ( x , y ) - IB ′ ( x , y ) ) 2 ( IR ′ ( x , y ) - IG ′ ( x , y ) ) 2 + ( IR ′ ( x , y ) - IB ′ ( x , y ) ) ( IG ′ ( x , y ) - IB ′ ( x , y ) ) ]
IS ′ ( x , y ) = Max ( IR ′ ( x , y ) , IG ′ ( x , y ) , IB ′ ( x , y ) ) - Min ( IR ′ ( x , y ) , IG ′ ( x , y ) , IB ′ ( x , y ) ) Max ( IR ′ ( x , y ) , IG ′ ( x , y ) , IB ′ ( x , y ) )
IV′(x,y)=Max(IR′(x,y),IG′(x,y),IB′(x,y))
11.曝光不足的照片进行明度均衡
校正白平衡后的舌象,首先要分析明度直方图分布,如果峰值出现的位置小于事先确定的阈值,对舌象作标记,经过明度均衡,再进行下一步的调节。
统计图像的明度通道IV′(x,y)的直方图。明度通道的取值为0~255。统计明度通道的直方图HistV(t),t=0~255。
直方图的定义为HistV(t)=Num(IV′(x,y)=t),即直方图的第t个分量代表的意思为在明度图IV′(x,y)中,值为t的点的个数。求明度图的峰值PeakV=Max(HistV(t)),t=0~255,图5(a)表示为一个图像的直方图。横坐标为灰度值,取值从0到255,纵坐标为图像中灰度值等于横坐标灰度的像素点的个数。
如果PeakV<thresholdV,则对图像IV′(x,y)作直方图均衡化。均衡化的公式表示为: IV ′ ( x , y ) = Σ k = 1 IV ′ ( x , y ) HistV ( IV ′ ( x , y ) ) , 表示的意思是,一个像素点(x,y)在均衡化之前的灰度是IV′(x,y),那么这一点在均衡化之后的明度值是直方图从灰度值1到灰度值IV′(x,y)的和。式子中的k表示明度值,图5(b)为改图通过直方图均衡变化后的直方图。
如果PeakV≥thresholdV,对IV′(x,y)不进行任何处理。
12.根据设定的参数h、s、v对HSV空间内的图像进行校正;
IHd(x,y)=IH′(x,y)-h
ISd(x,y)=IS′(x,y)*s
IVd(x,y)=IV′(x,y)-v
13.将在HSV空间中的图像转化到RGB空间后再用gamma系数
将HSV转到RGB空间的程序为:
设四个临时变量f,aa,bb,cc来帮助运算,其中
f=IHd-floor(IHd),函数floor(IHd)的意思是取比IHd小的最大的整数,故f表示的是IHd的小数部分
aa=IVd*(1-ISd)
bb=IVd*(1-(ISd*f))
cc=IVd*(1-(ISd*(1-f)))
根据IHd的范围可以确定出IRd,IGd,IBd的值
IH d ∈ [ 0 ~ π 6 ) , 则IRd=IVd,IGd=cc,IBd=aa
IH d ∈ [ π 6 ~ π 3 ) , 则IRd=bb,IGd=IVd,IBd=aa
IH d ∈ [ π 3 ~ π 2 ) , 则IRd=aa,IGd=IVd,IBd=cc
IH d ∈ [ π 2 ~ 2 π 3 ) , 则IRd=aa,IGd=bb,IBd=IVd
IH d ∈ [ 2 π 3 ~ 5 π 6 ) , 则IRd=cc,IGd=aa,IBd=IVd
IH d ∈ [ 5 π 6 ~ 2 π ) , 则IRd=IVd,IGd=aa,IBd=bb
在转入到RGB空间后,再用曲线校正值gamma值对RGB空间的图象进行调整。
IRd′(x,y)=IRd(x,y)gamma
IGd′(x,y)=IGd(x,y)gamma
IBd′(x,y)=IBd(x,y)gamma
得到的调整后图像Itd(x,y)=[IRd′(x,y),IGd′(x,y),IBd′(x,y)]就是调整后的舌象照片。

Claims (1)

1.数字舌象色偏校正方法,其特征在于,依次含有以下步骤:
步骤(1),在强制闪光条件下,用数码相机拍摄N张Macbeth色卡,N=10~15张,并把照片输入计算机;
步骤(2),计算机对N张Macbeth色卡照片校正白平衡:
若:所述N张照片Macbeth色卡照片表示为f1(x,y),f2(x,y)…fN(x,y)
该照片中每一幅图像表示为:fi(x,y)=[Ri(x,y),Gi(x,y),Bi(x,y)],i=1…N
Ri(x,y),Gi(x,y),Bi(x,y)分别代表在采样点(x,y)的红色、绿色、蓝色的值;
则校正白平衡后各照片相应的图片表示为:
fi′=[Ri′(x,y),Gi′(x,y),Bi′(x,y)],
R i ′ ( x , y ) = 255 Max ( R i ( x , y ) ) * R i ( x , y )
其中, G i ′ ( x , y ) = 255 Max ( G i ( x , y ) ) * G i ( x , y )
B i ′ ( x , y ) = 255 Max ( B i ( x , y ) ) * B i ( x , y )
其中,Max(Ri(x,y)),Max(Gi(x,y))和Max(Bi(x,y))分别表示在图像fi(x,y)中,红色通道、绿色通道和蓝色通道的最大值;
步骤(3),把将在RGB空间表示的fi′(x,y)和Macbeth色卡颜色转入HSV空间表示,HSV分别表示色调,饱和度和明度:
步骤(3.1),把fi′(x,y)=[Ri′(x,y),Gi′(x,y),Bi′(x,y)]转换到HSV空间:
H i ′ ( x , y ) = cos - 1 [ ( R i ′ ( x , y ) - G i ′ ( x , y ) ) + ( R i ′ ( x , y ) - B i ′ ( x , y ) ) 2 ( R i ′ ( x , y ) - G i ′ ( x , y ) ) 2 + ( R i ′ ( x , y ) - B i ′ ( x , y ) ) * ( G i ′ ( x , y ) - B i ′ ( x , y ) ) ]
S i ′ ( x , y ) = Max ( R i ′ ( x , y ) , G i ′ ( x , y ) , B i ′ ( x , y ) ) - Min ( R i ′ ( x , y ) , G i ′ ( x , y ) , B i ′ ( x , y ) ) Max ( R i ′ ( x , y ) , G i ′ ( x , y ) , B i ′ ( x , y ) )
Vi′(x,y)=Max(Ri′(x,y),Gi′(x,y),Bi′(x,y))
所述Hi′(x,y),Si′(x,y),Vi′(x,y)分别表示转换后第i幅图像在采样点(x,y)的色调、饱和度、明度三个通道的值,而Ri′(x,y),Gi′(x,y),Bi′(x,y)分别表示调整白平衡后第i幅图像在采样点(x,y)的红、绿、蓝三个通道的值,校正白平衡后图像的HSV通道表示为:
fi′(x,y)=[Hi′(x,y),Si′(x,y),Vi′(x,y)]
步骤(3.2),把Macbeth色卡的标准值Mj转入HSV空间,
Mj=[MRj,MGj,MBj],j=1~24
MH j = cos - 1 [ ( MR j - MG j ) + ( MR j - MB j ) 2 ( MR j - MG j ) 2 + ( MR j - MG j ) ( MR j - MB j ) ]
MS j = Max ( MR j , MG j , MB j ) - Min ( MR j , MG j , MB j ) Max ( MR j , MG j , MB j )
MVj=Max(MRj,MGj,MBj)
其中,MRj,MGj,MBj分别表示色卡第j个色块的红、绿、蓝三个通道的值,
MHj,MSj,MVj分别表示转换后第j个色块的色调、饱和度、明度三个通道的值;
得到:色卡标准值的HSV空间表达方式:Mj=[MHj,MSj,MVj],j=1~24;
步骤(4),按照以下步骤通过标准Macbeth色卡与色卡照片的值分别求出各调整参数:
步骤(4.1),求出调整白平衡后Macbeth色卡照片色调H通道的平均值,并把其与标准色卡平均色调作比较,得到色调调整参数h:
N副Macbeth照片的色调平均值为 Hav = 1 N Σ i = 1 N Hav i , Havi为调整白平衡后的第i个图像的色调H通道的平均值,
Macbeth色卡的标准色调平均值为 Hst = 1 24 Σ j = 1 24 MH j ,
色调调整参数为h=Hav-Hst;
步骤(4.2),求出调整白平衡后Macbeth色卡照片明度V通道的平均值,并把其与标准色卡平均明度作比较,得到明度调整参数v:
N副Macbeth照片的明度平均值为 Vav = 1 N Σ i = 1 N Vav i , Vavi为调整白平衡后的第i个图像的明度V通道的平均值,
Macbeth色卡的标准明度平均值为 Vst = 1 24 Σ j = 1 24 MV j ,
明度调整参数为v=Vav-Vst;
步骤(4.3),求调整白平衡后Macbeth色卡照片饱和度S通道的平均值,并把其与色卡标准值的饱和度做比较,通过拟合得到饱和度调整参数s:
在N张Macbeth色卡照片中,色块j的饱和度平均值为 Sav j = 1 N Σ i = 1 N f S ij , 其中,fSij为第i幅照片中色块j的饱和度,i=1~N,j=1~24,
色卡中各色块的标准饱和度为MS1,MS2…MS24
饱和度调整参数s为: s = Σ j = 1 24 Sav j * MS j Σ j = 1 24 Sav j 2 ;
步骤(5),求出曲线校正值gamma:
在N张Macbeth色卡照片中,色块j的明度值为 Vav j = 1 N Σ i = 1 N f V ij , 其中,fVij为第i幅照片中色块j的明度,i=1~N,j=1~24,
色卡中各色块的标准明度为Vav1,Vav2…Vav24
曲线校正值gamma为: Σ j = 1 24 ln ( Vav j ) * ln ( MV j ) Σ j = 1 24 ln ( Vav j ) 2 ;
步骤(6),用数码相机拍摄舌头照片,得到图像It(x,y)=[IR(x,y),IG(x,y),IB(x,y)],其中,IR(x,y),IG(x,y),IB(x,y)分别代表在该图像采样点(x,y)红色、绿色、蓝色的值;步骤(7),校正舌象照片It(x,y)中的白色为纯白色,得到校正后的舌象照片为It′(x,y):
It′(x,y)=[IR′(x,y),IG′(x,y),IB′(x,y)]
IR ′ ( x , y ) = 255 Max ( IR ( x , y ) ) * IR ( x , y )
I G i ′ ( x , y ) = 255 Max ( IG ( x , y ) ) * IG ( x , y )
I B i ′ ( x , y ) = 255 Max ( IB ( x , y ) ) * IB ( x , y )
其中,Max(IR(x,y)),Max(IG(x,y))和Max(IB(x,y))分别表示在图像It(x,y)中,红色通道、绿色通道和蓝色通道的最大值;
步骤(8),将在RGB空间表示的舌象图片转换到用色调H,饱和度S,明度V空间表示
I H ′ ( x , y ) = cos - 1 [ ( IR ′ ( x , y ) - IG ′ ( x , y ) ) + ( IR ′ ( x , y ) - IB ′ ( x , y ) ) 2 ( IR ′ ( x , y ) - IG ′ ( x , y ) ) 2 + ( IR ′ ( x , y ) - IB ′ ( x , y ) ) * ( I G ′ ( x , y ) - IB ′ ( x , y ) ) ]
I S ′ ( x , y ) = Max ( I R ′ ( x , y ) , IG ′ ( x , y ) , IB ′ ( x , y ) ) - Min ( IR ′ ( x , y ) , I G ′ ( x , y ) , I B ′ ( x , y ) ) Max ( IR ′ ( x , y ) , I G ′ ( x , y ) , I B ′ ( x , y ) )
IV′(x,y)=Max(IR′(x,y),IG′(x,y),IB′(x,y));
步骤(9),判断在校正白平衡后,舌象图片曝光是否过度,对曝光不足的图片要进行明度均衡:
步骤(9.1),对所述的照片做明度直方图分布:
直方图HistV(t)=Num(IV′(x,y)=t),t=0~255,表示在直方图中,第t个分量代表的意思为在明度图IV′(x,y)中值为t的点的个数;
步骤(9.2),求明度图的峰值PeakV:
PeakV=Max(HistV(t)),t=0~255;
步骤(9.3),判断是否PeakV<thresholdV
其中,thresholdV为设定值取值100,若PeakV≥thresholdV,则对IV′(x,y)不处理,否则,进入下一个步骤;
步骤(9.4),对图像IV′(x,y)作直方图均衡化,得到 IV ′ ( x , y ) = Σ k = 1 IV ′ ( x , y ) HistV ( IV ′ ( x , y ) ) , k表示明度值的计数器;
步骤(10),根据步骤(4)设定的调整参数h、s、v对HSV空间内的图像进行校正:
IHd(x,y)=IH′(x,y)-h
ISd(x,y)=IS′(x,y)*s;
IVd(x,y)=IV′(x,y)-v
步骤(11),将HSV空间内的图像转化到RGB空间内:
步骤(11.1),设定四个临时变量f,aa,bb,cc帮助转化:
其中,f=IHd-floor(IHd),函数floor(IHd)的意思是取比IHd小的最大的整数,故f表示的是IHd的小数部分,
aa=IVd*(1-ISd)
bb=IVd*(1-(ISd*f))
cc=IVd*(1-(ISd*(1-f)))
步骤(11.2),根据IHd的范围确定IRd,IGd,IBd的值:
IH d ∈ [ 0 ~ π 6 ) , 则IRd=IVd,IGd=cc,IBd=aa
IH d ∈ [ π 6 ~ π 3 ) , 则IRd=bb,IGd=IVd,IBd=aa
IH d ∈ [ π 3 ~ π 2 ) , 则IRd=aa,IGd=IVd,IBd=cc
IH d ∈ [ π 2 ~ 2 π 3 ) , 则IRd=aa,IGd=bb,IBd=IVd
IH d ∈ [ 2 π 3 ~ 5 π 6 ) , 则IRd=cc,IGd=aa,IBd=IVd
IH d ∈ [ 5 π 6 ~ 2 π ) , 则IRd=IVd,IGd=aa,IBd=bb
步骤(12),用曲线校正值gamma对图像进行调整:
IRd′(x,y)=IRd(x,y)gamma
IGd′(x,y)=IGd(x,y)gamma
IBd′(x,y)=IBd(x,y)gamma
得到的调整后图像Itd(x,y)=[IRd′(x,y),IGd′(x,y),IBd′(x,y)]就是调整后的舌象照片。
CNB2006101138705A 2006-10-20 2006-10-20 数字舌象色偏校正方法 Expired - Fee Related CN100412906C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2006101138705A CN100412906C (zh) 2006-10-20 2006-10-20 数字舌象色偏校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2006101138705A CN100412906C (zh) 2006-10-20 2006-10-20 数字舌象色偏校正方法

Publications (2)

Publication Number Publication Date
CN1945627A true CN1945627A (zh) 2007-04-11
CN100412906C CN100412906C (zh) 2008-08-20

Family

ID=38045022

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006101138705A Expired - Fee Related CN100412906C (zh) 2006-10-20 2006-10-20 数字舌象色偏校正方法

Country Status (1)

Country Link
CN (1) CN100412906C (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101947101A (zh) * 2010-07-15 2011-01-19 哈尔滨工业大学 一种舌色还原色卡的制作方法
CN102419861A (zh) * 2010-09-27 2012-04-18 上海中医药大学 基于均匀色空间拓扑剖分的彩色图像校正方法
CN101615385B (zh) * 2008-06-23 2012-05-30 索尼株式会社 图像显示装置、图像显示装置组装体及它们的驱动方法
CN102693671A (zh) * 2011-03-23 2012-09-26 长庚医疗财团法人林口长庚纪念医院 一种舌象分类卡及其制作方法
CN103106669A (zh) * 2013-01-02 2013-05-15 北京工业大学 中医舌图像环境适应性颜色复现方法
CN103248793A (zh) * 2013-05-14 2013-08-14 旭曜科技股份有限公司 色域转换***的肤色最佳化方法与装置
CN103308517A (zh) * 2013-05-21 2013-09-18 谢绍鹏 中药颜色客观化方法及中药图像获取装置
CN103957396A (zh) * 2014-05-14 2014-07-30 姚杰 利用智能设备进行舌诊时的图像处理方法、装置及设备
CN104297469A (zh) * 2013-07-15 2015-01-21 艾博生物医药(杭州)有限公司 一种免疫读取设备以及该设备的校准方法
CN104412299A (zh) * 2012-06-28 2015-03-11 夏普株式会社 图像处理装置以及记录介质
CN104572538A (zh) * 2014-12-31 2015-04-29 北京工业大学 一种基于k-pls回归模型的中医舌图像颜色校正方法
CN104700363A (zh) * 2013-12-06 2015-06-10 富士通株式会社 舌象反射区域的去除方法和去除装置
CN106127675A (zh) * 2016-06-20 2016-11-16 深圳市中识创新科技有限公司 颜色一致性方法和装置
CN107689031A (zh) * 2016-08-03 2018-02-13 天津慧医谷科技有限公司 舌象分析中基于光照补偿的色彩还原方法
CN107833620A (zh) * 2017-11-28 2018-03-23 北京羽医甘蓝信息技术有限公司 图像处理方法和图像处理装置
CN108320272A (zh) * 2018-02-05 2018-07-24 电子科技大学 图像去光的方法
CN108742519A (zh) * 2018-04-02 2018-11-06 上海中医药大学附属岳阳中西医结合医院 机器视觉三维重建技术皮肤溃疡创面智能辅助诊断***
CN109815860A (zh) * 2019-01-10 2019-05-28 中国科学院苏州生物医学工程技术研究所 中医舌诊图像颜色校正方法、电子设备、存储介质
CN110009588A (zh) * 2019-04-09 2019-07-12 成都品果科技有限公司 一种人像图像色彩增强方法及装置
WO2020103570A1 (zh) * 2018-11-19 2020-05-28 Oppo广东移动通信有限公司 图像颜色校正方法、装置、存储介质及移动终端
CN114073494A (zh) * 2020-08-19 2022-02-22 京东方科技集团股份有限公司 白细胞检测方法、***、电子设备和计算机可读介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050270383A1 (en) * 2004-06-02 2005-12-08 Aiptek International Inc. Method for detecting and processing dominant color with automatic white balance
GB0504520D0 (en) * 2005-03-04 2005-04-13 Chrometrics Ltd Reflectance spectra estimation and colour space conversion using reference reflectance spectra

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615385B (zh) * 2008-06-23 2012-05-30 索尼株式会社 图像显示装置、图像显示装置组装体及它们的驱动方法
CN101947101A (zh) * 2010-07-15 2011-01-19 哈尔滨工业大学 一种舌色还原色卡的制作方法
CN102419861A (zh) * 2010-09-27 2012-04-18 上海中医药大学 基于均匀色空间拓扑剖分的彩色图像校正方法
CN102693671B (zh) * 2011-03-23 2014-03-26 长庚医疗财团法人林口长庚纪念医院 一种舌象分类卡的制作方法
CN102693671A (zh) * 2011-03-23 2012-09-26 长庚医疗财团法人林口长庚纪念医院 一种舌象分类卡及其制作方法
CN104412299A (zh) * 2012-06-28 2015-03-11 夏普株式会社 图像处理装置以及记录介质
CN103106669B (zh) * 2013-01-02 2015-10-28 北京工业大学 中医舌图像环境适应性颜色复现方法
CN103106669A (zh) * 2013-01-02 2013-05-15 北京工业大学 中医舌图像环境适应性颜色复现方法
CN103248793A (zh) * 2013-05-14 2013-08-14 旭曜科技股份有限公司 色域转换***的肤色最佳化方法与装置
CN103248793B (zh) * 2013-05-14 2016-08-10 旭曜科技股份有限公司 色域转换***的肤色最佳化方法与装置
CN103308517B (zh) * 2013-05-21 2015-09-30 谢绍鹏 中药颜色客观化方法及中药图像获取装置
CN103308517A (zh) * 2013-05-21 2013-09-18 谢绍鹏 中药颜色客观化方法及中药图像获取装置
CN104297469A (zh) * 2013-07-15 2015-01-21 艾博生物医药(杭州)有限公司 一种免疫读取设备以及该设备的校准方法
CN104297469B (zh) * 2013-07-15 2017-02-08 艾博生物医药(杭州)有限公司 一种免疫读取设备以及该设备的校准方法
CN104700363A (zh) * 2013-12-06 2015-06-10 富士通株式会社 舌象反射区域的去除方法和去除装置
CN103957396A (zh) * 2014-05-14 2014-07-30 姚杰 利用智能设备进行舌诊时的图像处理方法、装置及设备
CN104572538A (zh) * 2014-12-31 2015-04-29 北京工业大学 一种基于k-pls回归模型的中医舌图像颜色校正方法
CN104572538B (zh) * 2014-12-31 2017-08-25 北京工业大学 一种基于k‑pls回归模型的中医舌图像颜色校正方法
CN106127675B (zh) * 2016-06-20 2019-05-24 深圳市利众信息科技有限公司 颜色一致性方法和装置
CN106127675A (zh) * 2016-06-20 2016-11-16 深圳市中识创新科技有限公司 颜色一致性方法和装置
CN107689031A (zh) * 2016-08-03 2018-02-13 天津慧医谷科技有限公司 舌象分析中基于光照补偿的色彩还原方法
CN107689031B (zh) * 2016-08-03 2021-05-28 天津慧医谷科技有限公司 舌象分析中基于光照补偿的色彩还原方法
CN107833620A (zh) * 2017-11-28 2018-03-23 北京羽医甘蓝信息技术有限公司 图像处理方法和图像处理装置
CN108320272A (zh) * 2018-02-05 2018-07-24 电子科技大学 图像去光的方法
CN108742519A (zh) * 2018-04-02 2018-11-06 上海中医药大学附属岳阳中西医结合医院 机器视觉三维重建技术皮肤溃疡创面智能辅助诊断***
WO2020103570A1 (zh) * 2018-11-19 2020-05-28 Oppo广东移动通信有限公司 图像颜色校正方法、装置、存储介质及移动终端
CN109815860A (zh) * 2019-01-10 2019-05-28 中国科学院苏州生物医学工程技术研究所 中医舌诊图像颜色校正方法、电子设备、存储介质
CN110009588A (zh) * 2019-04-09 2019-07-12 成都品果科技有限公司 一种人像图像色彩增强方法及装置
CN110009588B (zh) * 2019-04-09 2022-12-27 成都品果科技有限公司 一种人像图像色彩增强方法及装置
CN114073494A (zh) * 2020-08-19 2022-02-22 京东方科技集团股份有限公司 白细胞检测方法、***、电子设备和计算机可读介质
WO2022037328A1 (zh) * 2020-08-19 2022-02-24 京东方科技集团股份有限公司 白细胞检测方法、***、电子设备和计算机可读介质

Also Published As

Publication number Publication date
CN100412906C (zh) 2008-08-20

Similar Documents

Publication Publication Date Title
CN1945627A (zh) 数字舌象色偏校正方法
CN100341045C (zh) 图像显示装置和图像处理方法
CN100345160C (zh) 一种控制平均亮度的直方图均衡方法
CN100342709C (zh) 图像记录装置及方法、图像处理装置和方法及***
CN1153444C (zh) 图象处理装置及方法
CN100344153C (zh) 确定照相环境的方法和成像装置
CN1314266C (zh) 图像拾取设备
CN1231832C (zh) 图象显示***、图象处理方法和投影机
CN1941843A (zh) 图像处理装置以及图像处理程序
CN1229977C (zh) 摄影装置及其方法
CN101032159A (zh) 图像处理设备及其方法,图像处理程序
CN1717006A (zh) 用于在图像传感器中改善图像质量的设备和方法
CN1674655A (zh) 投影机的控制
CN101061704A (zh) 色彩调整装置及方法
CN1925562A (zh) 图像拍摄装置、方法和图像处理装置、方法及其程序
CN1625763A (zh) 显示装置
CN1943248A (zh) 摄像装置及摄像单元
CN1662071A (zh) 色空间的图像数据处理方法
CN101035190A (zh) 用于色彩校正的装置、方法和程序产品
CN1744675A (zh) 图像输入装置
CN1961571A (zh) 摄像装置和信号处理方法
CN1909671A (zh) 产生用户偏爱数据的方法和装置
CN1554074A (zh) 在考虑其噪声的情况下改变数字图象的方法和***
CN1645914A (zh) 图像处理方法、图像处理装置及其使用的计算机程序
CN1867080A (zh) 图像处理装置和图像拾取装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080820

Termination date: 20091120