CN104157002A - 一种基于色彩空间变换的彩色图像纹理力触觉再现方法 - Google Patents
一种基于色彩空间变换的彩色图像纹理力触觉再现方法 Download PDFInfo
- Publication number
- CN104157002A CN104157002A CN201410400904.3A CN201410400904A CN104157002A CN 104157002 A CN104157002 A CN 104157002A CN 201410400904 A CN201410400904 A CN 201410400904A CN 104157002 A CN104157002 A CN 104157002A
- Authority
- CN
- China
- Prior art keywords
- pixel
- sigma
- region
- colouring information
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于色彩空间变换的彩色图像纹理力触觉再现方法,利用彩色图像的色调信息与饱和度信息获取颜色信息图,基于颜色信息图对彩色图像进行阈值分割;利用从明暗恢复形状的方法分别对分割区域进行三维轮廓恢复,利用彩色图像的饱和度分量对恢复结果进行补偿调节后采用双边滤波算法进行去噪处理;将所得两区域的三维轮廓高度图映射至虚拟三维表面不同高度层,拼接得到彩色图像的三维轮廓高度图;绘制虚拟表面,构建力反馈模型;计算所得合力通过手控器反馈给操作者。本发明将物体表面轮廓在光照影响下形成明暗分布特性和物体外观图像的本质颜色分布特性相结合,对彩色图像进行表面纹理特征信息提取、三维轮廓恢复以及纹理感知力的反馈,可全面再现彩色图像的纹理特征,提高力触觉再现的真实感。
Description
技术领域
本发明属于虚拟现实技术中的力触觉再现领域,涉及一种基于色彩空间变化的彩色图像纹理力触觉再现方法。
背景技术
随着虚拟现实技术在外科手术方针、遥操作机器人控制、虚拟制造等领域的广泛应用,纹理力/触觉再现受到了越来越多的关注。纹理力/触觉再现技术通过反馈接触物体时的接触力将物体表面纹理特性反馈给操作者,实现操作者对虚拟对象的感知合操纵。
基于图像处理的方法是目前纹理力触觉再现领域的研究热点。图像的纹理表面建模方法首先利用图像处理算法获得图像中物体表面纹理的特征信息,根据这些特征信息获取纹理表面轮廓。
目前,针对彩色图像纹理的力触觉再现技术大多把彩色图像转化为灰度图像,利用灰度的变化表征纹理信息。LeMercier等提出了四种像素灰度与对应点三维高度的映射方法,重建纹理图像所反映表面的微观三维几何形状,进而完成力/触觉的渲染。吴涓和宋爱国等设计了高斯滤波器对灰度图像进行空间滤波,将高频部分作为纹理表面高度图。Vasudevan等提出了一种基于灰度图像处理的纹理力/触觉再现模型,提出力渲染掩膜的概念,通过子图像与力渲染掩模相乘,直接向操作者反馈该区域的纹理力。单纯基于灰度处理的彩色图像纹理力触觉再现方法使得虚拟纹理的触觉属性仅与物体表面轮廓变化在光照下形成的明暗分布有关,忽略了本质颜色分布特性,丢弃了物体外观图像的颜色特征,无法提供全面、有效的纹理信息,导致力触觉再现的失真。
发明内容
技术问题:本发明提供一种结合色彩与空间感心理学效应,利用彩色图像色调和饱和度信息对其进行区域分割,对分割区域分别进行三维轮廓恢复、饱和度补偿调节后将三维轮廓高度图映射至虚拟三维表面不同高度层进行力触觉渲染、感知的基于色彩空间变换的彩色图像纹理力触觉再现方法。
技术方案:本发明的基于色彩空间变换的彩色图像纹理力触觉再现方法,包含以下步骤:
步骤(1)提取彩色图像的色调信息和饱和度信息,计算颜色信息图CM;
步骤(2)依据所述步骤(1)中获得的颜色信息图CM,对原彩色图像进行阈值分割,划分为前进色区域Gadv和后退色区域Grec;
步骤(3)对原彩色图像进行灰度处理,根据从明暗恢复形状的方法分别对步骤(2)所得分割结果进行三维轮廓恢复,得到进色区域三维轮廓高度图Zadv和退色区域三维轮廓高度图Zrec;
步骤(4)利用原彩色图像饱和度分量分别对步骤(3)所得结果进行补偿调节,利用双边滤波算法进行去噪处理,得进色区域三维轮廓高度图Zadvcom和退色区域三维轮廓高度图Zreccom;
步骤(5)将步骤(4)所得三维轮廓高度图Zadvcom和Zreccom映射至两个高度层,拼接后得到原图完整的三维轮廓高度图Z;
步骤(6)根据步骤(5)获得的三维轮廓高度图绘制虚拟表面,构建力反馈模型;计算所得合力通过手控器反馈给操作者。
本发明中,步骤(1)的具体流程为:
首先将彩色图像由RGB色彩空间转换到HSV色彩空间,提取其色调通道分量,代表归一化色相角Hue,用色相角余弦值cos(Hue)表征图像的色调信息,提取其饱和度通道分量S,表征图像的饱和度信息。
图像的颜色信息图CM(x,y)定义为如下形式:
其中,区域w表示以像素点(x,y)为中心的5×5的像素窗口。
C(i,j)表征像素点(i,j)的颜色信息,定义为:
C(i,j)=k1·H(i,j)+k2·S(i,j)
其中:H(i,j)为归一化后色调值,即Hue(i,j)为色相角;S(i,j)为饱和度;k1、k2分别为色调分量和饱和度分量所占权重,k1+k2=1。
W(i,j)为像素点(i,j)的颜色信息C(i,j)对应的权重。定义为:
其中,为像素点(x,y)与像素点(i,j)的距离函数,定义如下:
其中,(x,y)为像素点(x,y)的位置坐标,(i,j)为像素点(i,j)的位置坐标。
步骤(2)具体流程为:
将步骤(1)获得的颜色信息图CM量化,将颜色信息值划分为[0,L-1]级,L取256;
颜色信息值为i级的像素点出现的概率:
其中,p(CMi)为第i级颜色信息值出现的概率;N为像素点总数,CMi为第i级颜色信息值;ni为i级颜色信息值的像素点数目。
记图像分割阈值为t,将颜色信息图划分为前进色区域Gadv和后退色区域Grec,区域Gadv的颜色信息值级数为[t+1,L-1],区域Grec的颜色信息值级数为[0,t]。两区域出现的概率和平均颜色信息值级数如下:
其中,t为分割阈值,ωadv为前进色区域Gadv出现的概率,ωrec为后退色区域Grec出现的概率,μadv为前进色区域Gadv的平均颜色信息值级数,μrec为后退色区域Grec的平均颜色信息值级数。
整幅颜色信息图级数均值:
μt=ωrec·μrec+ωadv·μadv
其中,μt为整幅颜色信息图颜色信息级数均值,ωadv为前进色区域Gadv出现的概率,ωrec为后退色区域Grec出现的概率,μadv为前进色区域Gadv的平均颜色信息值级数,μrec为后退色区域Grec的平均颜色信息值级数。
前进色区域Gadv与后退色区域Grec的类间方差为:
其中,为前进色区域Gadv与后退色区域Grec的类间方差,μt为整幅颜色信息图颜色信息级数均值,ωadv为前进色区域Gadv出现的概率,ωrec为后退色区域Grec出现的概率,μadv为前进色区域Gadv的平均颜色信息值级数,μrec为后退色区域Grec的平均颜色信息值级数。
以类间方差作为衡量不同阈值导出的类别分离性能的测量准则,通过极大化求解最佳分割阈值:
其中,T为最佳分割阈值,为前进色区域Gadv与后退色区域Grec的类间方差。
所述步骤(3)中,三维轮廓恢复的实现步骤如下:
首先将原彩色图像转化为灰度图像并求解归一化灰度值:
其中,E(i,j)为像素点(i,j)处归一化灰度值,R(i,j)、G(i,j)、B(i,j)分别为像素点(i,j)处三个色彩通道分量;
建立朗伯体漫反射模型,用如下图像辐照度方程表示:
其中,E(i,j)为像素点(i,j)处归一化灰度值,R(p,q)为反射光强度, σ为光源方向与Z轴的夹角,τ为光源方向与X轴的夹角;
对上式进行泰勒展开,保留展开式中的线性项,采用后向有限差分的方法把保留下来的线性项离散化,采用迭代的方法求解离散化后的线性方程;迭代格式如下所示:
Zn(x,y)=Zn-1(x,y)+Kn(-f(Zn-1(x,y)))
其中,Zn(x,y)为第n次迭代所得的像素点(x,y)处的三维轮廓高度值;Kn表达式为:
其中, E是数学期望算子,Wx,y为一个非常小的非零常数,取值范围(1×10-6,1×10-8);
由于迭代格式快速收敛,经过10次以内的迭代,解趋于稳定,因此迭代次数可在10到15次之间选定,经过数次迭代求得像素点(x,y)处的三维轮廓高度值:
其中,Zn(x,y)为第n次迭代所得的像素点(x,y)处的三维轮廓高度值,max(Zn)为第n次迭代所得的图像像素点三维轮廓高度值最大值。
步骤(4)中,利用饱和度分量对三维轮廓高度图进行补偿调节,采取以下形式:
其中,Zcom(x,y)表示进行饱和度补偿后像素点(x,y)的三维轮廓高度值;Z(x,y)为步骤(3)所得像素点(x,y)的三维轮廓高度值;S(x,y)为像素点(x,y)的饱和度;区域w表示以像素点(x,y)为中心的5×5的像素窗口;表示区域w内三维轮廓高度Z的局部平均值,表示区域w内饱和度S的局部平均值。表示形式如下:
ρ(x,y)为区域w内三位轮廓高度Z与饱和度S的局部相关系数,表征图像三维轮廓高度—饱和度局部相关性大小,决定给定区域内饱和度反馈的强度和极性。计算公式如下:
其中,与如上所述,分别表示区域w内三位轮廓高度Z与饱和度S的局部平局值;表示区域w内三位轮廓高度Z的局部方差,表示区域w内饱和度S的局部方差。计算公式如下:
步骤(6)中,依据图像局部区域颜色变化剧烈程度控制切向摩擦力摩擦系数。
切向摩擦力的计算公式如下:
其中,μ(x,y)为像素点(x,y)处的局部摩擦系数。
利用步骤(1)获得颜色信息图CM(x,y)的局部方差度量色彩的变化程度,计算公式如下:
其中,为颜色信息图CM(x,y)以像素点(x,y)为中心的5×5的邻域内的局部方差。
其中,区域w表示以像素点(x,y)为中心的5×5的像素窗口,为区域w内颜色信息图CM(x,y)的局部平均值。计算公式如下:
法向力的获取遵循胡克模型:
其中,K为虚拟纹理的刚度系数,Z(x,y)为三维轮廓高度图Z在像素点(x,y)处的值,代表虚拟表面的高度,为垂直方向单位向量。
本发明方法结合色彩与空间感的心理学效应,利用彩色图像的色调信息与饱和度信息获取颜色信息图后对其行阈值分割,将原始图像分割为前进色区域和后退色区域;将原始彩色图像进行灰度处理,利用从明暗恢复形状的方法分别对前进色区域和后退色区域进行三维轮廓恢复,提取其表面三维轮廓高度图;利用彩色图像的饱和度分量对表面三维轮廓高度图进行补偿调节后利用双边滤波算法进行平滑、去噪处理;将前进色区域的三维轮廓高度图和后退色区域的三维轮廓高度图映射至两个高度层,前进色区域在前,后退色区域在后,拼接得到原始彩色图像的三维轮廓高度图;绘制虚拟表面,构建力反馈模型;计算所得合力通过手控器反馈给操作者。
有益效果:与现有技术相比,本发明方法具有以下优点:
与以往丢弃颜色特征、仅用灰度变化表征纹理信息的彩色图像纹理力触觉再现技术相比,本发明方法发明将物体表面轮廓在光照影响下形成明暗分布特性和物体外观图像的本质颜色分布特性相结合,对彩色图像进行表面纹理特征信息提取、三维轮廓恢复以及纹理感知力的反馈,可全面再现彩色图像的纹理特征,提高力触觉再现的真实感。具体体现在以下几方面:
结合色彩与空间感的心理学效应,通过彩色图像的色调信息与饱和度信息生成表征图像颜色信息的颜色信息图,利用颜色信息图对原彩色图像进行区域分割,将不同区域的虚拟纹理表面映射至不同高度层,实现力触觉再现中对前进色区域与后退色区域的空间感区分。
在恢复出表面三维轮廓高度后,将饱和度分量包含的高频信息局部自适应的反馈给三维轮廓高度图,以有效增强图像三维轮廓边缘、突出纹理细节。
在构建纹理力反馈模型时,使切向局部摩擦系数正相关于彩色图像局部颜色变化剧烈程度。局部颜色变化越剧烈,则触感越粗糙,局部颜色变化程度平滑,则触感平滑。用包含图像色调信息和饱和度信息的颜色信息图的局部方差度量局部颜色变化剧烈程度,控制生成切向局部摩擦系数。
综上,本发明方法可全面、有效的提取彩色图像的纹理信息,较传统彩色图像纹理力触觉再现方法,大大提高了力触觉再现的真实感和全面性,有效避免力触觉再现的失真。
附图说明
图1是本发明方法的***框图。
图2是HSV颜色空间模型图。
图3是从明暗恢复形状方法的变量定义示意图。
图4是纹理感知力模型图。
具体实施方式
下面结合实施例和说明书附图,对本发明技术方案的实施方式和具体的操作过程作详细说明,但实施例仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和等同替换,这些对本发明权利要求进行改进和等同替换后的技术方案,均落入本发明的保护范围。
参见图1,首先利用彩色图像的色调信息与饱和度信息获取其颜色信息图,基于颜色信息图将原彩色图像分割为前进色区域和后退色区域,利用从明暗恢复形状的方法分别对其进行三维轮廓恢复后利用原彩色图像饱和度分量进行补偿调节,经滤波处理将其映射至两个高度层,拼接得到原始彩色图像的三维轮廓高度图;绘制虚拟表面,构建力反馈模型;操作者操控手控器虚拟探针在虚拟纹理表面“摸索”,基于提取的纹理信息建立纹理感知力模型,计算虚拟探针与虚拟表面接触点的微观法向力与切向力,将纹理感知力合力实时反馈给操作者,为操作者提供反映图像纹理信息的触感。
根据色彩与空间感的心理学效应,不同的颜色可使人对色彩的感觉产生距离上的变化,一般情况下,暖色调、饱和度高的颜色具有前进、凸起、接近的感觉,称之为“前进色”,而冷色调、饱和度低的颜色具有后退、凹进、远离的感觉,称之为“后退色”。本发明技术方案在进行彩色图像纹理力触觉再现时,通过将前进色区域与后退色区域映射至不同三维轮廓高度层,实现不同颜色区域“前进”与“后退”的空间感变化,为操作者提供更为真实的纹理触感。
参见图2,其中R表示红色,Y表示黄色,G表示绿色,B表示蓝色,M表示品红色。HSV色彩空间是根据颜色的直观特性创建的一种颜色空间,颜色空间的模型对应于圆柱坐标系中的一个圆锥形子集,圆锥子集V轴对应亮度分量,顶面半径对应饱和度S分量,色调分量H由绕V轴的旋转角给定。其中,色调H和饱和度S统称为色度,包含了颜色信息,而亮度V与色彩信息无关。
因此,在步骤(1)中,为获取原始RGB彩色图像的颜色信息,首先将彩色图像由RGB色彩空间转换到HSV色彩空间,提取其色调通道分量,代表归一化色相角Hue,用色相角余弦值cos(Hue)表征图像的色调信息,提取其饱和度通道分量S,表征图像的饱和度信息。
图像的颜色信息图CM(x,y)定义为如下形式:
其中,区域w表示以像素点(x,y)为中心的5×5的像素窗口。
C(i,j)表征像素点(i,j)的颜色信息,定义为:
C(i,j)=k1·H(i,j)+k2·S(i,j)
其中:H(i,j)为归一化后色调值,即Hue(i,j)为色相角;S(i,j)为饱和度;k1、k2分别为色调分量和饱和度分量所占权重,k1+k2=1。
W(i,j)为像素点(i,j)的颜色信息C(i,j)对应的权重。定义为:
其中,为像素点(x,y)与像素点(i,j)的距离函数,定义如下:
其中,(x,y)为像素点(x,y)的位置坐标,(i,j)为像素点(i,j)的位置坐标。
在步骤(2)中,利用最大化类间方差算法对原始图像进行阈值分割,具体流程如下:
将步骤(1)获得的颜色信息图CM量化,将颜色信息值划分为[0,L-1]级,L取256。
颜色信息值为i级的像素点出现的概率:
其中,p(CMi)为第i级颜色信息值出现的概率;N为像素点总数,CMi为第i级颜色信息值;ni为i级颜色信息值的像素点数目。
记图像分割阈值为t,将颜色信息图划分为前进色区域Gadv和后退色区域Grec,区域Gadv的颜色信息值级数为[t+1,L-1],区域Grec的颜色信息值级数为[0,t]。两区域出现的概率和平均颜色信息值级数如下:
其中,t为分割阈值,ωadv为前进色区域Gadv出现的概率,ωrec为后退色区域Grec出现的概率,μadv为前进色区域Gadv的平均颜色信息值级数,μrec为后退色区域Grec的平均颜色信息值级数。
整幅颜色信息图级数均值:
μt=ωrec·μrec+ωadv·μadv
其中,μt为整幅颜色信息图颜色信息级数均值,ωadv为前进色区域Gadv出现的概率,ωrec为后退色区域Grec出现的概率,μadv为前进色区域Gadv的平均颜色信息值级数,μrec为后退色区域Grec的平均颜色信息值级数。
前进色区域Gadv与后退色区域Grec的类间方差为:
其中,为前进色区域Gadv与后退色区域Grec的类间方差,μt为整幅颜色信息图颜色信息级数均值,ωadv为前进色区域Gadv出现的概率,ωrec为后退色区域Grec出现的概率,μadv为前进色区域Gadv的平均颜色信息值级数,μrec为后退色区域Grec的平均颜色信息值级数。
以类间方差作为衡量不同阈值导出的类别分离性能的测量准则,通过极大化求解最佳分割阈值:
其中,T为最佳分割阈值,为前进色区域Gadv与后退色区域Grec的类间方差。
步骤(3)中依据从明暗恢复形状的方法进行三维轮廓恢复具体实现步骤如下:
首先将原彩色图像转化为灰度图像并求解归一化灰度值:
其中,E(i,j)为像素点(i,j)处归一化灰度值,R(i,j)、G(i,j)、B(i,j)分别为像素点(i,j)处三个色彩通道分量。
参见图3所示的变量定义示意图:
S表示物体表面,物体表面高度表示为z(x,y),记物体表面点S的坐标为S(x,y,z(x,y))。P表示图像平面,点S对应的图像平面上的点记为P(u,v)。O表示相机光心,L(x,y)表示光线,点S表面法向量表示为
建立朗伯体漫反射模型,用如下图像辐照度方程表示:
其中,E(i,j)为像素点(i,j)处归一化灰度值,R(p,q)为反射光强度, σ为光源方向与Z轴的夹角,τ为光源方向与X轴的夹角。
对上式进行泰勒展开,保留展开式中的线性项,采用后向有限差分的方法把保留下来的线性项离散化,采用迭代的方法求解离散化后的线性方程。迭代格式如下所示:
Zn(x,y)=Zn-1(x,y)+Kn(-f(Zn-1(x,y)))
其中,Zn(x,y)为第n次迭代所得的像素点(x,y)处的三维轮廓高度值。Kn表达式为:
其中, E是数学期望算子,Wx,y为一个非常小的非零常数,取值范围(1×10-6,1×10-8)。
由于迭代格式快速收敛,经过10次以内的迭代,解趋于稳定,因此迭代次数可在10到15次之间选定,经过数次迭代求得像素点(x,y)处的三维轮廓高度值:
其中,Zn(x,y)为第n次迭代所得的像素点(x,y)处的三维轮廓高度值,max(Zn)为第n次迭代所得的图像像素点三维轮廓高度值最大值。
由于彩色图像HSV空间的饱和度分量与恢复所得三维轮廓高度图呈现很强的轮廓相似性,而饱和度分量含有更多高频信息。步骤(4)利用饱和度分量对步骤(3)所得三维轮廓高度图进行局部自适应补偿调节,可增强图像三维轮廓边缘、突出纹理细节。具体实施方式如下:
其中,Zcom(x,y)表示进行饱和度补偿后像素点(x,y)的三维轮廓高度值;Z(x,y)为步骤(3)所得像素点(x,y)的三维轮廓高度值;S(x,y)为像素点(x,y)的饱和度;区域w表示以像素点(x,y)为中心的5×5的像素窗口;表示区域w内三维轮廓高度Z的局部平均值,表示区域w内饱和度S的局部平均值。表示形式如下:
ρ(x,y)为区域w内三位轮廓高度Z与饱和度S的局部相关系数,表征图像三维轮廓高度—饱和度局部相关性大小,决定给定区域内饱和度反馈的强度和极性。计算公式如下:
其中,与如上所述,分别表示区域w内三位轮廓高度Z与饱和度S的局部平局值;表示区域w内三位轮廓高度Z的局部方差,表示区域w内饱和度S的局部方差。计算公式如下:
分别对三维轮廓高度图Zadv和退色区域三维轮廓高度图Zrec进行饱和度补偿,利用双边滤波算法分别对其进行平滑处理。记待处理的三维轮廓高度图为Z,在像素点p=(x,y)处的三维轮廓高度值为Zp,滤波所得三维轮廓高度值记为ZBp,则双边滤波公式如下:
其中,q=(i,j)为中心像素点p=(x,y)的邻域像素点,S为邻域像素点集合,Wp为归一化因子,为空间临近度函数,为三维轮廓高度值相似度函数,表达式如下:
其中,σs是基于高斯函数的距离标准差,σr是基于高斯函数的三维轮廓高度值标准差。
原三维轮廓高度图经双边滤波处理,高频噪声被滤除,而边缘细节信息被保留。
步骤(5)将步骤(4)所得三维轮廓高度图Zadvcom和Zreccom映射至两个高度层,进色区域靠前,映射至高度图[0.5,1]区域,退色区域靠后,映射至高度图[0,0.5]区域,以体现色彩与空间感的心理学效应,实现力触觉再现中对前进色区域与后退色区域的区分。拼接后得到原图完整的三维轮廓高度图Z。
步骤(6)建立虚拟表面的三角网格模型,绘制虚拟表面,进行力触觉渲染。
本发明方法涉及的纹理感知力模型参见图4,其中T表示虚拟纹理表面。
纹理感知力由切向力和法向力合成,表达形式如下:
其中,为纹理感知力;为法向力;为切向摩擦力。
的获取遵循胡克模型:
其中,K为虚拟纹理的刚度系数,Z(x,y)为三维轮廓高度图Z在像素点(x,y)处的值,代表虚拟表面的高度,为垂直方向单位向量。
在构建切向摩擦力模型时,使局部摩擦系数正相关于彩色图像局部颜色变化剧烈程度。局部颜色变化越剧烈,则触感越粗糙,局部颜色变化程度平滑,则触感平滑。用包含图像色调信息和饱和度信息的颜色信息图的局部方差度量局部颜色变化剧烈程度,控制生成切向局部摩擦系数。
切向摩擦力的计算公式如下:
其中,μ(x,y)为像素点(x,y)处的局部摩擦系数,取决于像素点(x,y)邻域内色彩变化剧烈程度,色彩变化越剧烈,则摩擦系数越大,反之色彩变化越平滑,则摩擦系数越小。利用步骤(1)获得颜色信息图CM(x,y)的局部方差度量色彩的变化程度,计算公式如下:
其中,为颜色信息图CM(x,y)以像素点(x,y)为中心的5×5的邻域内的局部方差。
其中,区域w表示以像素点(x,y)为中心的5×5的像素窗口,为区域w内颜色信息图CM(x,y)的局部平均值。
Claims (6)
1.一种基于色彩空间变换的彩色图像纹理力触觉再现方法,其特征在于:该方法包含以下步骤:
步骤(1)提取彩色图像的色调信息和饱和度信息,计算颜色信息图CM;
步骤(2)利用最大化类间方差算法对所述步骤(1)中获得的颜色信息图CM进行阈值分割,划分为前进色区域Gadv和后退色区域Grec;
步骤(3)对原彩色图像进行灰度处理,根据从明暗恢复形状的方法分别对步骤(2)所得分割结果进行三维轮廓恢复,得到进色区域三维轮廓高度图Zadv和退色区域三维轮廓高度图Zrec;
步骤(4)利用原彩色图像饱和度分量分别对步骤(3)所得结果进行补偿调节,利用双边滤波算法进行去噪处理,得进色区域三维轮廓高度图Zadvcom和退色区域三维轮廓高度图Zreccom;
步骤(5)将步骤(4)所得三维轮廓高度图Zadvcom和Zreccom映射至两个高度层,拼接后得到原图完整的三维轮廓高度图Z;
步骤(6)根据步骤(5)获得的三维轮廓高度图绘制虚拟表面,构建力反馈模型;计算所得合力通过手控器反馈给操作者。
2.根据权利要求1所述基于色彩空间变换的彩色图像纹理力触觉再现方法,其特征在于:所述步骤(1)的具体流程为:
首先将彩色图像由RGB色彩空间转换到HSV色彩空间,提取其色调通道分量,代表归一化色相角Hue,用色相角余弦值cos(Hue)表征图像的色调信息,提取其饱和度通道分量S,表征图像的饱和度信息;
图像的颜色信息图CM(x,y)定义为如下形式:
其中,区域w表示以像素点(x,y)为中心的5×5的像素窗口;
C(i,j)表征像素点(i,j)的颜色信息,定义为:
C(i,j)=k1·H(i,j)+k2·S(i,j)
其中:H(i,j)为归一化后色调值,即Hue(i,j)为色相角;S(i,j)为饱和度;k1、k2分别为色调分量和饱和度分量所占权重,k1+k2=1;
W(i,j)为像素点(i,j)的颜色信息C(i,j)对应的权重,定义为:
其中,为像素点(x,y)与像素点(i,j)的距离函数,定义如下:
其中,(x,y)为像素点(x,y)的位置坐标,(i,j)为像素点(i,j)的位置坐标。
3.根据权利要求1所述基于色彩空间变换的彩色图像纹理力触觉再现方法,其特征在于:所述步骤(2)具体流程为:
将步骤(1)获得的颜色信息图CM量化,将颜色信息值划分为[0,L-1]级,L取256;
颜色信息值为i级的像素点出现的概率:
其中,p(CMi)为第i级颜色信息值出现的概率;N为像素点总数,CMi为第i级颜色信息值;ni为i级颜色信息值的像素点数目;
记图像分割阈值为t,将颜色信息图划分为前进色区域Gadv和后退色区域Grec,前进色区域Gadv的颜色信息值级数为[t+1,L-1],后退色区域Grec的颜色信息值级数为[0,t];两区域出现的概率和平均颜色信息值级数如下:
其中,ωadv为前进色区域Gadv出现的概率,ωrec为后退色区域Grec出现的概率,μadv为前进色区域Gadv的平均颜色信息值级数,μrec为后退色区域Grec的平均颜色信息值级数;
整幅颜色信息图级数均值:
μt=ωrec·μrec+ωadv·μadv
其中,μt为整幅颜色信息图颜色信息级数均值,ωadv为前进色区域Gadv出现的概率,ωrec为后退色区域Grec出现的概率,μadv为前进色区域Gadv的平均颜色信息值级数,μrec为后退色区域Grec的平均颜色信息值级数;
前进色区域Gadv与后退色区域Grec的类间方差为:
其中,为前进色区域Gadv与后退色区域Grec的类间方差,μt为整幅颜色信息图颜色信息级数均值,ωadv为前进色区域Gadv出现的概率,ωrec为后退色区域Grec出现的概率,μadv为前进色区域Gadv的平均颜色信息值级数,μrec为后退色区域Grec的平均颜色信息值级数;
以类间方差作为衡量不同阈值导出的类别分离性能的测量准则,通过极大化求解最佳分割阈值:
其中,T为最佳分割阈值,为前进色区域Gadv与后退色区域Grec的类间方差。
4.根据权利要求1所述基于色彩空间变换的彩色图像纹理力触觉再现方法,其特征在于:所述步骤(3)中,三维轮廓恢复的实现步骤如下:
首先将原彩色图像转化为灰度图像并求解归一化灰度值:
其中,E(i,j)为像素点(i,j)处归一化灰度值,R(i,j)、G(i,j)、B(i,j)分别为像素点(i,j)处三个色彩通道分量;
建立朗伯体漫反射模型,用如下图像辐照度方程表示:
其中,E(i,j)为像素点(i,j)处归一化灰度值,R(p,q)为反射光强度, σ为光源方向与Z轴的夹角,τ为光源方向与X轴的夹角;
对上式进行泰勒展开,保留展开式中的线性项,采用后向有限差分的方法把保留下来的线性项离散化,采用迭代的方法求解离散化后的线性方程;迭代格式如下所示:
Zn(x,y)=Zn-1(x,y)+Kn(-f(Zn-1(x,y)))
其中,Zn(x,y)为第n次迭代所得的像素点(x,y)处的三维轮廓高度值;Kn表达式为:
其中, E是数学期望算子,Wx,y为一个非常小的非零常数,取值范围(1×10-6,1×10-8);
由于迭代格式快速收敛,经过10到15次迭代求得像素点(x,y)处的三维轮廓高度值:
其中,Zn(x,y)为第n次迭代所得的像素点(x,y)处的三维轮廓高度值,max(Zn)为第n次迭代所得的图像像素点三维轮廓高度值最大值。
5.根据权利要求4所述基于色彩空间变换的彩色图像纹理力触觉再现方法,其特征在于:所述步骤(4)中,利用饱和度分量对三维轮廓高度图进行补偿调节,采取以下形式:
其中,Zcom(x,y)表示进行饱和度补偿后像素点(x,y)的三维轮廓高度值;Z(x,y)为步骤(3)所得像素点(x,y)的三维轮廓高度值;S(x,y)为像素点(x,y)的饱和度;区域w表示以像素点(x,y)为中心的5×5的像素窗口;表示区域w内三维轮廓高度Z的局部平均值,表示区域w内饱和度S的局部平均值;表示形式如下:
ρ(x,y)为区域w内三位轮廓高度Z与饱和度S的局部相关系数,表征图像三维轮廓高度—饱和度局部相关性大小,决定给定区域内饱和度反馈的强度和极性;计算公式如下:
其中,与如上所述,分别表示区域w内三位轮廓高度Z与饱和度S的局部平局值;表示区域w内三位轮廓高度Z的局部方差,表示区域w内饱和度S的局部方差;计算公式如下:
6.根据权利要求1所述基于色彩空间变换的彩色图像纹理力触觉再现方法,其特征在于:所述步骤(6)中,计算所得合力为纹理感知力,该纹理感知力由切向摩擦力力和法向力合成,表达形式如下:
其中,为纹理感知力;为法向力;为切向摩擦力;
法向力的获取遵循胡克模型:
其中,K为虚拟纹理的刚度系数,Z(x,y)为三维轮廓高度图Z在像素点(x,y)处的值,代表虚拟表面的高度,为垂直方向单位向量;
切向摩擦力的计算公式如下:
其中,μ(x,y)为像素点(x,y)处的局部摩擦系数;
利用步骤(1)获得颜色信息图CM(x,y)的局部方差度量色彩的变化程度,计算公式如下:
其中,为颜色信息图CM(x,y)以像素点(x,y)为中心的5×5的邻域内的局部方差;
其中,区域w表示以像素点(x,y)为中心的5×5的像素窗口,为区域w内颜色信息图CM(x,y)的局部平均值;计算公式如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410400904.3A CN104157002B (zh) | 2014-08-14 | 2014-08-14 | 一种基于色彩空间变换的彩色图像纹理力触觉再现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410400904.3A CN104157002B (zh) | 2014-08-14 | 2014-08-14 | 一种基于色彩空间变换的彩色图像纹理力触觉再现方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104157002A true CN104157002A (zh) | 2014-11-19 |
CN104157002B CN104157002B (zh) | 2017-02-15 |
Family
ID=51882490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410400904.3A Active CN104157002B (zh) | 2014-08-14 | 2014-08-14 | 一种基于色彩空间变换的彩色图像纹理力触觉再现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104157002B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104766317A (zh) * | 2015-03-31 | 2015-07-08 | 浙江理工大学 | 一种基于五要素的刚性纹理图像力触觉生成方法 |
CN107566847A (zh) * | 2017-09-18 | 2018-01-09 | 浙江大学 | 一种将触感数据编码为视频流进行保存和传输的方法 |
CN108470348A (zh) * | 2018-02-13 | 2018-08-31 | 温州眼视光发展有限公司 | 裂隙灯眼前节断层图像特征提取方法 |
CN108549581A (zh) * | 2018-04-02 | 2018-09-18 | 郑州云海信息技术有限公司 | 一种分层式图形实时绘制渲染方法与*** |
CN108845512A (zh) * | 2018-06-26 | 2018-11-20 | 厦门大学 | 一种大纹理触觉再现力补偿***和方法 |
CN109165569A (zh) * | 2018-08-03 | 2019-01-08 | 南京理工大学 | 基于ba算法的被动毫米波图像极化信息显示方法 |
CN111798459A (zh) * | 2020-06-16 | 2020-10-20 | 北京林业大学 | 基于切换思想的无人机航拍树木自适应分割方法及*** |
CN112835448A (zh) * | 2021-01-27 | 2021-05-25 | 南京工程学院 | 一种基于单目图像明暗恢复技术与交互数据信息融合的物体三维形状重建方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101615072B (zh) * | 2009-06-18 | 2010-12-29 | 东南大学 | 基于从图像灰度恢复形状技术的纹理力触觉再现方法 |
CN101819462B (zh) * | 2010-03-12 | 2011-07-20 | 东南大学 | 基于力/触觉交互设备的图像纹理的力触觉再现*** |
CN103869984B (zh) * | 2014-03-26 | 2016-08-17 | 东南大学 | 一种基于纹理图片的力触觉再现方法 |
-
2014
- 2014-08-14 CN CN201410400904.3A patent/CN104157002B/zh active Active
Non-Patent Citations (3)
Title |
---|
JIALU LI ET AL.: "Haptic Texture Rendering Using Single Texture Image", 《2010 INTERNATIONAL SYMPOSIUM ON COMPUTATIONAL INTELLIGENCE AND DESIGN》 * |
李佳璐 等: "彩色纹理图像的纹理力/触觉渲染方法", 《计算机辅助设计与图形学学报》 * |
田磊 等: "基于 PDE 方法的图像力触觉再现方法研究", 《仪器仪表学报》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104766317A (zh) * | 2015-03-31 | 2015-07-08 | 浙江理工大学 | 一种基于五要素的刚性纹理图像力触觉生成方法 |
CN107566847A (zh) * | 2017-09-18 | 2018-01-09 | 浙江大学 | 一种将触感数据编码为视频流进行保存和传输的方法 |
CN107566847B (zh) * | 2017-09-18 | 2020-02-14 | 浙江大学 | 一种将触感数据编码为视频流进行保存和传输的方法 |
CN108470348A (zh) * | 2018-02-13 | 2018-08-31 | 温州眼视光发展有限公司 | 裂隙灯眼前节断层图像特征提取方法 |
CN108549581A (zh) * | 2018-04-02 | 2018-09-18 | 郑州云海信息技术有限公司 | 一种分层式图形实时绘制渲染方法与*** |
CN108549581B (zh) * | 2018-04-02 | 2019-10-29 | 郑州云海信息技术有限公司 | 一种分层式图形实时绘制渲染方法与*** |
CN108845512A (zh) * | 2018-06-26 | 2018-11-20 | 厦门大学 | 一种大纹理触觉再现力补偿***和方法 |
CN109165569A (zh) * | 2018-08-03 | 2019-01-08 | 南京理工大学 | 基于ba算法的被动毫米波图像极化信息显示方法 |
CN109165569B (zh) * | 2018-08-03 | 2022-05-13 | 南京理工大学 | 基于ba算法的被动毫米波图像极化信息显示方法 |
CN111798459A (zh) * | 2020-06-16 | 2020-10-20 | 北京林业大学 | 基于切换思想的无人机航拍树木自适应分割方法及*** |
CN112835448A (zh) * | 2021-01-27 | 2021-05-25 | 南京工程学院 | 一种基于单目图像明暗恢复技术与交互数据信息融合的物体三维形状重建方法 |
CN112835448B (zh) * | 2021-01-27 | 2024-02-06 | 南京工程学院 | 一种基于单目图像明暗恢复技术与交互数据信息融合的物体三维形状重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104157002B (zh) | 2017-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104157002A (zh) | 一种基于色彩空间变换的彩色图像纹理力触觉再现方法 | |
CN103839250B (zh) | 用于面部图像处理的方法和设备 | |
Liao et al. | Automatic caricature generation by analyzing facial features | |
CN104299263B (zh) | 一种基于单幅图像建模云场景的方法 | |
CN103456010B (zh) | 一种基于特征点定位的人脸卡通画生成方法 | |
CN103337072B (zh) | 一种基于纹理与几何属性联合模型的室内对象解析方法 | |
CN104063898B (zh) | 一种三维点云自动补全方法 | |
CN103646416A (zh) | 一种三维卡通人脸纹理生成方法及设备 | |
CN105488758A (zh) | 一种基于内容感知的图像缩放方法 | |
CN108629338A (zh) | 一种基于lbp和卷积神经网络的人脸美丽预测方法 | |
CN102360513B (zh) | 基于梯度操作的对象光照迁移方法 | |
CN102609950B (zh) | 一种二维视频深度图的生成方法 | |
CN104954780A (zh) | 一种适用于高清2d/3d转换的dibr虚拟图像修复方法 | |
CN102799646B (zh) | 一种面向多视点视频的语义对象分割方法 | |
CN108830892A (zh) | 人脸图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN105493078A (zh) | 彩色草图图像搜索 | |
CN103971338A (zh) | 一种基于显著图的可变块图像修复方法 | |
CN103826032A (zh) | 深度图后期处理方法 | |
CN102024156A (zh) | 彩色人脸图像中的唇部区域定位方法 | |
CN106529432A (zh) | 一种深度融合显著性检测与先验知识的手部区域分割方法 | |
CN102930538B (zh) | 高斯势与空间直方图融合的自适应图像分割方法 | |
CN105374039A (zh) | 基于轮廓锐度的单目图像深度信息估计方法 | |
CN103095996A (zh) | 基于时空显著性检测的多传感器视频融合方法 | |
US20140055445A1 (en) | System, method, and computer program product for extruding a model through a two-dimensional scene | |
CN104992176B (zh) | 一种面向碑文的汉字提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |