CN1323374C - 根据终端用户的色觉特征自适应变换可视内容的方法和*** - Google Patents

Abstract

公开了一种根据终端用户的视觉特征自适应变换从网络输入的可视内容的方法和***。提出了一种以预定格式描述用户视觉特征信息的视觉特征描述符。该描述符包括色觉缺陷类型和色觉缺陷程度的信息。可以用数值程度或文字程度描述色觉缺陷。本发明根据色觉缺陷类型以不同方式对可视内容进行自适应变换。

Description

根据终端用户的色觉特征自适应变换可视内容的方法和***

技术领域

本发明涉及用于变换可视内容的方法和***，特别地，涉及根据用户的色觉特征自适应变换可视内容的方法和***。

背景技术

作为ISO/IEC JTC 1/SC 29工作组的MPEG(运动图像专家组)正将MPEG-21建立作为多媒体框架的下一代标准。MPEG-21的目标是，通过统一现有MPEG或其它标准化组织的标准，实现一种多媒体集成框架，该框架能够自由地并且容易地使用多媒体内容，而不考虑在各种环境中存在的网络、终端和用户的广泛特征。MPEG-21的数字项目自适应部分、即第7部分涉及根据网络、终端(视频显示设备)和用户的特征自适应变换多媒体内容(或数字项目)，其标准化工作目前正在进行中。

对于具有色觉缺陷的用户的先前研究如下：在“ComputerizedSimulation of Color Appearance for Dichromats”(Journal of OpticalSociety of America.A，1997年第14卷第10期，第2647-2655页)中，H.Brettel研究了一种用于允许普通用户体验有二色视的用户的色觉特征的算法。然而，在该篇论文中，只公开了一种能仿真具有色觉缺陷的用户的色觉特征的算法。并未提及用于获取由于色觉缺陷而不可能或难以获取的信息的自适应算法。该方法要求内容制造商在选择内容的色彩前为二色视者执行仿真处理。该方法的目的是，如果可能，通过执行仿真处理以确定二色视者能否区分所选色彩组合，来避免二色视者难以区分的色彩的组合。

然而，该方法极力主张内容制造商使用有限的几种色彩，从而限制了制造商的创造力，并且在正常用户识别色彩信息的过程中，可能造成不便和单调。因此，该方法难以满足各种用户的需求。因此，不是在内容制造步骤中需要自适应处理，而是需要根据个人视觉能力或终端设备进行自适应处理。如今，甚至在一天时间内就会制造大量数字多媒体内容。因此，在内容制造步骤中执行的该种处理有这样的缺点：不可能自适应地变换已经存在内容。

为了解决上述问题，可以考虑通过直接变换可视内容的色彩来提高有色觉缺陷的人识别色彩信息的能力。该方法的优点是，无需重新设计显示设备，并且有可能自适应变换全部现有内容。

在文章“Enhancing Color Representation for AnomalousTrichromats on CRT Monitors Color”(G.Kovacs，Research andApplication，2001年，v.26 SUPP，第273-276页)中论述了一种对于具有色觉缺陷的用户的自适应方法，其中公开了一种算法，它通过计算将要安装在阴极射线管(以下称为CRT)中的滤波器，然后把获得的滤波器应用于相应CRT监视器的RGB光谱响应值，使得用户能够像正常用户那样进行观看。然而，该方法将滤波器应用于监视器，并且其缺点在于，如果屏幕上存在许多数字项目(即许多图像)，则不可能根据内容执行变换。另外，为实现该功能而购买专门生产的CRT监视器也是一个负担。

在美国专利6,362,830的公报中，模糊地导出了一个用于对有色觉缺陷的人进行建模的方程式。然而，根据有色觉缺陷的人的色觉特征自适应变换可视内容的处理非常复杂。另外，该方法不允许有色觉缺陷的人设想自适应变化的可视内容，而是仅仅允许人们对可视内容进行区分。美国专利6,362,830的公开内容被包括在此作为参考。

人类通过感知从物体表面反射的光线的视细胞识别物体的色彩和亮度。视网膜中存在的视细胞包括视杆细胞和视锥细胞。视细胞是用于感知光线的专用细胞。人的眼睛包含约七百万视锥细胞和一亿三千万视杆细胞。人类利用视杆细胞区分明暗，利用视锥细胞识别详细外观和色彩。当视锥细胞中包含的光致变色体(photochrome)吸收光子时，进行人的彩色识别。正常人的视网膜中有三类视锥细胞，它们吸收可见波长的光的不同部分。根据每种类型的视锥细胞所吸收的波长区域的峰值灵敏度，将这些类型分为L(长)、M(中)和S(短)。人类依据三种类型的视锥细胞根据光线生成的信号的比率识别色彩。

与上述情形不同，色觉缺陷是三种类型的视锥细胞中的任何一种先天不存在或功能异常的状态。如果只存在两类视锥细胞，则称为二色视。另外，即使三种类型均存在，但视锥细胞的功能异常，则称为异常三色视。世界上约8％的男性和约0.5％的女性具有色觉缺陷。然而，目前并没有治疗色觉缺陷的方法；因此，这项研究被认为是研究治疗色觉缺陷的新方案。

在医学上，不可能让有色觉缺陷的人看到原色。对于二色视的自适应处理的目标是，允许有色觉缺陷的人以与正常人相同的水平从内容的色彩中获取信息，尽管他们不能看到原色。

发明内容

本发明的一个目的在于，在不考虑色觉缺陷类型并且不需要任何单独设备的情况下，为有色觉缺陷的用户提供与正常用户相当的可视内容的语义信息。

本发明的另一个目的在于，根据数字项目为有色觉缺陷的用户提供与正常用户相当的可视内容的语义信息。

为了实现上述目的，提供了一种用于对通过网络输入的可视内容进行自适应变换以适合于终端用户的色觉特征的方法和***。首先，给出了一种色觉特征描述符，该描述符以标准化格式描述有关用户色觉特征的信息，其中不考虑网络和终端的特征。根据本发明的色觉特征描述符包括与用户的色觉缺陷类型和程度相关的信息。色觉缺陷程度以文字或数字形式进行描述。色觉特征描述符还可以包括表示用户标识信息或存在色觉缺陷的信息。另外，色觉特征描述符可以包括用户环境，特别是与用户周围环境的照度相关的信息。

本发明根据色觉缺陷类型、即根据色觉缺陷类型为二色视或为异常三色视，区别地对可视内容进行自适应变换。首先，如果根据色觉特征描述符中所包含的色觉缺陷程度信息确定用户是二色视者，则本发明检测对于二色视用户困难的区域。根据本发明提供的第一种方法通过比较用户所限制的LMS区域和正常人的LMS区域，而后对LMS值减少的区域进行计算，来检测对于二色视用户困难的区域。根据本发明提供的第二种方法可以按照以下方式实现：将可视内容从RGB色彩空间变换为CMYK色彩空间用来进行缺陷区域识别，并且根据色觉缺陷类型区分CMYK色彩空间中与预定区域相对应的像素。如果以这种方式区分缺陷区域，则通过调整与缺陷区域相对应的各个像素的色度、饱和度和强度中的至少一个，对可视内容进行自适应变换，以便适合于用户的色觉特征。

同时，如果确定用户为异常三色视者，则将可视内容从RGB色彩空间变换为LMS色彩空间，并且通过利用用户眼睛的视锥细胞响应函数对可视内容的实质内容进行自适应变换。

本发明提供了一种用于对可视内容进行自适应变换以适合于用户色觉特征的方法，该方法包括以下步骤：接收与用户的色觉特征相关的信息；以及根据色觉特征对可视内容执行自适应处理，其中与色觉特征相关的信息包括对色觉缺陷类型和程度的描述。

另外，本发明提供了一种用于对可视内容进行自适应变换以适合于图像显示设备的用户色觉特征的方法，该方法包括以下步骤：接收与用户的色觉特征相关的信息；接收可视内容；根据色觉特征对可视内容执行自适应处理；以及通过图像显示设备显示所变换的可视内容。

本发明还提供了一种用于对可视内容进行自适应变换以适合于图像显示设备的用户色觉特征的***，该***包括：用于接收与用户的色觉特征相关的信息的装置；用于接收可视内容的装置；以及用于根据与色觉特征相关的信息对输入的可视内容执行自适应处理的处理部分。

如上所述，根据本发明，具有色觉缺陷的用户无需任何单独的设备就能从与正常用户看到的信息实质上相同的可视内容中接收语义信息，从而使具有色觉缺陷的用户能够自由地并且方便地使用多媒体内容。另外，本发明适用于作为媒体国际标准的MPEG-7和MPEG-21的数字项目自适应部分。

附图说明

图1是根据本发明实施方式的自适应***框图；

图2是根据本发明的自适应处理的流程图；

图3是根据本发明实施方式的用户色觉特征描述符的结构视图；

图4表示通过使用Farnsworth-Munsell测试的结果计算色觉缺陷程度的例子；

图5表示通过使用Nagel色盲镜测试的结果计算色觉缺陷程度的例子；

图6是表示图2的自适应步骤示例的详细流程图；

图7是表示图6的异常三色视的自适应步骤示例的详细流程图；

图8表示正常人的LMS视锥细胞的光谱灵敏度；

图9表示带有P22荧光粉的CRT监视器的RGB发射曲线；

图10表示LMS色彩空间中的激励；

图11表示红色弱的光谱灵敏度，其中L视锥细胞的峰值灵敏度移动10nm左右；

图12是图6的二色视自适应处理示例的详细流程图；

图13表示由具有二色视缺陷的人所识别的色彩空间；

图14是图12中用于区分缺陷区域的方法示例的详细流程图；

图15分别表示由正常人、具有红色盲或绿色盲缺陷的人和具有蓝色盲缺陷的人所识别的色度；

图16表示在0°到360°的色度角内由正常人、具有红色盲或绿色盲缺陷的人和具有蓝色盲缺陷的人所识别的色度；

图17是图12中用于区分缺陷区域的另一个处理示例的详细流程图；

图18是图12中的HIS调整方法示例的详细流程图；以及

图19表示色彩分布中的品红、青色和黄色成分的构成。

具体实施方式

以下参照附图详细描述本发明。为了描述的一致性，使用相似的附图标记表示附图中的相似组件和信号。

图1是根据本发明实施方式的自适应***的框图。图2是根据本发明的自适应方法的流程图，其中自适应处理是在图1所示的处理部分102中特别执行的一个处理步骤。如图1所示，将自适应***100实现为包括处理部分102、输入部分103、数据库104、网络接口106以及图像显示设备108。处理部分102包括二色视自适应部分110和异常三色视自适应部分112。

用户通过诸如键盘之类的输入设备103，将用户自己与色觉特征和环境相关的信息输入到处理部分102(步骤202)。处理部分102通过输入设备103接收与色觉特征相关的信息，并且按预定格式将其存储到数据库104中，从而初始化自适应***100。将按预定格式准备并存储的用户色觉特征信息称为色觉特征描述符114。通过诸如调制解调器之类的网络接口106，从外部网络107向处理部分102提供可视内容(步骤204)。处理部分102参照数据库104中的色觉特征描述符114确定用户是异常三色视者还是二色视者。如果确定了用户为二色视者，则处理部分102驱动二色视自适应部分110，以便通过使用色觉特征描述符114中所包含的与色觉特征和/或环境相关的信息，自适应地转换所提供的可视内容，以适合于用户的色觉特征，然后通过诸如液晶显示设备(以下称为“LCD”)或CRT之类的图像显示设备108，显示所转换的可视内容。如果确定了用户为异常三色视者，则处理部分102驱动异常三色视自适应部分112，以便对所提供的可视内容进行自适应转换以适合于用户的色觉特征，并且通过图像显示设备108进行显示(步骤206)。

在美国专利6,362,830的公报中，模糊地导出了一个显示有色觉缺陷的人的色觉特征的矩阵[A’]。然而，没有正确认识矩阵[A’]的奇异性问题。对于二色视者的情形，由于矩阵[A’]的奇异性问题，矩阵[A’]的逆变换函数不存在。因此，不可能使用美国专利6,320,830公报中的矩阵[A’]的逆变换函数来尝试自适应处理。考虑到对于异常三色视者的情形存在矩阵[A’]的逆变换函数这一事实，本发明通过在自适应处理中区分异常三色视者和二色视者，来使用微分逼近方法。

图3是根据本发明实施方式的用户色觉特征描述符的结构视图。如图2所示，用户色觉特征描述符300包括用户特征描述符310和用户环境因素描述符320。用户特征描述符310包含用于确认用户的用户标识号(以下称为“ID”)311、用于确认用户名的用户名312、用于保护个人信息的关于是否公开个人信息的信息313。另外，用户特征描述符310包括用于表示用户视力的描述符314、用于描述用户是否具有色觉缺陷的色觉缺陷存在描述符315、用于描述用户色觉缺陷类型的色觉缺陷类型描述符319、以及用于描述色觉缺陷程度的色觉缺陷程度描述符316。用户环境因素描述符320包括用户环境照度描述符321。

表1描述了用户特征描述符310。将二色视者细分为红色色盲(红色盲)、绿色色盲(绿色盲)和蓝色色盲(蓝色盲)。对于二色视者中最常见的红色盲或绿色盲，将中间绿色光谱视为无色或灰色，将波长较短一侧视为蓝色，而将波长较长一侧视为黄色。因此，从监视器、电视机之类可见的色彩只显示为蓝色和黄色两种色彩；难以正确区分信号灯。与此相反，蓝色盲非常罕见。对于蓝色盲，一切事物都是红色和绿色两种色彩；可以出乎意料地轻松区分信号灯。同时，如果所有三种视锥细胞均不存在，则称为全色盲。此时，由于所有色彩都是黑色或灰色，所以视力很差。

将异常三色视者细分为红色弱、绿色弱和蓝色弱。红色弱或绿色弱在异常三色视者中最常见，他们可以看见不同程度的红色和绿色。红色弱或绿色弱的程度在从非常严重的情况到非常轻微的情况的范围内变化，其中在非常严重的情况中，红色弱或绿色弱与红色盲或绿色盲没有差别，在非常轻微的情况中，红色弱或绿色弱接近正常。就像人的视力一样，色觉缺陷的程度有很大不同。

表1

医学术语	色觉缺陷信息类型
				色觉缺陷类型	色觉缺陷程度类型
	文字程度类型	数字程度类型
			红色弱		红色缺陷	轻微	0.1-0.9
红色盲	红色缺陷	严重		1.0
			绿色弱		绿色缺陷	轻微	0.1-0.9
绿色盲	绿色缺陷	严重		1.0
			蓝色弱		蓝色缺陷	轻微	0.1-0.9
蓝色盲	蓝色缺陷	严重		1.0
			全色盲		完全色盲	不适用	不适用

例如，在医学术语中，在红色弱的情形下，色觉缺陷类型描述符319表示红色缺陷，并且在异常三色视的情形下，色觉缺陷程度描述符316以文字描述表示为轻微(异常三色视)，并且具有数字描述值0到0.9，而在二色视者的情形下，色觉缺陷程度描述符316以文字描述表示为严重(二色视)，并且具有1.0的值。也就是说，不仅可以利用归一化数值，而且还可以利用文字描述，来描述色觉缺陷程度的严重程度。稍后会描述此类描述方法的具体必要性。

本发明提供了三种用于计算色觉缺陷程度的严重程度的方法。用于计算色觉缺陷程度的严重程度的第一种方法是，测量导致异常三色视的异常因素，并且直接使用测量值。导致异常三色视的一个异常因素是对应视锥细胞的响应函数偏移了正常位置的情况，另一种因素是视锥细胞的响应值强度降低的情况。通过混合组合以上两种现象，来确定异常三色视的严重程度。如方程式1和方程式2表示的那样，分别执行用于计算以上两种情况的过程。

如果LMS视锥细胞中视锥细胞的偏移计算值为Z，则Z的值如方程式1所表示。如果医学证实的视锥细胞的最大偏移极限数值为α_max纳米(nm)，且异常三色视的视锥细胞的偏移值为α纳米，则α的值在0.0到α_max纳米的范围内变化。

方程式1

$Z=\frac{\mathrm{\α}}{{\mathrm{\α}}_{\max }}$

此时，如果异常视锥细胞的偏移值α超过α_max，或者如果不存在视锥细胞，则确定为二色视，并且使α的值等于α_max的值。因此，在二色视的情况下，Z的值总是1.0。

另外，以方程式2的方式执行用于考虑LMS视锥细胞中异常视锥细胞响应值强度降低的情形的方法。如果医学证实的视锥细胞降低的最大阈值数值为β_max，且异常三色视的视锥细胞降低值为β，则β值可在0.0到值β_max的范围内变化。因此，将I的值进行归一化，以便使其值的范围为0.0到1.0，并且由方程式2确定该值。

方程式2

$I=\frac{\mathrm{\β}}{{\mathrm{\β}}_{\max }}$

此时，如果异常视锥细胞的降低强度β超过β_max，或者如果不存在视锥细胞，则确定为二色视者，并且使β的值等于β_max的值。因此，在二色视的情况下，I的值总是1.0。

由此，能够通过使用方程式1和方程式2，计算用于确定色觉缺陷程度的严重程度的两个因素。医学上，由这两个因素的各种组合导致了色觉缺陷。因此，通过分别给出异常视锥细胞的偏移程度计算值Z和异常视锥细胞的响应强度降低程度的计算值I的加权值，有可能更准确地反映和计算有色觉缺陷的人的色觉缺陷程度的严重程度。

因此，由方程式3中的Z_W表示视锥细胞的移动现象，其中Z_W是Z和W_Z的乘积，Z是由方程式1表示的根据异常视锥细胞的偏移所计算的值，W_Z为加权值。

方程式3

$Z_w=w_z\×Z=w_z\×\frac{\mathrm{\α}}{{\mathrm{\α}}_{\max }}$

另外，由方程式4中的I_W表示视锥细胞的响应值强度的降低，其中I_W是I和W_I的乘积，I是由方程式1表示的根据异常视锥细胞响应值强度的降低程度所计算的值，且W_I为加权值。

方程式4

$I_w=w_I\×I=w_I\×\frac{\mathrm{\β}}{{\mathrm{\β}}_{\max }}$

由此，在方程式5中，通过组合具有给定加权值的两个因素，获取色觉缺陷的严重程度。

方程式5

此时，N的值是表示色觉程度的数值，且被归一化为从0.0到1.0。通过将Z和加权值W_Z的乘积与I和加权值W_I的乘积相加，然后将所得的值归一化为从0.0到1.0，来获得N的值，其中Z是由异常视锥细胞移动到有色觉缺陷的人的LMS视锥细胞中的其它视锥细胞而偏移的程度所计算的值，I是由异常视锥细胞的响应强度降低程度所计算的值。

由于Z和I的峰值均为1.0，所以通过用以上所得的值除以W_Z ^max和W_I ^max的和，来执行归一化，其中W_Z ^max是加权值W_Z的峰值，W_I ^max是加权值W_I的峰值。最后，通过把小数点右移一位，并将低位小数去掉一半，来获得色觉缺陷程度的数字描述值。因此，如表1所示，在二色视者的情况中，色觉缺陷程度的数字描述值为1.0。在异常三色视者的情况中，数字描述值在0.0到0.9的范围内。

与第一种方法不同，计算色觉缺陷程度的第二和第三种方法使用色觉缺陷测试的结果。测试色觉缺陷的方法分为伪同色测试、色彩排列测试和色光测试。伪同色测试中最有代表性的测试方法是Ishihara测试。因为该方法非常简单和快速，所以在测试方法中该方法使用最普遍。然而，其缺点是难以详细测试色觉缺陷程度。色彩排列测试的缺点在于，与伪同色测试相比，其测试需要的时间较长，并且难于进行色觉缺陷的分析。然而，色彩排列测试的优点是，与伪同色测试相比，有可能正确测试出色觉缺陷的类型和程度。色彩排列测试中最有代表性的测试是Farnsworth-Munsell(FM)色度测试。最后，还有使用色光的色盲镜测试。这些测试被认为是最能够对红绿异常三色视者进行精确检查的。特别地，这些测试易于细分色觉缺陷程度。

根据本发明的第二种方法，本发明使用FM色度测试用于计算色觉缺陷程度。通过使用在FM色度检查后获取的总误差分值(TES)，计算色觉缺陷的严重程度。根据方程式6中的总误差分值，计算色觉缺陷的严重性程度，其范围为0.1到1.0。

方程式6

此时，E为总误差分值。如果总误差分值小于E_min，则确定主体是没有任何色觉缺陷的正常人。如果总误差分值大于E_min，则确定主体具有色觉缺陷。如果总误差分值大于E_min但小于E_max，则确定主体具有异常三色视缺陷。在异常三色视缺陷中，根据该主体的总误差分值在总误差分值的整个范围内所占的比例，确定色觉缺陷程度的数值N。此时，色觉缺陷程度的数值N的范围为0.1到0.9。通过把低位小数去掉一半然后将小数点右移两位，获得以上数值。并且，在二色视缺陷的情况中，色觉缺陷程度的数值N总为1.0。图4表示利用FM色度测试计算色觉缺陷程度的方法示例。

根据第三种方法，本发明利用色盲镜计算色觉缺陷程度。如今，色盲镜能够仅用于检查红绿异常三色视。本发明使用最有代表性的Nagel色盲镜计算色觉缺陷程度。Nagel色盲镜由两部分组成。第一部分为发射纯黄色的测试域，第二部分为混合域，其中将红色和绿色进行共同发射并且产生黄色。Nagel色盲镜装有两台调整设备：第一台调整设备用于调整测试域的照度，第二台调整设备用于调整混合域中红色与绿色的比率。主体在利用双眼观察色盲镜时，应该利用两台调整设备，将从测试域发射的色彩和从混合域发射的色彩调成相同色彩。检查员通过分析由主体调整的两台调整设备的值，确定色觉缺陷的严重程度和类型。红色与绿色的比率的值为从0到73的范围。0表示纯绿色，73表示纯红色。数值范围1到72表示通过向绿色中添加红色而生成的混合色彩。该值降低时，红色在混合色彩中所占的比例增加，而该值增加时，绿色在混合色彩中所占的比例增加。在初始化测试前，通常将该数值设置为43，从而在混合域中生成黄色。如果该主体的值在40到45的范围内变化，则确定该主体正常。在方程式7中，计算色觉缺陷的严重程度在0.1到1.0的范围内。

方程式7

此时，R_d＝R_max-R_min，

在方程式7中，R_d表示混合域中的红/绿比率部分的范围，混合域被识别为与主体的测试域相同。也就是说，R_d表示在红/绿比率部分范围中最小值R_min和最大值R_max之间的距离。R_d的值越大，色觉缺陷程度越严重。正常人具有红/绿比率部分范围中的最小值R^normal _min和最大值R^normal _max。也就是说，R_d的值为(R^normal _max-R^normal _min)的值。作为执行色盲镜测试的结果，如果距离值R_d小于极限值R_th，则确定该用户具有异常三色视缺陷；并且，如果R_d大于R_th，则确定该用户具有二色视缺陷。根据色觉缺陷的类型，极限值R_th发生改变。在绿色觉缺陷的情况中，极限值R_th等于R^normal _min，而在红色觉缺陷的情况中，极限值R_th等于(73-R^normal _max)。在异常三色视的情况中，通过使用上述数值，利用R_th和R_d之间的比率，确定色觉缺陷程度的数值N，其中R_th是色觉缺陷被确定为二色视时红/绿比率部分范围内的最长距离，R_d是主体的红/绿比率部分范围内的距离。此时，色觉缺陷程度的数值N具有0.1到0.9的值。通过把小数部分去掉一半并将小数点右移两位，获得以上数值。在二色视的情况中，色觉缺陷程度N总是1.0。图5表示利用色盲镜测试的结果计算色觉缺陷程度的方法示例。下表2为以XML文档准备的色觉缺陷描述符的示例，其中描述符具有如图3所示的结构。

表2a

<！--###########################################  --><！--    Definition of VisuallmpairmentType  --><！--###########################################  --><complexType name＝″VisuallmpairmentType″><sequence><element name＝″ColorVisionDeficiency″type＝″ColorVisionDeficiencyType″minOccurs＝″0″/></sequence><attribute name＝″ColorVisionDeficiencyOrNot″type＝″boolean″use＝″required″/></complexType>

表2b

<！--###########################################  --><！--     Definition of ColorVisionDeficiency  --><！--###########################################  --><complexType name＝″ColorVisionDeficiencyType″><sequence><element name＝″ColorVisionDeficiencyType″type＝″ColorVisionDeficiencyTypeType″/><element name＝″ColorVisionDeficiencyDegree″type＝″ColorVisionDeficiencyDegreeType″/></sequence><attribute name＝″Sight″type＝″float″use＝″optional″/><attribute name＝″IlluminanceDegree″type＝″float″use＝″optional″/></complexType><simpleType name＝″ColorVisionDeficiencyTypeType″><restriction base＝″string″><enumeration value＝″Red-Deficiency″/><enumeration value＝″Green-Deficiency″/><enumeration value＝″Blue-Deficiency″/><enumeration value＝″CompleteColorBlindness″/></restriction></simpleType><complexType name＝″ColorVisionDeficiencyDegreeType″><choice><element name＝″NumericDegree″type＝″mpeg7:zeroToOneType″/><element name＝″TextualDegree″><simpleType><restriction base＝″string″><enumeration value＝″Severe″/><enumeration value＝″Mild″/></restriction></simpleType></element></choice></complexType>

图6是图2所示的自适应步骤(步骤206)的详细流程图。如图6所示，如上所述，由色觉特征描述符确定用户的色觉缺陷程度(步骤402)。如果周围确定结果确定用户为异常三色视者，则为此类异常三色视者执行自适应处理(步骤404)。如果确定用户为二色视者，则为此类二色视者执行单独的自适应处理(步骤406)。如果在图3中色觉程度描述符316的文字描述317为“严重”(二色视者)，或者数字描述318为1.0，则用户为色觉缺陷中的二色视者，并因此执行自适应处理。相反，如果色觉缺陷程度描述符316的色觉缺陷程度的文字描述317为“轻微”(异常三色视)，或者数字描述318为0-0.9，则用户为色觉缺陷中的异常三色视者，并因此执行用于异常三色视者的自适应处理。

图7是用于异常三色视者的自适应处理(步骤404)示例的详细流程图。首先，获取表示异常三色视者用户的视觉特征的LMS响应函数(步骤502)。下文会具体描述用于获取LMS响应函数的方法。接着，将外部输入的可视内容从RGB色彩空间变换到LMS色彩空间(步骤504)。然后，利用用户LMS响应函数的逆函数，对输入的可视内容进行变换(步骤506)，并且将LMS空间中以此方式变换的可视内容再次变换到RGB色彩空间(步骤508)。

下面参照图8到图11具体描述根据本发明的异常三色视者自适应处理方法的原理。图8表示对于正常人的可见波长来说LMS视锥细胞的光谱灵敏度。

图9表示具有P22荧光粉的CRT监视器的RGB发射曲线。如上所述，人类通过用于识别从物体反射的光线的眼睛中的视细胞区分色彩。然而，与人类通过直接观察物体识别色彩的情况不同，当人类通过图像显示设备识别色彩时，由于图像显示设备的特征和每个人的眼睛的特征，识别色彩不相同。因此，为了使人类准确地理解最终识别的色彩，应当考虑对应图像显示设备的光谱发射函数的特征。通常，通过使用光谱仪，能够对图像显示设备的光谱发射函数的特征进行测量，其中根据图像显示设备的特征和类型，上述特征以不同形式出现。在本实施方式中，使用光谱仪对带有P22荧光粉的CRT监视器的RGB发射函数的特征进行测量。

图10表示LMS色彩空间中的激励。光谱仪所测量的色彩与人类识别的色彩不同。前者只是色彩的物理度量。人类最终识别的色彩是视锥细胞的LMS特征和图像显示设备的RGB特征之间复合作用的结果。根据三种类型的视锥细胞的特征，对从图像显示设备发射的色彩进行变换和识别。图10表示在LMS正交坐标系上由三种类型的视锥细胞所识别的每个RGB值。利用图像显示设备所识别的所有色彩均出现在由顶点ORYGBMWC所构成的六面体中。

利用变换矩阵可以变换可选激励Q的LMS值(L_Q，M_Q，S_Q)，其中通过根据每条波长对视锥细胞的LMS函数(图8)和利用光谱仪测量的RGB光谱发射曲线(图9)进行积分，获得变换矩阵。下面的方程式8表示用于获取正常人的LMS变换矩阵T_normal的方程式。

方程式8

$\left[\begin{array}{c}L\\ M\\ S\end{array}\right]=T_{\mathrm{nornal}}\·\left[\begin{array}{c}R\\ G\\ B\end{array}\right],T_{\mathrm{normal}}=\left[\begin{array}{ccc}{L}_{\mathrm{narmal}}^r& L_{\mathrm{narmal}}^g& L_{\mathrm{normal}}^b\\ M_{\mathrm{normal}}^r& M_{\mathrm{normal}}^g& M_{\mathrm{normal}}^b\\ S_{\mathrm{normal}}^r& S_{\mathrm{normal}}^g& S_{\mathrm{normal}}^b\end{array}\right],$

其中，

$\left(\begin{array}{ccc}{L}^r=k_l\text{\∫}{E}_r\left(\mathrm{\λ}\right)L\left(\mathrm{\λ}\right)\mathrm{d\λ}& L^g=k_l\text{\∫}{E}_g\left(\mathrm{\λ}\right)L\left(\mathrm{\λ}\right)\mathrm{d\λ}& L^b=k_l\text{\∫}{E}_b\left(\mathrm{\λ}\right)L\left(\mathrm{\λ}\right)\mathrm{d\λ}\\ M^r=k_m\text{\∫}{E}_r\left(\mathrm{\λ}\right)M\left(\mathrm{\λ}\right)\mathrm{d\λ}& M^g=k_m\text{\∫}{E}_g\left(\mathrm{\λ}\right)M\left(\mathrm{\λ}\right)\mathrm{d\λ}& M^b=k_m\text{\∫}{E}_b\left(\mathrm{\λ}\right)M\left(\mathrm{\λ}\right)\mathrm{d\λ}\\ S^r=k_s\text{\∫}{E}_r\left(\mathrm{\λ}\right)S\left(\mathrm{\λ}\right)\mathrm{d\λ}& S^g=k_s\text{\∫}{E}_g\left(\mathrm{\λ}\right)S\left(\mathrm{\λ}\right)\mathrm{d\λ}& S^b=k_s\text{\∫}{E}_b\left(\mathrm{\λ}\right)S\left(\mathrm{\λ}\right)\mathrm{d\λ}\end{array}\right)$

在方程式8中，E_r(λ)、E_g(λ)和E_b(λ)分别表示图像显示设备在与R、G和B激励有关的波长(λ)发射的光谱功率，并且L(λ)、M(λ)和S(λ)表示视锥细胞在波长(λ)吸收的光谱响应值。图像显示设备中每种荧光粉的最大发射值构成非彩色LMS响应值。为了形成一个白点，每个非彩色响应值应当具有理想发射函数特征。如果图像显示设备具有此类理想条件，则选择K值以满足∑L＝∑M＝∑S＝1。

图11表示其中视锥细胞的峰值灵敏度偏移约10nm的红色弱的光谱灵敏度。与二色视不同，异常三色视是指其中存在全部三种视锥细胞但它们不发挥正常功能的状态。与二色视不同，由于基于异常三色视的程度的差异是各式各样的，所以很难准确表示由异常三色视者所识别的色彩。然而，依据研究视力的几篇论文，在异常三色视的情况中，假定LMS视锥细胞的峰值灵敏度偏移一定波长。由于在红色弱中偏移L视锥细胞，在绿色弱中偏移M视锥细胞，在蓝色弱中偏移S视锥细胞，所以两类视锥细胞比正常人的视锥细胞更加重叠。因此，与正常人相比，异常三色视者缺乏区分色彩的能力。图11表示红色弱的光谱灵敏度，其中L视锥细胞的峰值灵敏度偏移约10nm。

与二色视的仿真不同，利用变换矩阵可以直接获得异常三色视者所识别的色彩仿真，其中变换矩阵将图像显示设备发射的光线变换为异常三色视者的缺陷视锥细胞所识别的色彩。根据异常三色视的类型获得变换矩阵；给定红色弱为方程式9中的变换矩阵T^L _abnormal，给定绿色弱为方程式10中的变换矩阵T^M _abnormal，以及给定蓝色弱为方程式11中的变换矩阵T^S _abnormal。也就是说，通过向方程式8中应用异常三色视者的畸形视锥细胞的LMS响应函数，取代正常人的LMS响应函数，有可能获得直接变换矩阵。

然而，对于该方法，应当优先计算具有色觉缺陷的人的LMS变换矩阵T_abnormal。如图8中见，为了计算T_abnormal，必须了解具有色觉缺陷的人的视锥细胞的光谱响应函数L’(λ)、M’(λ)和S’(λ)以及显示器的特征E_r(λ)、E_g(λ)和E_b(λ)。然而，实践中的一个重要问题是如何获得L’(λ)、M’(λ)和S’(λ)。即使有可能由专家测量上述特征，也还存在以下问题，即需要设计一种方法，用于将测量的数据输入到自适应***中以便在自适应处理中使用。

如参考方程式1到方程式5所述，本发明提出了一种通过考虑LMS视锥细胞的光谱偏移和响应强度的变化，对异常三色视的机制进行建模，用简单数值表示异常三色视程度的方法。同与异常三色视相关的信息一起，异常三色视程度的简化数值被有效地使用，以逼近异常三色视者的视锥细胞的光谱响应函数L’(λ)、M’(λ)和S’(λ)。通过这些过程，可以对T_abnormal进行计算，从而第一次非常容易并且有效地表示了异常三色视者的色觉缺陷。

这里，异常三色视者的缺陷视锥细胞的响应函数，包括将某一类LMS视锥细胞向其它类视锥细胞偏移几个纳米至数十纳米的情况，以及LMS视锥细胞的响应程度降低的情况。

通过使用每个异常三色视者的LMS变换矩阵，将原始色彩图像信息、即(R，G，B)直接变换为LMS空间的(L’，M’，S’)，并且在该变换过程中，由方程式9表示红色弱，由方程式10表示绿色弱，由方程式11表示蓝色弱。

方程式9

$\left[\begin{array}{c}{L}^{\′}\\ M^{\′}\\ S^{\′}\end{array}\right]=T_{\mathrm{abnormal}}^L\·\left[\begin{array}{c}R\\ G\\ B\end{array}\right],T_{\mathrm{abnormal}}^L=\left[\begin{array}{ccc}{L}_{\mathrm{abnarmal}}^r& L_{\mathrm{abnarmal}}^g& L_{\mathrm{abnormal}}^b\\ M_{\mathrm{normal}}^r& M_{\mathrm{normal}}^g& M_{\mathrm{normal}}^b\\ S_{\mathrm{normal}}^r& S_{\mathrm{normal}}^g& S_{\mathrm{normal}}^b\end{array}\right],$

方程式10

$\left[\begin{array}{c}{L}^{\′}\\ M^{\′}\\ S^{\′}\end{array}\right]=T_{\mathrm{abnormal}}^M\·\left[\begin{array}{c}R\\ G\\ B\end{array}\right],T_{\mathrm{abnormal}}^M=\left[\begin{array}{ccc}{L}_{\mathrm{narmal}}^r& L_{\mathrm{narmal}}^g& L_{\mathrm{normal}}^b\\ M_{\mathrm{abnormal}}^r& M_{\mathrm{abnormal}}^g& M_{\mathrm{abnormal}}^b\\ s_{\mathrm{normal}}^r& S_{\mathrm{normal}}^g& S_{\mathrm{mormal}}^b\end{array}\right],$

方程式11

$\left[\begin{array}{c}{L}^{\′}\\ M^{\′}\\ S^{\′}\end{array}\right]=T_{\mathrm{abnormal}}^S\·\left[\begin{array}{c}R\\ G\\ B\end{array}\right],T_{\mathrm{abnormal}}^S=\left[\begin{array}{ccc}{L}_{\mathrm{narmal}}^r& L_{\mathrm{narmal}}^g& L_{\mathrm{normal}}^b\\ M_{\mathrm{normal}}^r& M_{\mathrm{normal}}^g& M_{\mathrm{normal}}^b\\ S_{\mathrm{abnormal}}^r& S_{\mathrm{abnormal}}^g& S_{\mathrm{abnormal}}^b\end{array}\right],$

通过方程式12中的正常人的LMS逆变换矩阵，对已变换为LMS空间的(L′，M′，S′)的色彩激励值再次进行变换，从而获取由异常三色视者实际识别的RGB值格式的色彩。通过该方法，有可能以方程式12仿真由异常三色视者所看到的色彩，以便使正常人能够看见该色彩。首先，利用方程式12(1)中的异常三色视者的LMS变换矩阵，将原始色彩信息、即(R，G，B)变换为(L’，M’，S’)，然后，通过将所变换的(L’，M’，S’)乘以正常人的LMS逆变换矩阵，将所变换的(L’，M’，S’)变换为异常三色视者识别的(R_simulated，G_simulated，B_sirmulated)，从而执行仿真。如果将方程式12(1)和方程式12(2)进行组合，则有可能利用方程式12(3)执行异常三色视者的色彩仿真。通常，方程式12(4)中为异常三色视者所仿真的色彩与原始色彩不同。异常三色视的程度越严重，仿真色彩和原始色彩之间的区别越大。

方程式12

$\left(1\right)\left[\begin{array}{c}{L}^{\′}\\ M^{\′}\\ S^{\′}\end{array}\right]=\left[T_{\mathrm{abnormal}}\right]\·\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

$\left(2\right)\left[\begin{array}{c}{R}_{\mathrm{simulated}}\\ G_{\mathrm{simulated}}\\ B_{\mathrm{simulated}}\end{array}\right]={\left[T_{\mathrm{normal}}\right]}^{-1}\·\left[\begin{array}{c}{L}^{\′}\\ M^{\′}\\ S^{\′}\end{array}\right]$

$\left(3\right)\left[\begin{array}{c}{R}_{\mathrm{simulated}}\\ G_{\mathrm{simulated}}\\ B_{\mathrm{simulated}}\end{array}\right]={\left[T_{\mathrm{normal}}\right]}^{-1}\·\left[T_{\mathrm{abnormal}}\right]\·\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

$\left(4\right)\left[\begin{array}{c}{R}_{\mathrm{simulated}}\\ G_{\mathrm{simulated}}\\ B_{\mathrm{simulated}}\end{array}\right]\≠\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

按下述方式执行用于异常三色视者的自适应处理，通过加重使具有特定异常三色视类型的异常三色视者难以区分的色彩的亮度和饱和度，使其比正常值更加强烈，来进一步增强异常三色视者的色彩区分能力。即，这是一种补偿由于视锥细胞偏移引起的具有特定异常三色视类型的异常三色视者的色彩区分能力下降的方法，并且由方程式13表示。具体而言，通过将原始色彩(R，G，B)与方程式13(1)中的自适应矩阵[A]相乘，首先获得自适应变换色彩，即(R_adapted，G_adapted，B_adapted)。这里，应用自适应矩阵[A]，从而使将自适应变换的色彩(R_adapted，G_adapted，B_adapted)仿真为异常三色视者所识别的色彩(R_simulated，G_simulated，B_simulated)的结果与方程式13(2)中的原始色彩(R，G，B)相同。

方程式13

$\left(1\right)\left[\begin{array}{c}{R}_{\mathrm{adapted}}\\ G_{\mathrm{adapted}}\\ B_{\mathrm{adapted}}\end{array}\right]=\left[A\right]\·\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

$\left(2\right)\left[\begin{array}{c}{R}_{\mathrm{simulated}}\\ G_{\mathrm{simulated}}\\ B_{\mathrm{simulated}}\end{array}\right]={\left[T_{\mathrm{normal}}\right]}^{-1}\·\left[T_{\mathrm{abnormal}}\right]\·\left[\begin{array}{c}{R}_{\mathrm{adapted}}\\ G_{\mathrm{adapted}}\\ B_{\mathrm{adapted}}\end{array}\right]=\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

也就是说，异常三色视者的内容自适应处理的目标是：自适应地变换原始内容的RGB色彩，从而使相应类型的异常三色视者可以看到正常人所看到的内容。这里，用于异常三色视者的内容自适应矩阵[A]用以下的方程式14表示。尽管自造应变换内容可能对正常人很不自然，但是异常三色视者能够以与正常人查看原始内容相同或接近的水平查看自适应变换的内容。

方程式14

A＝[T_abnormal]^-1·[T_normal]

图12是如图6所示的二色视自适应处理示例的详细流程图。如该图所示，首先根据从色觉特征描述符中提取的色觉缺陷类型，区分用户难以察觉的缺陷区域(步骤1002)。接着，调整与缺陷区域对应的像素的色度、饱和度或强度中的至少一项(步骤1004)。从而对可视内容进行自适应变换，以便适合于具有二色视缺陷的用户的色觉特征。以下详细描述具体的变换处理。

图13显示了具有二色视缺陷的人所识别的色彩空间，其中图13a表示红色盲或绿色盲的色彩空间，而图13b表示蓝色盲的色彩空间。表示具有色觉缺陷的人所识别的色彩，是色觉缺陷的自适应处理的基础。许多论文已经证实了表示二色视者所识别的色彩的仿真处理。具有红色盲或绿色盲缺陷的人将短波长的色彩识别为蓝色，而将长波长的色彩识别为黄色。因此，可以用具有不同强度和饱和度程度的两种色彩来表示对于具有红色盲或绿色盲缺陷的人的色彩。尽管是非常少见的，但是具有蓝色盲缺陷的人将短波长的色彩识别为青色，而将长波长的色彩识别为红色。因此，也可以用具有不同强度和饱和度程度的两种色彩来表示对于具有蓝色盲缺陷的人的色彩。对于具有色觉缺陷的人和正常人而言，这两种色彩将被看作是相同的色彩。在医学上，对于红色盲或绿色盲，有可能假定这两种色彩为475nm的蓝色和575nm的黄色，对于蓝色盲，这两种色彩为485nm的青色和660nm的红色。

图13表示有二色视缺陷的人所识别的色彩。在图13中，点E(L_E，M_E，S_E)是在对应图像显示设备的等能量激励中最亮的条件等色。因此，OE表示由正常人和二色视者同样识别的非彩色激励。以这些激励为中心形成两个有限激励平面。换句话说，两个平面构成特定二色视者类型的两种不可改变的色彩。根据其波长，用两个平面上的一种色彩替换LMS空间中的某种色彩激励Q。在图13中，将红色盲的点P₁和P₂的色彩激励全部用点P的色彩激励替换，并且将绿色盲的点D₁和D₂的色彩激励全部用点D的色彩激励替换。类似地，将蓝色盲的点T₁和T₂的色彩激励全部用点T的色彩激励替换。

假定由某一激励Q所替换的二色视者的色彩激励为Q’(L_Q，M_Q，S_Q)。并且假定构成两个不可改变的色彩平面的色彩激励为A(L_A，M_A，S_A)。所替换的Q’值总是与由标准矢量构成的平面正交。因此，Q’可以用方程式15表示。另外，可以利用方程式16中的L_Q′、M_Q′、S_Q′值的线性方程式表示方程式15。

方程式15

(E×A)·Q′＝0

方程式16

aL_Q′+bM_Q′+cS_Q′＝0

这里，

a＝M_ES_A-S_EM_A，b＝S_EL_A-L_ES_A，c＝L_EM_A-M_EL_A

因此，最终以方程式17(用于红色盲)、方程式18(用于绿色盲)和方程式19(用于蓝色盲)表示从激励Q到Q’的变换方程式。

方程式17

$\left[\begin{array}{c}{L}_{Q^{\′}}\\ M_{Q^{\′}}\\ S_{Q^{\′}}\end{array}\right]=\left[\begin{array}{ccc}0& -b/a& -c/a\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}L\\ M\\ S\end{array}\right]=\left[\begin{array}{c}{L}_p\\ M_p\\ S_p\end{array}\right]$

这里，

方程式18

$\left[\begin{array}{c}{L}_{Q^{\′}}\\ M_{Q^{\′}}\\ S_{Q^{\′}}\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ -a/b& 0& -c/b\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}L\\ M\\ S\end{array}\right]=\left[\begin{array}{c}{L}_d\\ M_d\\ S_d\end{array}\right]$

这里，

方程式19

$\left[\begin{array}{c}{L}_{Q^{\′}}\\ M_{Q^{\′}}\\ M_{Q^{\′}}\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ -a/b& 0& -c/b\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}L\\ M\\ S\end{array}\right]=\left[\begin{array}{c}{L}_d\\ M_d\\ S_d\end{array}\right]$

这里，

图14为图12中用于区分缺陷区域的方法示例的详细流程图。如图14所示，首先利用方程式20将可视内容从RGB色彩空间变换到CMYK色彩空间(步骤1202)。接着，确定需要进行自适应变换的区域(步骤1204)。通过根据色觉缺陷类型区分与CMYK的预定区域相对应的像素，来执行该步骤。在红色盲或绿色盲的情况下，按照方程式21确定缺陷区域，而在蓝色盲的情况下，按照方程式22确定缺陷区域。

方程式20

$\left[\begin{array}{c}C\\ M\\ Y\end{array}\right]=\left[\begin{array}{c}c\\ m\\ y\end{array}\right]-K$

此时，c、m、y分别是作为R、G、B的补色所获取的值，并且表示如下：

$\left[\begin{array}{c}c\\ m\\ y\end{array}\right]=1-\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

另外，K表示(c，m，y)中的最小值。利用方程式21检测分布在该空间中的红色盲或绿色盲的色彩缺陷区域R_adaptation(x，y)。

方程式21

这里，(x，y)表示图像中的像素的位置。M(x，y)表示分布在该空间中的品红值。Th₁表示确定为品红的值的阈值。在蓝色盲的情况时，按以下方式检测色彩缺陷区域R_adaptation(x，y)：

方程式22

这里，Y(x，y)表示分布在该空间中的黄色值。Th₂表示用于利用黄色值查找蓝色的黄色值的阈值，其中蓝色是黄色的补色。

对于二色视者的自适应处理分为对于红色盲或绿色盲的自适应处理、以及对于蓝色盲的自适应处理。具有红色盲或绿色盲的人将通过图像显示设备所见的所有色彩看成蓝色或黄色。也就是说，将红色区域中长波长的红色看成黄色，而将短波长的红色看成蓝色。类似地，将绿色区域中长波长的绿色看成黄色，而将短波长的绿色看成蓝色。因此，二色视者的自适应处理的目标是：寻找具有红色盲或绿色盲的人不能区分的红色和绿色区域，并使得该区域可以被区分。如果仅将红色或绿色中的一种色彩变为可由具有红色盲或绿色盲缺陷的人区分的色彩，则会使得两种色彩都是可区分的。通常，可视内容的像素由RGB(红，绿，蓝)三个值组成，并且这些值具有色度、饱和度和强度。因此，像素的固有色彩仅仅是色度。即使像素具有相同色度，也可以将它们用强度或饱和度不同地进行表示。

在对于二色视者的内容自适应处理中，使用HIS(色度、饱和度、强度)色彩空间以便调整色彩的色度和强度。已知HIS色彩空间有助于分开图像的客体。因此，自适应处理是按以下方式执行的，将RGB色彩变换到HIS色彩空间，以便获取图像上的客体信息，同时改变二色视者不可区分的色彩。

图15a表示正常人识别的色彩的色度(1202)。这里，Θ是指色彩角，并且以0°为基准沿逆时针方向将红色R散布到360°上。通常，黄色(Y)位于60°的点，绿色(G)位于120°的点，青色位于180°的点，蓝色位于240°的点，品红(M)位于300°的点。

然而，与正常人不同，二色视者将正常人所识别的所有色彩识别为两种色度。图15b表示红色盲或绿色盲所识别的色度(1204)。图15c表示蓝色盲所识别的色度(1206)。也就是说，二色视者根据饱和度和强度的差别区分色彩，因为他们只能识别两种色度。由此，二色视者从图像的色彩中识别信息的能力很差。

图16表示从0°到360°的范围内，与正常人所识别的色度相比，红色盲、绿色盲和蓝色盲所识别的色度的仿真。在图16中，水平轴表示从0°到360°的色彩角，垂直轴表示通过将0°到360°的色度归一化到其值在0.0到1.0的范围内而获得的色度值。如图16所示，将红色盲、绿色盲和蓝色盲所识别的色度划分为两类色度。

图17是图12中用于区分缺陷区域的另一个方法示例的详细流程图。如图17所示，首先将输入的可视内容的像素从RGB色彩空间变换为LMS色彩空间(步骤1502)。接着，将LMS值变换为具有二色视缺陷的用户的有限LMS空间(步骤1504)。然后，在红色盲的情况下，检测L值减少的区域，在绿色盲的情况下，检测M值减少的区域，在蓝色盲的情况下，检测S值减少的区域(步骤1506)。也有可能利用该方法检测色彩缺陷区域R_adaptation(x，y)。

在检测色彩缺陷区域R_adaptation(x，y)之后，按以下方式在所检测的色彩缺陷区域中执行色彩校正。图18是图12中的HIS调整方法示例的详细流程图。如图18所示，首先利用方程式23将与所检测的缺陷区域对应的像素的RGB值变换为HIS值，然后按照方程式24校正HIS值(步骤1602)。然后，按照方程式25将校正后的HIS值变换为RGB值(步骤1604)。

方程式23

$\left[\begin{array}{c}R(x,y)\\ G(x,y)\\ B(x,y)\end{array}\right]\⇒\left[\begin{array}{c}H(x,y)\\ S(x,y)\\ I(x,y)\end{array}\right],$

这里，将H、S、I的值是在0.0到1.0的范围内的归一化值。

方程式24

$\left[\begin{array}{c}{H}^{\′}(x,y)\\ S^{\′}(x,y)\\ I^{\′}(x,y)\end{array}\right]=\left[\begin{array}{c}H(x,y)\\ S(x,y)\\ I(x,y)\end{array}\right]+R_{\mathrm{adaptation}}(x,y)\×\left[\begin{array}{c}h\\ s\\ i\end{array}\right]$

这里，h、s、i值为0.0到1.0范围内的自适应变换值。

方程式25

$\left[\begin{array}{c}{H}^{\′}(x,y)\\ S^{\′}(x,y)\\ I^{\′}(x,y)\end{array}\right]\⇒\left[\begin{array}{c}{R}^{\′}(x,y)\\ G^{\′}(x,y)\\ B^{\′}(x,y)\end{array}\right]$

根据本发明的另一种自适应变换色彩的方法是，通过使用青色、品红和黄色的比例，同时确定缺陷区域和缺陷程度，而不是按照方程式21和方程式22检测缺陷区域。红色盲或绿色盲用方程式26表示，蓝色盲用方程式27表示。在这种情况下，R_adaptation(x，y)总是1，并且同时用(h，s，i)对缺陷区域和缺陷程度进行确定。

方程式26

(1)色度自适应变换：

(2)饱和度自适应变换：s＝α₁×M(x，y)+α₂×C(x，y)

这里，M(x，y)表示分布在该空间的品红值，C(x，y)表示分布在该空间的青色值。在方程式26中，h为红色盲或绿色盲的色度的变化量，s为红色盲或绿色盲的饱和度的变化量。在色度自适应处理中，如果蓝色区域中包含原始像素的色度，则不执行色度自适应处理。因为红色盲或绿色盲可正常识别蓝色区域，所以从色度自适应处理的客体中排除蓝色区域。Θmax是色度变化量的最大值，它是指色彩角可以移动的最大角度。这里，α₁和α₂是使用品红比率和青色比率的饱和度变化量的最大值，且其值范围为0.0到1.0。

对于二色视者的色度和饱和度自适应处理，在方程式26中使用了品红比率、青色比率和黄色比率。通过将像素的RGB值变换为CMYK色彩空间中的值，并且将所变换的CMY值归一化为从0.0到1.0的范围，来获取品红、青色和黄色比率的值；并且品红、青色和黄色比率分别表示对应像素中所包含的品红、青色和黄色成分的比例。

图19a、19b和19c分别表示色彩分布中的品红比率1702、青色比率1704和黄色比率1706。首先，对于240°到360°范围内的色彩角，品红比率1702具有饱和度和强度的乘积的最大值。例如，如果饱和度和强度都具有最大值，即，色度值和强度值都是1.0，则品红比率为1.0、即饱和度值1.0与强度值1.0的乘积。在另一个例子中，如果饱和度值为0.5且强度值为0.5，则品红比率为0.25、即饱和度值0.5与强度值0.5的乘积。另外，对于60°到180°范围内的色彩角，品红比率总是0。对于0°到60°范围内的色彩角，品红比率从具有0°色彩角的最大品红比率线性下降到具有60°色彩角的最小品红比率。对于180°到240°范围内的色彩角，品红比率从具有180°色彩角的最小品红比率线性增加到具有240°色彩角的最大品红比率。

对于120°到240°范围内的色彩角，青色比率1704具有饱和度和强度的乘积的最大值。另外，对于0°到60°范围内的色彩角以及300°到360°范围内的色彩角，青色比率总为0。对于60°到120°范围内的色彩角，青色比率从具有60°色彩角的最小青色比率线性增加到具有120°色彩角的最大青色比率。对于240°到300°范围内的色彩角，青色比率从具有240°色彩角的最大青色比率线性下降到具有300°色彩角的最小青色比率。

对于0°到120°范围内的色彩角，黄色比率1706具有饱和度和强度的乘积的最大值。另外，对于180°到300°范围内的色彩角，黄色比率总为0。对于120°到180°范围内的色彩角，黄色比率从具有120°色彩角的最大黄色比率线性下降到具有180°色彩角的最小黄色比率。对于300°到360°范围内的色彩角，黄色比率从具有300°色彩角的最小黄色比率线性增加到具有360°色彩角的最大黄色比率。

由于下面的原因，在对于红色盲或绿色盲的色度自适应处理中使用品红比率。第一个原因是，从色度自适应处理的客体中排除红色盲或绿色盲可正常区分的黄色区域。第二个原因是同时对不能与绿色相区分的红色区域、以及不能与蓝色相区分的品红区域进行自适应变换。第三个原因是逐渐改变色度，因为色度的突然变换可能使图像的质量恶化。在用于红色盲或绿色盲的饱和度自适应处理中使用品红比率的第四个原因是，提供饱和度差异作为用于区分自适应处理后变为蓝色的色彩与原始蓝色的量度。使用青色比率的第五个原因是，提供饱和度差异作为用于区分红色盲或绿色盲视为黄色的绿色区域与原始黄色区域的度量。

与红色盲或绿色盲不同，蓝色盲的主要问题是将蓝色(邻近紫色)识别为红色，并因此不能区分原始红色。蓝色盲只能正常识别蓝绿色(青色)和红色。因此，当使用与红色盲或绿色盲所用方法类似的方法时，如果青绿色区域中包含原始图像像素的色彩角，则不执行色度自适应处理。通常，使用165°到195°的色彩角作为青绿角。

方程式27

(1)色调自适应变换：

(2)饱和度自适应变换：s＝β₁×Y′(x，y)+β₂×M′(x，y)

这里，Y’(x，y)表示由H’所改变的色彩中的黄色成分、即原始色彩的H值加0.5，M’(x，y)表示在改变为HIS值的色彩中的品红值。在方程式27中，h和s分别是对于蓝色盲的色度变化量和饱和度数量。Θmax为色度变化量的最大值，它是指色彩角能够移动的最大角度。在对于蓝色盲的自适应处理中，应用蓝色比率和绿色比率；并且为了使用上述比例，应用黄色比率以及品红比例代替蓝色和绿色比率，其中黄色比率是蓝色比率的补色比率，品红比率是绿色比率的补色比率。这里，β1和β2是使用蓝色比率和绿色比率的饱和度的最大变化量，其范围为0.0到1.0。在用于蓝色盲的色度自适应处理中，使用蓝色比率以便从自适应变换的客体中排除红色区域，如果可能，使用与蓝色互补的黄色比率以便获取蓝色比率。

在对于蓝色盲的色度自适应处理中，除蓝色比率之外还使用绿色比率。使用与蓝色比率互补的黄色比率，来获取蓝色比率；并且使用与绿色比率互补的品红比率，来获取绿色比率。使用蓝色比率的原因是，提供在自适应处理后变为红色的色彩和原始红色之间的饱和度差异，从而区分这两种色彩。使用绿色比率的原因是，提供饱和度差异，以便区分被蓝色盲视为蓝绿的绿色区域与原始的蓝绿色区域。

下面的表3是根据本实施方式的用于二色视者的自适应处理的色表。

表3

二色视的类型	不能区分的色彩	可识别的色彩	自适应变换的色彩
				红色盲或绿色盲	红色和绿色	黄色	红色→品红色
蓝色盲	蓝色和黄色	红色	蓝色→绿色

不打算使上述实施方式限制本发明的范围，而是仅供本领域技术人员理解和实施本发明。因此，应当理解，可以在本发明的范围内作出各种修改和改变。原则上，由所附权利要求书确定本发明的范围。

工业适用性

根据如上所述的本发明，具有色觉缺陷的用户无需单独的装置就能够从可视内容中接收与正常人所见的信息几乎相同的语义信息。因此，具有色觉缺陷的用户能够自由地并且方便地使用多媒体内容。另外，本发明适用于作为多媒体国际标准的MPEG-7和MPEG-21的数字项目自适应部分。

Claims (33)

1.一种用于对可视内容进行自适应变换以适合于用户的色觉特征的方法，该方法包括以下步骤：

接收与用户的色觉特征相关的信息；以及

根据与色觉特征相关的信息自适应变换可视内容，

其中与色觉特征相关的信息包括与用户的色觉缺陷类型和色觉缺陷程度有关的描述，该色觉缺陷类型是通过从以下组中选择的一项所指定的，该组包括：L视锥灵敏度缺陷、M视锥灵敏度缺陷、S视锥灵敏度缺陷以及全色盲；该色觉缺陷程度以数值或文字进行描述，并且该色觉缺陷程度的文字描述在对可视内容进行变换时被变换为预定的数值描述。

2.根据权利要求1的方法，还包括以下步骤：

接收与用户环境相关的信息，

其中根据与色觉特征和用户环境相关的信息执行自适应变换。

3.根据权利要求2的方法，其中用用户周围环境的照度描述用户环境。

4.根据权利要求1的方法，其中当以数值进行描述时，通过归一化的数值描述色觉缺陷程度。

5.根据权利要求1的方法，其中通过根据色觉缺陷程度区分二色视者和异常三色视者，并且采用不同方式处理二色视者和异常三色视者，来执行自适应变换。

6.根据权利要求5的方法，其中按照以下步骤执行对于二色视者的自适应变换：

根据色觉缺陷类型从可视内容中区分用户难以察觉的缺陷区域；

以及

调整缺陷区域中像素的色度、饱和度和强度中的至少一个。

7.根据权利要求6的方法，其中通过将可视内容从RGB色彩空间变换到CMYK色彩空间，对缺陷区域进行区分，并且根据色觉缺陷类型，利用青色、品红和黄色的值区分缺陷区域中的像素。

8.根据权利要求6的方法，其中通过将可视内容从RGB色彩空间变换到LMS色彩空间，用根据色觉缺陷类型和色觉缺陷程度确定的用户的LMS响应函数变换经过变换的可视内容，并且测量各LMS值的降低程度，来对缺陷区域进行区分。

9.根据权利要求6的方法，其中通过改变缺陷区域中像素的色度和饱和度，来执行调整。

10.根据权利要求5的方法，其中按照以下步骤执行对于异常三色视者的自适应变换：

将可视内容从RGB色彩空间变换到LMS色彩空间；

用根据色觉缺陷类型和色觉缺陷程度确定的用户的LMS响应函数，对LMS色彩空间中的可视内容进行变换；以及

再次将经过变换的可视内容从LMS色彩空间变换到RGB色彩空间。

11.一种用于对可视内容进行自适应变换以适合于图像显示设备的用户色觉特征的方法，该方法包括以下步骤：

接收与用户的色觉特征相关的信息；

接收可视内容；

根据与色觉特征相关的信息自适应变换可视内容；以及

通过图像显示设备显示所变换的可视内容，

其中与色觉特征相关的信息包括与用户的色觉缺陷类型和色觉缺陷程度有关的描述，该色觉缺陷类型是通过从以下组中选择的一项所指定的，该组包括：L视锥灵敏度缺陷、M视锥灵敏度缺陷、S视锥灵敏度缺陷以及全色盲；该色觉缺陷程度以数值或文字进行描述，并且该色觉缺陷程度的文字描述在对可视内容进行变换时被变换为预定的数值描述。

12.根据权利要求11的方法，其中当以数值描述时，通过归一化的数值描述色觉缺陷程度。

13.根据权利要求11的方法，其中根据用户视锥细胞响应函数的偏移或强度降低，确定色觉缺陷程度的数值描述。

14.根据权利要求11的方法，其中通过使用从用户的Farnsworth-Munsell色度测试中所获得的总误差分值，确定色觉缺陷程度的数值描述。

15.根据权利要求11的方法，其中通过使用混合域中的红色/绿色比率部分的范围，来确定色觉缺陷程度的数值描述，其中该混合域在对用户进行色盲镜测试后被用户识别与测试域相同。

16.根据权利要求13的方法，其中通过以下方程式确定色觉缺陷程度的数值描述：

$\{w_z\×\left(\frac{\mathrm{\α}}{{\mathrm{\α}}_{\max }}\right)+w_I\×\left(\frac{\mathrm{\β}}{{\mathrm{\β}}_{\max }}\right)\}/(w_Z^{\max }+w_I^{\max })$

其中α为用户视锥细胞的偏移值，α_max为用户视锥细胞的最大偏移值，β为用户视锥细胞的强度降低值，β_max为用户视锥细胞的最大强度降低值，ω_Z为偏移值的加权值，ω_I为强度降低值的加权值，ω_Z ^max为ω_Z的最大值，ω_I ^max为ω_I的最大值。

17.根据权利要求11的方法，其中通过以下方程式确定色觉缺陷程度的数值描述：

其中E为用户的总误差分值，E_min是确定用户为异常三色视者时的最小阈值，E_max是确定用户为异常三色视者时的最大阈值。

18.根据权利要求11的方法，其中通过以下方程式确定色觉缺陷程度的数值描述：

此时，

其中R_d是被用户识别为与测试域相同的混合域中红色/绿色比率部分的范围，R^normal _min和R^normal _max是正常人的红色/绿色比率部分的范围内的最小值和最大值，R_th是确定用户为异常三色视者时R_d值的最小阈值。

19.根据权利要求11的方法，其中与色觉特征相关的信息还包括有关用户的标识信息。

20.根据权利要求11的方法，还包括以下步骤，接收与用户环境相关的信息，其中根据与色觉特征和用户环境相关的信息对可视内容进行变换。

21.根据权利要求20的方法，其中与用户环境相关的信息包括与用户周围环境的照度有关的描述。

22.一种用于对可视内容进行自适应变换以适合于图像显示设备的用户色觉特征的***，该***包括：

用于接收与用户的色觉特征相关的信息的装置；

用于接收可视内容的装置；以及

用于根据与用户的色觉特征相关的信息对可视内容进行自适应变换的处理部分，

其中与色觉特征相关的信息包括与用户的色觉缺陷类型和色觉缺陷程度有关的描述，该色觉缺陷类型是通过从以下组中选择的一项所指定的，该组包括：L视锥灵敏度缺陷、M视锥灵敏度缺陷、S视锥灵敏度缺陷以及全色盲；该色觉缺陷程度以数值或文字进行描述，并且该色觉缺陷程度的文字描述在对可视内容进行变换时被变换为预定的数值描述。

23.根据权利要求22的***，还包括：

用于以标准XML规范对与色觉特征相关的信息进行存储、并向处理部分提供与色觉特征相关的信息的装置。

24.根据权利要求22的***，其中用归一化的数值来描述色觉缺陷程度。

25.根据权利要求24的***，其中通过以下方程式确定色觉缺陷程度的数值描述：

$\{w_z\×\left(\frac{\mathrm{\α}}{{\mathrm{\α}}_{\max }}\right)+w_I\×\left(\frac{\mathrm{\β}}{{\mathrm{\β}}_{\max }}\right)\}/(w_Z^{\max }+w_I^{\max })$

其中α为用户视锥细胞的偏移值，α_max为用户视锥细胞的最大偏移值，β为用户视锥细胞的强度降低值，β_max为用户视锥细胞的最大强度降低值，ω_Z为偏移值的加权值，ω_I为强度降低值的加权值，ω_Z ^max为ω_Z的最大值，ω_I ^max为ω_I的最大值。

26.根据权利要求24的***，其中通过以下方程式确定色觉缺陷程度的数值描述：

其中E为用户的总误差分值，E_min是确定用户为异常三色视者时的最小阈值，E_max是确定用户为异常三色视者时的最大阈值。

27.根据权利要求24的***，其中通过以下方程式确定色觉缺陷程度的数值描述：

此时，

其中R_d是被用户识别为与测试域相同的混合域中红色/绿色比率部分的范围，R^normal _min和R^normal _max是正常人的红色/绿色比率部分的范围内的最小值和最大值，R_th是确定用户为异常三色视者时R_d值的最小阈值。

28.根据权利要求24的***，其中如果根据与色觉缺陷程度相关的信息确定用户为二色视者，则处理部分根据色觉缺陷类型在所接收的可视内容上执行对于二色视者的自适应变换，并且如果根据与色觉缺陷程度相关的信息确定用户为异常三色视者，则根据色觉缺陷类型在所接收的可视内容上执行对于异常三色视者的自适应处理。

29.根据权利要求28的***，其中通过根据色觉缺陷类型区分可视内容中用户难以察觉的缺陷区域，执行对于二色视者的自适应变换；以及对缺陷区域中像素的色度、饱和度和强度中的至少一个进行变换。

30.根据权利要求29的***，其中通过将可视内容从RGB色彩空间变换到CMYK色彩空间，并根据色觉缺陷类型对与CMYK色彩空间中的预定区域相对应的像素进行区分，来区分缺陷区域。

31.根据权利要求29的***，其中通过将可视内容从RGB色彩空间变换到CMYK色彩空间，并且在用用户的LMS响应函数对所变换的可视内容进行变换处理期间，对各个LMS值的降低程度进行测量，来区分缺陷区域，其中响应函数是根据色觉缺陷类型和色觉缺陷程度确定的。

32.根据权利要求28的***，其中通过利用可视内容的CMY比率同时对用户的色觉缺陷区域和色觉缺陷程度进行确定，来执行对于二色视者的自适应变换。

33.根据权利要求24的***，其中通过将可视内容从RGB色彩空间变换到LMS色彩空间，通过使用用户的LMS向应函数的逆函数对LMS色彩空间中的可视内容进行变换，并且将经过变换的可视内容从LMS色彩空间再次变换到RGB色彩空间，来执行对于异常三色视者的自适应变换，其中LMS响应函数是根据色觉缺陷类型和色觉缺陷程度确定的。

Images