CN107077751B - 隐形眼镜虚拟试戴方法、装置及实施该方法的计算机程序 - Google Patents

Abstract

本发明涉及一种隐形眼镜虚拟试戴方法，包括：通过具有暗室的器具内的第2光学镜头，捕获搭载于隐形眼镜放置台的隐形眼镜的图像的步骤；在捕获的隐形眼镜图像中识别隐形眼镜区域的步骤；基于隐形眼镜放置台的颜色或者隐形眼镜盒的颜色，对隐形眼镜区域的相应像素设置透明度的步骤；将通过第2光学镜头生成的隐形眼镜图像，按照设置于隐形眼镜图像的透明度，合成至所识别的眼部区域的黑眼球部分的步骤；及将合成后的图像进行显示的步骤。

Description

隐形眼镜虚拟试戴方法、装置及实施该方法的计算机程序

技术领域

本发明涉及一种隐形眼镜虚拟试戴方法、装置及实施该方法的计算机程序，更详细地，无需佩戴隐形眼镜，通过识别隐形眼镜及眼部形象，从而，直接将拍摄的隐形眼镜与面部的图像进行合成，由此，获得佩戴隐形眼镜后的形象的隐形眼镜虚拟试戴方法、装置及实施该方法的计算机程序。

背景技术

隐形眼镜(contact lens)得到了普遍的使用。隐形眼镜不仅用于矫正视力，还广泛地用于提高美感。美容用途的隐形眼镜有圆环隐形眼镜或彩色隐形眼镜等。圆环隐形眼镜或彩色隐形眼镜是隐形眼镜的边缘部分具有颜色或者在镜片内部具有颜色的隐形眼镜。上述圆环隐形眼镜或彩色隐形眼镜即使不用于矫正视力，许多关注外表的10多岁，20多岁的人群，也广泛地佩戴上述隐形眼镜。

包括美容用隐形眼镜在内的所有隐形眼镜，在没有眼科医生的指导时，无法确保安全性，并且，产生副作用的风险高。尤其，对于十几岁的人群，眼睛正处于成长阶段，更容易发生因副作用而导致的视力下降问题，更应加倍注意。

在购买隐形眼镜时，需要选择适合自己的隐形眼镜。通常，通过利用放大镜或直接观察隐形眼镜的外观的方式进行选择。即使能够试戴，为接触隐形眼镜，需要清洁双手，并将隐形眼镜放置于指尖，撑开眼睛中间处，对着镜子佩戴隐形眼镜，这一过程十分不便。并且，由于卫生问题，经过佩戴后的隐形眼镜不能再次使用。

由此，在购买隐形眼镜时，不易选择适合自己的隐形眼镜。

另外，一些特定的应用程序提供了消除上述不便的功能。这些特定的应用程序通过软件在面部图像上结合事先构成的隐形眼镜的图像，由此，获得佩戴后的样子。

然而，应用程序仅能够对事先调试好的眼镜形象进行面部合成，并且隐形眼镜形象画质差，存在调试好的镜片与实际镜片形象不同的情况，且不易增加镜片图像。

如此，需要一种隐形眼镜的虚拟试戴方法、装置及实施该方法的计算机程序，无需佩戴隐形眼镜，通过将所拍摄的隐形眼镜的动态图像与通过面部识别的面部图像进行合成，由此，获得佩戴隐形眼镜后的形象。

发明内容

本发明要解决的技术问题

本发明为解决上述目的而研发，提供一种拍摄隐形眼镜的形象，拍摄面部的形象，并对两个图像进行动态合成，从而，获得佩戴任意的隐形眼镜后的形象的隐形眼镜虚拟试戴方法、装置及实施该方法的计算机程序。

并且，本发明的目的在于，提供一种能够调节隐形眼镜的大小而匹配由面部图像中识别的眼部区域，而且，基于隐形眼镜图像及眼部区域的形象而设置隐形眼镜图像透明度，提供自然的佩戴效果的隐形眼镜虚拟试戴方法、装置及实施该方法的计算机程序。

而且，本发明的目的在于，提供一种能够避免因直接佩戴隐形眼镜而导致眼部疾病，并且，因不产生佩戴后废弃隐形眼镜的问题而节省费用的隐形眼镜虚拟试戴方法、装置及实施该方法的计算机程序。

本发明的技术方案并非限定于上述言及的技术方案，未言及的其它的技术方案将通过下述内容由本发明的普通技术人员所理解。

技术方案

为实现上述目的的隐形眼镜虚拟试戴方法，包括：通过具有暗室的器具内的第2光学镜头，捕获搭载于隐形眼镜放置台的隐形眼镜的图像的步骤；在捕获的隐形眼镜图像中识别隐形眼镜区域的步骤；基于隐形眼镜放置台的颜色或者隐形眼镜盒的颜色，对隐形眼镜区域的相应像素设置透明度的步骤；将通过第2光学镜头生成的隐形眼镜图像，按照设置于隐形眼镜图像的透明度，合成至所识别的眼部区域的黑眼球部分的步骤；及将合成后的图像进行显示的步骤。

并且，隐形眼镜虚拟试戴方法，在所述合成步骤之前，还包括：通过第1光学镜头捕获面部图像的步骤；及在捕获的面部图像中识别眼部区域的步骤，并且，捕获隐形眼镜图像的步骤，是在所述暗室中的供提供均匀照度的多个发光二极管照明(LED照明)输出光线，并通过设置于所述暗室内的扩散板对所述光线进行扩散的状态下实现。

而且，隐形眼镜虚拟试戴方法的识别隐形眼镜区域的步骤，包括：在捕获的图像中识别一个以上的轮廓线的步骤；通过一个以上的轮廓线各自的多个点的偏差识别圆形的步骤；将所识别的圆形中最大的圆形决定为对应隐形眼镜形象的圆形的步骤；及生成包括所决定的圆形在内的隐形眼镜图像的步骤，并且，所述设置透明度的步骤，是根据所决定的对应隐形眼镜的圆形内的像素的颜色而设置透明度，并且，对所述圆形外的像素设置指定临界值以上的透明度。

并且，隐形眼镜虚拟试戴方法的识别眼部的步骤，包括：在黑眼球与所述黑眼球周围的皮肤之间的交界线上，决定多个点的步骤。

而且，隐形眼镜虚拟试戴方法的合成步骤，包括：利用所述多个点决定对应黑眼球的圆形的步骤；利用由所述多个点决定的圆形的大小，缩小所述生成的隐形眼镜图像的步骤；及在缩小的隐形眼镜图像内，对利用所述多个点中由多个第1点所决定的第1圆形及由多个第2点所决定的第2圆形而识别的区域的像素设置进一步的透明度的步骤。

并且，隐形眼镜虚拟试戴方法，对所述识别的区域的像素进行设置而使其透明，并且，所述合成步骤，是在对识别的区域设置透明度之后，使黑眼球的中心与缩小后的隐形眼镜图像的圆形的中心一致，之后，按照各像素进行重叠的方式实现。

而且，为实现上述目的，计算机程序用于执行隐形眼镜虚拟试戴方法的各步骤，并且，隐形眼镜虚拟试戴方法，包括：通过具有暗室的器具内的第2光学镜头，捕获搭载于隐形眼镜放置台的隐形眼镜的图像的步骤；在捕获的隐形眼镜图像中识别隐形眼镜区域的步骤；基于隐形眼镜放置台的颜色或者隐形眼镜盒的颜色，对隐形眼镜区域的相应像素设置透明度的步骤；将通过第2光学镜头生成的隐形眼镜图像，按照设置于隐形眼镜图像的透明度，合成至所识别的眼部区域的黑眼球部分的步骤；及将合成后的图像进行显示的步骤。

并且，隐形眼镜虚拟试戴装置，包括：第1相机部，包括第1光学镜头而对面部图像进行捕获；第2相机部，包括第2光学镜头及隐形眼镜放置台，设置于具有暗室的器具内，通过所述第2光学镜头对放置于隐形眼镜放置台的隐形眼镜图像进行捕获；控制部，在捕获的隐形眼镜图像中识别隐形眼镜区域，并且，基于隐形眼镜放置台的颜色或者隐形眼镜盒的颜色，对隐形眼镜区域的相应像素设置透明度，并且，在面部图像中识别眼部区域，并将通过第2光学镜头生成的隐形眼镜图像，按照设置于隐形眼镜图像的透明度，合成至所识别的眼部区域的黑眼球部分；及显示器部，对合成的图像进行显示。

并且，隐形眼镜虚拟试戴装置的第2相机部，还包括：各自输出光线的多个LED照明，及供扩散所述光线的扩散板，并且，所述控制部是在利用所述多个LED照明及所述扩散板的光照环境中，通过所述第2光学镜头捕获隐形眼镜图像。

而且，为识别隐形眼镜区域，隐形眼镜虚拟试戴装置的控制部，在捕获的图像中识别一个以上的轮廓线，并通过一个以上的轮廓线各自的多个点的偏差识别圆形，并且，将所识别的圆形中最大的圆形决定为对应隐形眼镜形象的圆形，从而，生成包括所决定的圆形在内的隐形眼镜图像，而且，所述控制部，按照为设置透明度而决定的对应隐形眼镜的圆形内的像素的颜色而设置透明度，并且，对所述圆形外的像素设置指定临界值以上的透明度。

并且，为识别所述眼部区域，隐形眼镜虚拟试戴装置的控制部，在黑眼球与所述黑眼球周围的皮肤之间的交界线上，决定多个点(point)，并且，为合成图像，所述控制部，利用所述多个点决定对应黑眼球的圆形，而且，利用由所述多个点决定的圆形的大小，缩小所述生成的隐形眼镜图像，并且，在缩小的隐形眼镜图像内，对利用所述多个点中由多个第1点所决定的第1圆形及由多个第2点所决定的第2圆形而识别的区域的像素设置进一步的透明度。

而且，隐形眼镜试戴装置，还包括：存储部，保存隐形眼镜图像及对应的隐形眼镜标识符，及输入部，接收隐形眼镜标识符，并且，所述控制部根据通过所述输入部接收的隐形眼镜标识符检索保存于存储部的隐形眼镜图像，并且，为合成图像，将从存储部检索的隐形眼镜图像的隐形眼镜区域合成至所述眼部区域的黑眼球。

有益效果

如上所述的本发明的隐形眼镜的虚拟试戴方法、装置及实施该方法的计算机程序，通过拍摄隐形眼镜的形象，拍摄面部的形象，以及两个图像间的动态合成，具有提供佩戴任意隐形眼镜后的形象的效果。

并且，如上所述的本发明的隐形眼镜的虚拟试戴方法、装置及实施该方法的计算机程序，通过调节隐形眼镜的大小而匹配由面部图像中识别的眼部区域，而且，基于隐形眼镜图像及眼部区域的形象而设置隐形眼镜图像透明度，从而，具有提供自然的佩戴形象的效果。

而且，如上所述的本发明的隐形眼镜的虚拟试戴方法、装置及实施该方法的计算机程序，能够避免因直接佩戴隐形眼镜而导致眼部疾病，并且，因不产生佩戴后需要废弃隐形眼镜的问题而具有节省费用的效果。

本发明的效果并非限定于上述言及的效果，并且，未言及的其它的效果将通过下述内容由本发明的普通技术人员所理解。

附图说明

图1为显示本发明的虚拟试戴装置的示例框图的附图；

图2为显示本发明的虚拟试戴隐形眼镜的示例概括流程的附图；

图3为显示隐形眼镜识别过程的具体流程的附图；

图4为显示眼部识别过程的具体流程的附图；

图5为显示合成过程的具体流程的的附图；

图6为显示所捕获的隐形眼镜的图像的附图；

图7为显示标示有眼部区域的面部图像中的眼部区域部分的附图；

图8为显示在隐形眼镜图像与面部图像的合成过程中所决定的圆形的附图；

图9为显示利用所决定的圆形而识别进一步设置透明度的区域的附图；

图10为显示第2相机部的结构的例子的附图。

附图标记说明：

100：隐形眼镜虚拟试戴装置

101：输入部 103：输出部

105：通信部 107：存储部

109：第1相机部 111：第2相机部

111-1：LED照明 111-2：扩散板

111-3：隐形眼镜放置台 111-4：光学镜头

111-5：隐形眼镜

113：显示器部 115：连接部

117：控制部

具体实施方式

上述的目的、特征，及优点将在参照附图的详细说明中得到明确，由此，本发明的所属领域的普通技术人员能够容易地实施本发明的思想。并且，在对本发明进行说明的过程中，对于判断相关的公知技术的具体说明为非必需的且混淆本发明的要旨的情况，省略其具体说明。下面，参照附图对本发明的具体实施例进行说明。

图1为隐形眼镜的虚拟试戴装置100的示例框图。

参照图1，隐形眼镜虚拟试戴装置100，包括，输入部101、输出部103、通信部105、存储部107、第1相机部109、第2相机部111、显示器部113、连接部115，及控制部117。隐形眼镜虚拟试戴装置100能够根据增加的功能而包括其它特定的模块。或者，对图1的模块进行省略。图1的模块，优选地，体现功能模块。

隐形眼镜虚拟试戴装置100构成在一个器具(case)内，或者，分散地构成于多个器具内。例如，显示器部113构成为一个显示器设备，第2相机部111构成于具有暗室的另外的器具内，其它模块由个人电脑或专用产品构成。或者，全部模块也能够以一个专用产品构成。如此，构成隐形眼镜虚拟试戴装置100的产品能够是一个产品或多个产品。

简单观察隐形眼镜虚拟试戴装置100的各模块，输入部101用于接收使用者的输入。输入部101具有一种或多种例如鼠标、按钮、触摸板、触控面板、小型键盘、键盘、麦克风，及光学笔等输入工具。隐形眼镜虚拟试戴装置100的管理者或者使用者通过输入部101对隐形眼镜虚拟试戴装置100所提供的功能进行呼出、终止或确认执行功能的结果。例如，输入部101接收将面部图像与隐形眼镜图像进行合成的使用者的输入请求，由此，输入部101将该使用者输入传输至控制部117。

输出部103对使用者输入进行应答，或者，对通过隐形眼镜虚拟试戴装置100执行特定功能而处理的结果进行输出。输出部103具有一种或多种例如打印机接口、扬声器、LED等的输出设备。

通信部105连接于互联网而收发数据。例如，通信部105包括供连接至局域网的通信芯片组，从而，将由控制部11接收的数据以网络数据包的方式进行送出，以及，将由网络接收的网络数据包的数据传输至控制部117。局域网是有线局域网、无线局域网、蓝牙，及无线个域网等。

通过通信部105，能够将保存于存储部107的各种图像、数据及/或程序送出至远程设备，以及，由远程设备接收图像、数据，及程序。远程设备是能够通过互联网连接的服务器，或者通过移动通信网连接的便携式终端。便携式终端是智能手机或者平板电脑等。

存储部107对各种数据与程序进行永久及/或暂时保存。存储部107包括，易失性存储器、非易失性存储器，及/或硬盘等大容量存储介质。存储部107包括用于隐形眼镜虚拟试戴装置100的各种程序、获取的面部图像、获取的隐形眼镜图像，及合成有隐形眼镜图像的面部图像。

每个图像与标识符一同保存。例如，面部图像与购买隐形眼镜111-5或具有购买意向的一般使用者的标识符一同保存。一般使用者的标识符由，例如，姓名、电话、地址，及固有序列号(例如由隐形眼镜虚拟试戴装置100的管理者设置的序号)等的多种组合构成。隐形眼镜图像与对应的隐形眼镜111-5的标识符一同保存，隐形眼镜111-5的标识符由，例如，生产公司、型号名称或型号等多种组合构成。合成后的面部图像与使用者的标识符及隐形眼镜111-5的标识符一同保存。由此，能够获得犹如一个使用者佩戴过多种隐形眼镜111-5的合成图像。

存储部107中还保存有合成程序。合成程序捕获图像，并将所捕获的图像保存至存储部107。并且，合成程序对图像进行合成而进行显示或保存。合成程序，优选地，构成为将隐形眼镜图像合成于面部图像的眼部区域，更具体地，黑眼球区域的方式。为生成自然的图像，对隐形眼镜设置透明度，并基于透明度合成至面部。

合成程序结合于由图1所导出的硬件而执行，并能够保存于介质而分发。介质是例如在线介质或离线介质。在线介质是例如分发应用程序的服务器等；离线介质是例如USB存储器、存储卡、硬盘、CD，及DVD等。在合成程序中实现的具体的图像的捕获与合成，将在图2中进行说明。

第1相机部109包括光学镜头及图像传感器。第1相机部109基于控制部117的控制而捕获一般使用者的包括面部的图像。第1相机部109将捕获的面部图像以模拟或数字信号的方式输出至控制部117。

第2相机部111包括光学镜头111-4及图像传感器。第2相机部111基于控制部117的控制而捕获隐形眼镜111-5的图像。第2相机部111，优选地，还包括，照明111-1(例如LED照明111-1)；及隐形眼镜放置台111-3，用于固定隐形眼镜111-5，以及，是光学镜头111-4的拍摄区域。至少照明及隐形眼镜放置台111-3设置于构成第2相机部111的器具内部，并且，该器具至少提供暗室功能。隐形眼镜放置台111-3，尤其是隐形眼镜111-5所在的特定区域标示为特定颜色。即，隐形眼镜放置台111-3的供放置隐形眼镜111-5的特定区域，在进行捕获时，识别为一种颜色。

例如，特定区域能够捕获为白色。之后，该颜色识别为背景色，并通过背景色的识别设置隐形眼镜图像透明度。隐形眼镜放置台111-3涂抹或涂敷指定为背景色的墨水或涂料。背景色并非局限于白色，也能够形成为其它颜色。例如红色(R)、绿色(G)，及蓝色(B)等。背景色的选择能够基于特定隐形眼镜111-5的图案的颜色，优选地，由管理者选择。例如，当隐形眼镜111-5的图案为蓝色时，选择除蓝色外的其它背景色。在下面的说明中，为方便理解，假定背景色为白色，并且，仅在需要时言及其它颜色。

隐形眼镜放置台111-3与输入部101的特定按键联动，从而，以滑动的方式裸露至暗室外部，并且，通过同一按键的输入而以滑动的方式***暗室内部。

图10为显示第二相机部的结构的例子的附图。

如图10所示，第2相机部111包括多个LED照明111-1、多个扩散板(diffusionplate)111-2、隐形眼镜放置台111-3，及光学镜头111-4。并且，第2相机部还包括搭载于隐形眼镜放置台111-3的多个隐形眼镜111-5。

通过图10，更详细地观察第2相机部，隐形眼镜放置台111-3能够搭载多个隐形眼镜111-5。搭载有隐形眼镜111-5的区域以墨水或涂料等涂敷为特定背景色。隐形眼镜放置台111-3能够旋转，由此，光学镜头111-4对通过旋转而选择的特定隐形眼镜111-5进行拍摄。隐形眼镜放置台111-3以滑动的方式裸露至外部。当隐形眼镜放置台111-3搭载多个隐形眼镜111-5时，搭载有隐形眼镜111-5的隐形眼镜放置台111-3区域的颜色能够各不相同。例如，构成为一个区域为白色，另一区域为蓝色，又一区域为绿色，其它区域色红色的方式。

图10的第2相机部形成有暗室，并且，暗室内包括用于提供照明的多个LED照明111-1。LED照明111-1能够输出指定照度。LED照明111-1，例如，输出多种等级的照度的白光，并且，由控制部117对照度的等级进行调节。根据特定隐形眼镜111-5的颜色而对照度进行不同的调节。由LED照明111-1输出的光线通过扩散板111-2而扩散，并且，通过在各角度提供的LED照明111-1，向暗室内部提供均匀的照度。

隐形眼镜111-5搭载于隐形眼镜放置台111-3。隐形眼镜111-5，优选地，搭载于隐形眼镜盒内，并将隐形眼镜盒搭载于隐形眼镜放置台111-3。隐形眼镜盒包括供将隐形眼镜111-5收纳于内部的下部盒，或者，还包括上部盒。下部盒构成为透明的形式或涂有背景色。当利用墨水或涂料将下部盒涂敷为背景色时，能够省略将隐形眼镜放置台111-3构成为背景色的步骤。上部盒构成为透明色。

隐形眼镜盒能够不包括上部盒，此时，管理者能够利用镊子等将隐形眼镜111-5装入隐形眼镜盒，必要时，更换隐形眼镜111-5。在包括上部盒时，将包括隐形眼镜111-5的隐形眼镜盒本身装入隐形眼镜放置台111-3或进行变更。

显示器部113将由控制部117生成的图像进行显示。显示器部113能够为LCD或LED显示器设备。该显示器能够是电脑显示器、专用显示器，或由生产公司生产销售的普通TV。显示器部113对控制部117输出的图像进行显示，例如，显示在面部图像上合成隐形眼镜图像后的图像。

连接部115用于收发各模块间的数据。连接部115包括并行总线或串行总线。并且，连接部115基于特定接口的形式，还包括专用总线。例如，由第1相机部109及第2相机部111输送至控制部117的数据，通过图像传感器的芯片组提供的总线，或者，为通过控制部117接收图像而提供的总线实现送信。由控制部117送信至显示器部113的数据，通过显示器部113提供的总线，或者，为通过控制部117输出图像而提供的总线实现送信。

控制部117对图1的各个模块进行控制。控制部117包括CPU、MPU，及处理器等执行单元，并且，通过将保存于存储部107的程序加载至内部存储器或寄存器而控制其它模块。例如，控制部117加载保存于存储部107的合成程序，随着执行合成程序而对输入部101、显示器部113、存储部107、第1相机部109，及第2相机部111等进行控制。

控制部117对第1相机部109及/或第2相机部111进行控制，捕获图像并将所捕获的图像保存至存储部107。控制部117将捕获的隐形眼镜图像合成至捕获的面部图像，并将合成后的图像通过显示器部113进行输出。并且，控制部117将捕获的图像及/或合成后的面部图像保存至存储部107，需要时通过通信部105送出至远程设备。

在控制部117执行的具体控制流程，从图2开始进行说明。

图2为显示本发明的虚拟试戴隐形眼镜的示例概括流程的附图。

图2的概括流程包括，隐形眼镜识别步骤S1、眼部识别步骤S2、合成步骤S3，及输出步骤S4。图2的概括流程通过隐形眼镜虚拟试戴装置100执行，优选地，控制部117加载保存于存储部107的合成程序而执行该合成程序，并根据合成程序控制其它模块。

简单观察各个步骤，隐形眼镜识别步骤S1是利用光学镜头111-4对隐形眼镜放置台111-3的图像进行拍摄(或者)，在通过拍摄获取的图像上识别隐形眼镜111-5形象，之后，基于所识别的隐形眼镜111-5处理所捕获的图像的过程。通过隐形眼镜识别过程在拍摄的图像中提取或生成隐形眼镜111-5的图像，之后，在隐形眼镜图像上按照像素设置透明度。隐形眼镜的识别过程将通过图3进行详细说明。

眼部识别步骤S2是利用光学镜头对一般使用者的面部进行拍摄(或者)，在通过拍摄获取的面部图像上识别眼部区域的过程。眼部识别步骤S2尤其能够识别眼部区域的黑眼球区域。黑眼球区域是供合成隐形眼镜图像的区域。眼部识别步骤S2将通过图4进行详细说明。

合成步骤S3是将隐形眼镜图像与面部图像进行合成的过程。合成过程，尤其在面部图像的黑眼球区域根据透明度将提前设置有透明度的隐形眼镜图像进行合成。合成步骤S3考虑各种形态的黑眼球，调节隐形眼镜图像的大小，进一步地，在隐形眼镜图像上进一步设置新的透明度而进行合成。合成步骤S3将通过图5进行详细说明。

输出步骤S4是输出合成图像。输出步骤S4是通过显示器部113而输出合成的图像，或者通过通信部105输出合成的图像。

图2的各个步骤不必依次进行。例如，隐形眼镜识别步骤S1与眼部识别步骤S2之间不存在先后关系。由此，能够在执行隐形眼镜识别步骤S1之后，执行眼部识别步骤，或者按照相反的顺序进行。

并且，特定步骤能够在不同的时间点执行。例如，由管理者按照隐形眼镜111-5的型号首先执行隐形眼镜识别步骤S1，并将隐形眼镜图像及对应的隐形眼镜标识符提前保存至存储部107。之后，根据一般使用者的请求，管理者保存的隐形眼镜的标识符通过输入部101而由控制部117接收，之后，基于接收的标识符检索保存在储存部107的隐形眼镜图像及数据。控制部117将检索到的隐形眼镜图像的隐形眼镜区域合成至拍摄获取的面部图像的所识别的眼部区域的黑眼球S3，之后，进行输出S4。

图3为显示隐形眼镜的识别过程的具体流程的附图。

图3的隐形眼镜识别过程通过图1的模块执行，优选地，通过控制部117利用合成程序对其它模块进行控制的方式执行。

该流程是隐形眼镜虚拟试戴装置100的管理者通过输入部101请求对隐形眼镜111-5进行识别时开始S100，在完成该流程或收到输入部101的终止请求时结束S150。

管理者将使用者请求虚拟试戴的隐形眼镜111-5搭载于隐形眼镜放置台S101，并以滑动的方式使隐形眼镜放置台111-3位于暗室内部。隐形眼镜111-5，优选地，放置于隐形眼镜盒内部而搭载于隐形眼镜放置台111-3。

管理者通过输入部101启动拍摄按钮，控制部117根据拍摄按钮生成供控制第2相机部111的控制信号，并将控制信号输出至第2相机部111。根据接收的控制信号，第2相机部111控制LED照明111-1输出照明，并通过光学镜头111-4拍摄包括搭载于隐形眼镜放置台111-3的隐形眼镜111-5的图像，并根据拍摄捕获裸露于图像传感器的图像S103。所捕获的图像通过第2相机部111送信至控制部117。

所捕获的图像是根据第2相机部111的分辨率而在横轴(X轴)与竖轴(Y轴)以一定个数的像素构成，并且，包括体现隐形眼镜111-5形象的图像。像素，优选地，以彩色的形式体现，例如，体现为RGB像素值或YCbCr像素值或为表现其它颜色的格式。

控制部117在所捕获的图像中识别体现隐形眼镜形象的隐形眼镜区域S105。隐形眼镜区域的识别是通过轮廓线(contour)的识别实现。轮廓线的识别能够使用图像识别领域通常所使用的算法。轮廓线通过代表边缘的点体现。

图6显示所捕获的隐形眼镜111-5的图像。图6的隐形眼镜111-5是彩色隐形眼镜或圆环隐形眼镜。如图6所示，所捕获的隐形眼镜111-5图像具有多个轮廓线，最***的圆形轮廓线体现隐形眼镜111-5的形象，其它的轮廓线体现隐形眼镜111-5内部的图案等。

具体观察对隐形眼镜区域的识别，控制部117识别所捕获的图像的轮廓线(contour)。因隐形眼镜111-5具有多种图案而带有多条轮廓线。控制部117将识别的轮廓线根据包含于轮廓线内点的个数而进行降序排列，而在一定个数以下的轮廓线则从隐形眼镜区域的识别对象中进行排除。控制部117对排序后各个轮廓线的X轴(图像的水平方向)的最小点及最大点，Y轴(图像的垂直方向)的最小点及最大点进行搜索(检索)。

控制部117利用各轮廓线的4个点识别各轮廓线是否为圆形。隐形眼镜的形象通常为圆形(circle)，因此，圆的中心点到边缘(***)各点的距离相同。为对圆形进行识别，控制部117利用所找到的4个点，计算4个点的中心点，并计算各中心点与各点之间距离的标准偏差。如果标准偏差为指定临界值以下时，控制部117判断相应的轮廓线为圆形。指定的临界值能够提前决定，例如是30，20等值。

根据识别圆形，控制部117能够识别与多个轮廓线对应的多个圆形。控制部117将识别的多个圆形中最大的圆形决定为体现隐形眼镜形象的圆形。控制部117将与所识别的最大的圆形相对应的轮廓线的中心点确定为所识别的隐形眼镜111-5的中点，并且，所对应的轮廓线的中心点到各点之间的距离中，距离最长的设定为所识别的隐形眼镜111-5的半径。

在隐形眼镜的识别过程中，控制部117从所捕获的图像中生成包括体现隐形眼镜形象的圆形的隐形眼镜图像。生成的隐形眼镜图像，例如，是裁剪为包括隐形眼镜的形象的圆形的正方形或长方形。

在隐形眼镜区域的识别步骤S105之后，在步骤S107中，控制部117对所生成的隐形眼镜图像设置透明度。对隐形眼镜图像设置透明度是基于隐形眼镜图像的各像素的颜色(具体为背景色)而实现。

具体地，控制部117在隐形眼镜图像的像素中搜索背景色，并为使与背景色相对应的像素(隐形眼镜形象的圆形内的像素)看不见(透明)而设置透明度。例如，背景色与隐形眼镜放置台111-3的颜色或隐形眼镜盒的下部盒的颜色相同，均为白色。白色通常为8bitRGB值的255、255、255，识别为白色的像素值(例如，RGB值分别为245以上)的情况时，控制部117设置透明度使其透明。

并且，控制部117对隐形眼镜形象的圆形(通过半径及中心决定的圆形)的外部的像素设置指定临界值以上的透明度(例如100％透明度)而使其全部透明。并且，控制部117能够对隐形眼镜形象内的像素进一步设置透明度。例如，控制部117将隐形眼镜形象内的像素的彩色变更为灰度值，并对各像素设置与灰度值成比例的透明度。例如，灰度值为0(黑色)时设置0％的透明度(不透明)，灰度值为30(例如，黄色或蓝色的灰度值)设置30％的透明度。

在设置透明度之后，控制部117保存设置有透明度的隐形眼镜图像S109至存储部107。控制部117能够在易失性存储器中进行暂时保存，或在非易失性存储器或大容量的存储介质中进行永久保存。将隐形眼镜图像与隐形眼镜111-5的中心及半径的数据一同保存。并且，隐形眼镜图像与隐形眼镜的标识符一同保存。管理者等通过输入部101对隐形眼镜的标识符进行输入，并与相对应的隐形眼镜图像一起由控制部117进行保存。

通过图3的隐形眼镜识别过程，能够提取隐形眼镜图像，并向所提取的图像设置透明度之后进行合成，从而获得自然的合成图像。

图4为显示眼部识别的过程的具体流程的附图。

图4的眼部识别过程通过图1的模块而执行，优选地，通过控制部117利用合成程序控制其它模块的方式实现。

首先，根据使用者的虚拟试戴隐形眼镜的请求，管理者通过输入部101启动拍摄面部图像的按钮，从而，向控制部117进行传输(S200)。这里使用的拍摄按钮能够与图3的按钮相同或不同。控制部117生成控制第1相机部109的控制信号并输出至第1相机部109。根据接收的控制信号，第1相机部109通过光学镜头拍摄使用者的面部，并根据拍摄捕获裸露至图像传感器的面部图像S201。所捕获的面部图像根据第1相机部109的分辨率以横轴(X轴)与竖轴(Y轴)构成一定数量。像素，优选地，以彩色的形式体现，例如，体现为RGB像素值或YCbCr像素值或为表现其它颜色的格式。

控制部117根据所接收的面部图像，在捕获的图像中识别眼部区域S203。眼部区域的识别通过广泛采用的算法进行。例如，控制部117的合成程序利用通过特定矢量(例如Haar特征、LBP特征)对面部及眼部进行检测的级联(cascaded)分类器(classifier)识别眼部区域。

在对眼部区域进行识别的过程中，控制部117还识别黑眼球区域。优选地，为识别黑眼球区域，控制部117识别黑眼球的轮廓线。黑眼球轮廓线的识别能够通过图像处理领域所熟知的算法实现。

根据识别轮廓线，控制部117在包含在该轮廓线的多个点，或者，在存在于轮廓线内的多个点中，决定存在于黑眼球以及周围的皮肤(例如、眼睑、黑眼球下的(眼睑)的皮肤)的交界线上，并用于之后的合成的多个点。

例如，控制部117在上眼睑与黑眼球的交界线上选择3个点，并在黑眼球与下眼睑的交界线上选择3个点。3个点是选择上眼睑(或下眼睑)与黑眼球相交的交界线的两端点及中间点。如果黑眼球与皮肤之间没有交界线，分别选择适合黑眼球边缘(交界线)的3个点。

之后，控制部117将标示有眼部区域的面部图像通过显示器部113进行输出S205。

图7为显示标示有眼部区域的面部图像中的眼部区域部分的附图。如图7所示，通过显示器部113进行显示的面部区域标示有体现左眼与右眼区域的四边形，与黑眼球区域内的多个点。

通过步骤S203决定的多个点表示为点，并且，能够对该多个点进行修改。管理者或者使用者确认多个点是否位于准确的位置。当判断未存在于周围皮肤的准确位置时，管理者等能够通过输入部101(例如，鼠标、触控面板，及光学笔等)提供改变多个点的位置的输入。

控制部117接收通过输入部101的对眼部区域进行修改(具体是指对黑眼球与周围皮肤的交界线上的多个点的修改)输入S207，并基于接收的输入变更相应点的位置，并将体现变更后的眼部区域(具体是指对黑眼球与周围皮肤的交界线上的多个点的修改)的图像通过显示器部113进行输出S209。

步骤S207及步骤S209能够反复执行，由此，确定眼部区域的交界线上的多个点的准确位置。

在步骤S209之后，控制部117将体现确定的面部图像、面部图像上的眼部的位置，及眼部区域的黑眼球交界线上的多个点的数据保存至存储部107，并结束S250。在保存至存储部107时，还能够保存(一般)使用者的标识符。存储部107保存于易失性存储器中，或在非易失性存储器或大容量的存储介质中进行保存。

图5为显示合成步骤S3的具体流程的的附图。

图5的合成过程通过图1的模块执行，优选地，通过控制部117利用合成程序对其它模块进行控制的方式实现。

根据管理者的合成要求或者自动地S300，控制部117将体现保存于存储部107并设置透明度的隐形眼镜图像、隐形眼镜111-5的中心及半径、面部图像、眼部的位置，及交界线上的多个点的数据加载至易失性存储器或控制部117的内置存储器S301。

控制部117利用交界线上的多个点，将隐形眼镜图像适配至面部图像的眼部而进行自动编辑S303。这里的自动编辑能够根据需要或设计的变更进行省略。

之后，控制部117利用面部图像的交界线上的多个点计算体现黑眼球的圆形的中心点与半径，由此，决定与黑眼球对应的圆形S305。在面部图像中决定与黑眼球对应的圆形。具体地，控制部117是利用交界线上的多个点中位于边缘的点(例如3个)计算圆的中心与半径，而非中间位置的点。与黑眼球对应的圆形的中心点能够利用各点的法线进行计算，半径是通过从中心到各点的距离进行计算。下面，将与黑眼球对应的圆形称为C0。

控制部117根据在步骤S305中利用交界线上的点决定的与黑眼球对应的圆形的大小来缩小隐形眼镜图像S307(具体是指隐形眼镜形象的圆形)。由此，隐形眼镜图像至少调整至与黑眼球相同的大小。隐形眼镜图像的分辨率通常比面部图像的黑眼球的分辨率高，因此，通常能够缩小其大小，也能够根据需要对步骤S307进行省略。

重新调整隐形眼镜图像的大小，并使面部图像的眼部区域的中心与隐形眼镜图像的中心一致，由此，按照像素对面部图像与隐形眼镜图像进行合成。由于隐形眼镜图像的像素已经设置有透明度，能够实现自然的合成图像。

在此，所拍摄的面部图像的眼睛形象(尤其黑眼球的形象)，即使是同一使用者也会根据拍摄时的情况而不同。有时能够拍摄出接近圆形的黑眼球图像，有时可能拍摄出接近椭圆形的图像。为形成自然的图像，控制部117有必要考虑所拍摄图像的眼部形态，仅对根据周围皮肤的交界线识别的黑眼球区域合成隐形眼镜图像。

为此，控制部117利用面部图像中的眼部区域的决定的多个点中的特定点计算圆形及半径，并且，使用其它的特定点计算其它圆形及半径S309。例如，前者的特定点是上眼睑与黑眼球相交的交界线上的3个点，后者的特定点是下眼睑与黑眼球相交的交界线上的3个点。下面，将由前者的特定点构成的圆形称为C1，由后者的特定点构成的圆形称为C2。

图8为显示在隐形眼镜图像与面部图像的合成过程中所决定的圆形的附图，如图8所示，利用3个点的法线来计算C1与C2的中心点及半径。图8的例子对面部图像的眼部区域实现，如图8所示，还标示有与黑眼球区域对应的圆形C0。

控制部117利用C1及C2(进一步地C0)的圆形来识别由周围皮肤遮挡的黑眼球区域S311，所识别的区域用于对隐形眼镜图像的隐形眼镜区域的圆形进一步设置透明度。

图9为显示利用所决定的圆形而识别进一步设置透明度的区域的例的附图。

如图9所示，在调整大小(缩小)后的隐形眼镜图像的四边形区域或对应的眼部的四边形区域中，控制部117识别除了C1与C2的交集外的区域。所识别的区域通常构成为两个区域。一个区域是由上眼睑(上眼皮)所遮挡的黑眼球区域，另一区域是由下眼睑(下眼皮)所遮挡的黑眼球部分。

更详细地，控制部117将构成C1的圆形的X轴(水平)及Y轴(垂直)的各个坐标点与四边形区域的各像素的具有同一X坐标的Y坐标进行比较，假设四边形区域的像素的Y坐标比所对应的C1的Y坐标大，则将相应的像素识别为应设置透明度的区域。仅简单地通过将构成C1的Y坐标与四边形区域的对应相同的X坐标的Y坐标进行比较，控制部117就能够将四边形区域的Y坐标大的像素决定为应设置透明度的像素。构成C1的圆形的坐标点能够利用C1的中心点与半径进行计算。

于此相同，控制部117将构成C2的圆形的X轴(水平)及Y轴(垂直)的各个坐标点与四边形区域的各像素的具有同一X坐标的Y坐标进行比较，假设四边形区域的像素的Y坐标比所对应的C2的Y坐标小时，则将相应的像素识别为应设置透明度的区域。仅简单地通过将构成C2的Y坐标与四边形区域的对应相同的X坐标的Y坐标进行比较，控制部117就能够将四边形区域的Y坐标小的像素决定为应设置透明度的像素。构成C2的圆形的坐标点能够利用C2的中心点与半径进行计算。

区域的识别还能够利用C0实现。例如，仅将C0内的像素与构成C1与C2的坐标点进行比较，并基于上述比较，识别C0内的应进行透明处理的区域。比较及决定方法与上述的利用C1、C2，及四边形区域的方案相同。

识别区域之后，控制部117对与利用C1、C2，进一步地C0识别的区域相对应的隐形眼镜图像的像素进一步设置透明度S313。在此，例如，透明度设置为使隐形眼镜图像的对应的像素无法看到(即透明)的值，如设置100％的透明度。

透明度的设置针对步骤S307中缩小的隐形眼镜图像进行，并且，对识别区域所对应的像素分别设置透明度(值)使其透明。识别的区域是指在C0内识别的区域或在包括C0的四边形区域内识别的区域。

通过进一步设置透明度，在将隐形眼镜图像合成至面部图像的眼部区域时，控制部117将被周围皮肤遮挡的黑眼球部分的隐形眼镜图像的像素，设置为无法看到的方式。

在进一步设置透明度之后，控制部117按照所设置的透明度在眼部图像上合成设置有透明度的隐形眼镜图像S315。具体地，控制部117，将调整为黑眼球大小且根据黑眼球形象而设置有透明度的隐形眼镜图像合成至眼部图像中的眼部区域的黑眼球上，这一过程是通过在使黑眼球的中心与隐形眼镜图像的圆形的中心相一致，之后，在各个像素上按照各像素的透明度值将相对应的像素互相重叠的方式实现。

假设对隐形眼镜的特定像素设置0％(不透明)的透明度，则隐形眼镜图像的像素将体现于合成图像。假设对隐形眼镜111-5的特定像素设置100％(透明)透明度，则面部图像的像素体现于合成图像。假设对隐形眼镜111-5的特定像素设置30％透明度，则与面部图像对应的像素的颜色值为70％，特定像素的颜色值以30％的加权值进行计算而在合成图像中显示。

之后，控制部117结束合成步骤S305，并将合成的图像通过显示器部113进行输出S4。

通过上述流程，能够考虑眼部的可变形象，而提供自然且可变的佩戴隐形眼镜后的图像。

综上所说明的本发明，对于本领域的普通技术人员，在不脱离本发明的技术思想的范围内能够进行各种置换、变形，及变更，而非限定于上述实施例及附图。

Claims (9)

1.一种隐形眼镜虚拟试戴方法，其特征在于，

包括：

通过具有暗室的器具内的第2光学镜头，捕获搭载于隐形眼镜放置台的隐形眼镜的图像的步骤；

在捕获的隐形眼镜图像中识别隐形眼镜区域的步骤；

基于隐形眼镜放置台的颜色或者隐形眼镜盒的颜色，对隐形眼镜区域的相应像素设置透明度的步骤；

将通过第2光学镜头生成的隐形眼镜图像，按照设置于隐形眼镜图像的透明度，合成至所识别的眼部区域的黑眼球部分的步骤；及

将合成后的图像进行显示的步骤，

在合成步骤之前，还包括：

通过第1光学镜头捕获面部图像的步骤；及

在黑眼球与所述黑眼球周围皮肤之间的交界线上决定多个点，从而在捕获的面部图像中识别眼部区域的步骤，

所述合成步骤，包括：

利用所述多个点决定对应黑眼球的圆形的步骤；

利用由所述多个点决定的圆形的大小，缩小所述生成的隐形眼镜图像的步骤；及

在缩小的隐形眼镜图像内，对由所述多个点中多个第1点所决定的第1圆形及由多个第2点所决定的第2圆形的交集之外的区域的像素进行设置而使其透明的步骤，

其中，所述多个第1点是所述多个点中的黑眼球与上眼睑相交的交界线上的点；所述多个第2点是所述多个点中的黑眼球与下眼睑相交的交界线上的点。

2.根据权利要求1所述的隐形眼镜虚拟试戴方法，其特征在于，

捕获隐形眼镜图像的步骤，是在所述暗室中的提供均匀照度的多个发光二极管照明输出光线，并通过设置于所述暗室内的扩散板对所述光线进行扩散的状态下实现。

3.根据权利要求1所述的隐形眼镜虚拟试戴方法，其特征在于，

所述识别隐形眼镜区域的步骤，包括：

在捕获的图像中识别一个以上的轮廓线的步骤；

通过一个以上的轮廓线各自的多个点的偏差识别圆形的步骤；

将所识别的圆形中最大的圆形决定为对应隐形眼镜形象的圆形的步骤；及

生成包括所决定的圆形在内的隐形眼镜图像的步骤，

并且，所述设置透明度的步骤，是根据所决定的隐形眼镜的对应的圆形内的像素的颜色而设置透明度，并且，对所述圆形外的像素设置指定临界值以上的透明度。

4.根据权利要求1所述的隐形眼镜虚拟试戴方法，其特征在于，

所述合成步骤，是在对识别的区域设置透明度之后，使黑眼球的中心与缩小后的隐形眼镜图像的圆形的中心一致，之后，按照各像素进行重叠的方式实现。

5.一种存储介质，其存储有计算机程序，其特征在于，

所述计算机程序用于执行权利要求1的隐形眼镜虚拟试戴方法的各步骤。

6.一种隐形眼镜虚拟试戴装置，其特征在于，

包括：

第1相机部，包括第1光学镜头而对面部图像进行捕获；

第2相机部，包括第2光学镜头及隐形眼镜放置台，设置于具有暗室的器具内，通过所述第2光学镜头对放置于隐形眼镜放置台的隐形眼镜图像进行捕获；

控制部，在捕获的隐形眼镜图像中识别隐形眼镜区域，并且，基于隐形眼镜放置台的颜色或者隐形眼镜盒的颜色，对隐形眼镜区域的相应像素设置透明度，并且，在面部图像中识别眼部区域，将通过第2光学镜头生成的隐形眼镜图像，按照设置于隐形眼镜图像的透明度，合成至所识别的眼部区域的黑眼球部分；及

显示器部，对合成的图像进行显示，

为识别所述眼部区域，所述控制部，在黑眼球与所述黑眼球周围皮肤之间的交界线上，决定多个点，并且，为合成图像，所述控制部，利用所述多个点决定对应黑眼球的圆形，而且，利用由所述多个点决定的圆形的大小，缩小所述生成的隐形眼镜图像，并且，在缩小的隐形眼镜图像内，对由所述多个点中多个第1点所决定的第1圆形及由多个第2点所决定的第2圆形交集之外的区域的像素进行设置而使其透明，

其中，所述多个第1点是所述多个点中的黑眼球与上眼睑相交的交界线上的点；所述多个第2点是所述多个点中的黑眼球与下眼睑相交的交界线上的点。

7.根据权利要求6所述的隐形眼镜虚拟试戴装置，其特征在于

所述第2相机部，还包括：

各自输出光线的多个发光二极管照明，及

供扩散所述光线的扩散板，

并且，所述控制部是在利用所述多个发光二极管照明及所述扩散板的光照环境中，通过所述第2光学镜头捕获隐形眼镜图像。

8.根据权利要求6所述的隐形眼镜虚拟试戴装置，其特征在于，

为识别隐形眼镜区域，所述控制部，在捕获的图像中识别一个以上的轮廓线，并通过一个以上的轮廓线各自的多个点的偏差识别圆形，并且，将所识别的圆形中最大的圆形决定为对应隐形眼镜形象的圆形，从而，生成包括所决定的圆形在内的隐形眼镜图像，而且，所述控制部，按照为设置透明度而决定的对应隐形眼镜的圆形内的像素的颜色进行透明度设置，并且，对所述圆形外的像素设置指定临界值以上的透明度。

9.根据权利要求6所述的隐形眼镜虚拟试戴装置，其特征在于，

还包括：

存储部，保存隐形眼镜图像及对应的隐形眼镜标识符，及

输入部，接收隐形眼镜标识符，

并且，所述控制部根据通过所述输入部接收的隐形眼镜标识符检索保存于存储部的隐形眼镜图像，并且，为合成图像，将从存储部检索的隐形眼镜图像的隐形眼镜区域合成至所述眼部区域的黑眼球。

Images