CN103135924A - 电子设备以及操作电子设备的方法 - Google Patents

Abstract

本发明提供一种电子设备以及操作电子设备的方法，所述电子设备包括：显示单元；识别单元，其对定位在所述显示单元的显示面上的操作体的种类进行光学识别；以及控制单元，其根据所述识别单元识别的所述操作体的种类控制针对所述显示单元的操作的内容。本发明对定位在显示单元的显示面上的操作体的种类进行光学识别，从而可以更可靠地识别操作体的种类。另外，根据识别结果控制针对显示单元的操作内容，从而可以在操作体操作的过程中将操作内容切换为想要的内容。

Description

电子设备以及操作电子设备的方法

相关申请的交叉引用

本发明包含与2011年12月5日向日本专利局提交的日本优先权专利申请JP2011-265436相关的主题，其全部内容通过引用并入本文。

技术领域

本发明涉及一种电子设备和一种操作电子设备的方法，更具体地涉及一种设有显示单元的电子设备和一种操作该电子设备的方法。

背景技术

设有显示单元的电子设备，例如移动电话、诸如个人数字助理（PDA）等移动信息终端、设置在银行等场所的自动柜员机（ATM）以及设置在车站等场所的自动售票机使用触摸面板代替包括操作按钮的操作单元，以提高可操作性。

从操作体的角度将触摸面板分类，作为触摸面板，存在通过手指操作的触摸面板（例如，日本未经审查的专利申请公开No.2010-26710），也存在使用专用操作体（诸如，触摸笔）操作的触摸面板（例如，日本未经审查的专利申请公开No.2008-98763）。

发明内容

即使在上述不同类型的触摸面板中，仅仅检测操作体（诸如手指和触摸笔）与屏幕接触的位置，很难实现多种操作。另一方面，当对用于操作的操作体的种类进行光学识别、且可以根据识别出来的操作体的种类控制针对显示单元的操作的内容的时候，操作变得多样化，并且可能进一步提高可操作性。

本发明期望提供一种通过采用触摸面板的类型能够进一步提高可操作性的电子设备和操作电子设备的方法。

根据本发明的实施例，提供了一种电子设备，其包括：显示单元；识别单元，其对定位在所述显示单元的显示面上的操作体的种类进行光学识别；以及控制单元，其根据由所述识别单元所识别的所述操作体的种类控制针对所述显示单元的操作的内容。

根据本发明的另一实施例，提供了一种操作设有显示单元的电子设备的方法，所述方法包括：对定位在所述显示单元的显示面上的操作体的种类进行光学识别；以及根据识别出的所述操作体的种类控制针对所述显示单元的操作的内容。

在根据本发明的实施例的电子设备或操作电子设备的方法中，对定位在显示单元的显示面上的操作体的种类进行光学识别，从而可以更可靠地识别操作体的种类。另外，根据识别结果控制针对显示单元的操作内容，从而可以在操作体操作的过程中将操作内容切换为想要的内容。

根据本发明的实施例，获取***作的操作体的显示面的定位信息，在操作体操作的过程中可根据操作体的种类切换针对显示单元的操作内容，从而可以进一步提高可操作性。

附图说明

图1是图示根据本发明实施例的便携式音乐播放器的示意性外观的立体图；

图2是图示根据示例1的显示单元中发光元件和光接收元件的布局的示例的平面图；

图3是沿图2的线III-III的截面图；

图4是图示根据示例1的控制***的配置的示例的框图；

图5是图示在根据示例1的控制***控制下进行的步骤序列的流程图；

图6A是图示有机EL元件的输出频谱和光电二极管的灵敏度特性的图，图6B是图示指甲和皮肤的反射率的示例的图；

图7A是图示当皮肤被光照射时的输出的示例的图，图7B是图示当指甲被光照射时的输出的示例的图；

图8A和图8B是图示针对显示单元的操作内容的具体示例的图，图8A是图示皮肤触摸时的图，图8B是图示指甲触摸时的图；

图9A和图9B是图示用于音乐播放器的示例的示意图，图9A是图示皮肤的操作示例的示意图，图9B是图示指甲的操作示例的示意图；

图10A和图10B是图示用于绘画软件中的示例的示意图，图10A是图示实线绘图的示意图，图10B是图示虚线绘图的示意图；

图11是图示发光元件和光接收元件的布局的另一示例1的截面图；

图12A～12C是图示发光元件和光接收元件的布局的另一示例2的截面图；

图13是图示发光元件和光接收元件的布局的另一示例3的平面图；

图14是图示发光元件和光接收元件的布局的另一示例4的平面图；

图15是图示根据示例2的显示单元周围的配置的示例的示意性立体图；

图16是图示根据示例2的控制***的配置的示例的框图；

图17是图示根据示例3的圆珠式触摸笔的配置的示例的正面图；

图18A～图18C是图示在示例3的情况下针对显示单元的操作内容的具体示例的示意图；

图19A～图19D是图示相关技术的触摸面板式电子设备中的工作的示例的示意图；

图20A和图20B是图示在示例3的情况下的工作的示例的示意图；

图21是图示根据示例4的显示单元周围的配置的示例的示意性立体图；

图22是图示根据实施例的显示单元的制造方法的示例的制造步骤示意图；

图23A和图23B是图示来自有机EL元件的直接光对反射率测量的影响的示意图；

图24是图示根据实施例的显示单元的制造方法的另一示例的制造步骤示意图（第一）；

图25是图示根据实施例的显示单元的制造方法的另一示例的制造步骤示意图（第二）。

具体实施方式

在下文中，将参考附图对描述本发明的实施例进行详细描述。本发明不限于实施例，实施例中的各种条件和数值都是示例。在以下描述中，相同的附图标记和符号用于相同的元件或具有相同功能的元件，并且省略了重复描述。以下列顺序进行描述：

1.本发明的电子设备和操作电子设备的方法的概述

2.根据实施例的电子设备

2-1.示例1

2-2.示例2

2-3.示例3

2-4.示例4

2-5.制造方法

3.变型例

4.本发明的配置

1.本发明的电子设备和操作电子设备的方法的概述

根据本发明的实施例的电子设备是设有显示单元的电子设备。设有显示单元的电子设备例如是诸如个人计算机（PC）、移动电话、个人数字助理（PDA）、音乐播放器、平板PC、游戏控制台、或电子书设备等移动信息终端。本发明不限于移动信息终端，设有显示单元的电子设备例如是设置在银行的自动柜员机（ATM）、设置在车站的自动售票机等等。

根据本发明的实施例的电子设备的显示单元可以是对应于黑显示的显示单元，可以是对应于彩色显示的显示单元。在对应于彩色显示的情况下，作为形成彩色图像的单位的一个像素（单位像素）由多个子像素组成。更具体地，在对应于彩色显示的显示单元中，一个像素由例如三个子像素组成，这三个子像素分别是显示红色（R）的子像素、显示绿色（G）的子像素、以及显示蓝色（B）的子像素。

然而，一个像素不限于RGB三原色的子像素的组合，一个像素可以通过将一种或多种颜色加入RGB三原色的子像素中来形成。更具体地，例如，一个像素可以通过添加显示白色（W）的子像素来形成以提高亮度，一个像素可以通过添加显示互补色的至少一个像素来形成以扩展颜色再现范围。

根据本发明的实施例的电子设备具有能够在显示单元的显示面上进行各种操作的配置。对于在显示面上的操作，根据本发明的实施例的电子设备设有对定位在显示单元的显示面上的操作体的种类进行光学识别的识别单元、以及根据识别单元识别出来的操作体的种类控制针对显示单元的操作的内容的控制单元。

此处，“操作体”是当电子设备用户在显示面上进行操作时使用的物体。当电子设备用户用手指进行操作时，手指就是操作体。在基于手指的操作中，可以想到存在使用指甲部位进行操作的情况、使用诸如手指肚（手指的内侧）等皮肤部位进行操作的情况、以及使用手指侧面上指甲与皮肤之间的边界部位进行操作的情况。

人的手指根据其所在部位反射率是不同的。具体地，根据指甲部位、诸如手指肚等皮肤部位以及在手指侧面上的手指部位，光的反射率是不同的。另外，例如，在相同的指甲部位，根据指甲是否被修剪过或根据修剪的颜色或种类，光的反射率是不同的。

在对定位在显示单元的显示面上的操作体的种类进行光学识别的识别单元中，例如在使用手指操作的情况下，“操作体的种类”是指操作手指的部位，即指甲的部位（指甲部位）、皮肤的部位（皮肤部位）以及侧面的部位（侧面部位）。另外，当特指指甲部位时，“操作体的种类”是指修剪后的指甲、未修剪的指甲、修剪的颜色或种类等等。

此处举例说明了操作体为手指的情况，但是可以使用具有具备不同反射率的多种部位的专用操作体，例如使用在3芯圆珠笔中每种芯的反射率都不同的专用笔。

从以上角度来看，优选地，识别单元基于来自定位在显示单元的显示面上的操作体的反射光对操作体的种类进行识别。此处，“定位在显示单元的显示面上”是指操作体与显示单元的显示面相接触或在预定距离内接近显示面的状态。

识别单元可基于设置在显示单元中的发光元件的照射光量和用于接收从发光元件发出并由操作体反射的光且设置在显示单元中的光接收元件的入射光量以对操作体的种类进行识别。具体地，基于发光元件的照射光量和光接收元件的入射光量计算操作体的反射率，可以基于计算出的操作体的反射率对操作体的种类进行识别。

显示单元的像素的发光元件可以用作设置在显示单元中的发光元件。在这种情况下，由发光元件发出的光是可见光。当显示单元对应于彩色显示时，该光是各种颜色的光，例如是R、G和B。设置在显示单元中的发光元件不限于显示单元的像素的发光元件，可以是发射诸如红外光的除了可见光之外的光的发光元件。

当设置在显示单元中的发光元件是像素的发光元件时，发光元件优选地是自发光元件。当发光元件是自发光元件时，显示单元可以是平板式（扁平式）显示单元，具体地可以将其安装在移动信息终端上。另外，即使当专用发光元件不是为像素而设置，也可能获取用于检测针对各个像素的操作体的操作位置的光。自发光元件例如可以是有机电致发光（EL）元件、发光二极管（LED）、等离子体元件等等。

使用有机EL元件作为自发光元件而形成的有机EL面板（显示装置）具有以下特性。即，有机EL元件能够被10V或低于10V的施加电压驱动，其具有低功耗。另外，有机EL元件是自发光元件，图像的可见度高，响应速度很高（几微秒），因而当显示运动图片时不会发生余像。

将有机EL元件保持在反向偏置状态，从而可以将有机EL元件用作光接收元件。因此，当有机EL元件用作自发光元件时，优选的是使用有机EL元件，即使其是光接收元件。如此，可以将发光元件和光接收元件以相同步骤形成在相同的布线层或晶体管层上。然而，用作光接收元件的有机EL元件是使用光电可转换有机膜的元件的示例，其不限于有机EL元件。

光接收元件被设置为对应于发光元件，优选地设置在相同颜色的像素之间。如此，可以接收针对各个像素的光以检测操作体的操作位置，该光是从针对各个像素的发光元件发出的，因而可以检测针对各个像素的操作体的操作位置。另外，光屏蔽壁可设置在到达光接收元件的光传播路径周围。由此，可以将来自发光元件的直接光屏蔽以不被输入到光接收元件中，因而直接光不会干扰对操作体的反射率的测量。

像素的发光元件和光接收元件可以形成在相同的半导体基板上。另外，光接收元件可以是光电二极管，具体地可以是在上面形成有光接收元件的半导体基板上具有从布置有布线层的一侧的相反侧接收光的背面照射式传感器结构的光电二极管、以及具有接收来自正面侧的光的正面照射式传感器结构的光电二极管。在光接收元件中，即使当不使用滤色器时，通过改变已形成的半导体基板的深度方向上的形成位置也可以进行颜色分离。光接收元件可以形成在相同的深度位置以进行基于滤色器的颜色分离。

根据光学识别操作体的种类的配置，即使当触摸面板未设置在显示单元上时，也可以以与触摸面板相同的感觉进行操作。具体地，例如，当操作体是手指时，可以使用各种指甲和皮肤进行操作。另外，当使用绘画软件时，可进行颜色转换作为直观操作，从而可以以在诸如笔记本等的记录媒介上绘制图片或写文本的感觉进行绘图。因此，可以显著提高在诸如音乐播放器、移动电话、个人计算机、平板PC以及游戏机等的各种电子设备中的可操作性和可用性。

另外，电子设备的显示单元具有显示面板结构，该显示面板结构具有光接收元件，且能想到具有获取外部光的情况的用途和用作触摸面板的用途。即，可以确定周边是否为亮环境或暗环境。因此，可以根据周边的亮度改变显示单元的亮度。例如，可以进行控制，以当周边光量较亮时增加显示单元的亮度，当周边光量较暗时降低显示单元的亮度。具体地，当光接收元件设置为对应于像素时，可以确定显示单元的整个显示屏幕的亮度，从而可以通过对应于屏幕的精确光照强度来调节亮度。

包括光学识别操作体的种类的配置在内，触摸面板布置在显示单元的显示面上，可以通过触摸面板检测基于操作体的操作。另外，设置有当通过操作体操作触摸面板时对声音进行检测的声音收集器，基于声音的频率成分识别操作体的种类的方法和光学识别的方法可以共同使用。或者，基于在显示单元的显示面上流动的小电流的改变识别操作体的种类的方法和光学识别的方法可以共同使用。

2.根据实施例的电子设备

在下文中，将描述根据本发明的实施例的电子设备、即描述设有显示单元且能够在显示单元的显示面上进行各种操作的电子设备的具体示例。

图1是图示根据本发明的实施例的电子设备、例如便携式音乐播放器的示意性外观的立体图。如图1所示，根据本发明的实施例的音乐播放器10具有扁平主体单元11，在该扁平主体单元中，正面和背面均形成为大致矩形的形状。在主体单元11的正面侧上，设有具有例如矩形信息显示面12A的显示单元。

在显示单元12的信息显示面12_A上，可以显示具有各种配置的显示屏幕，例如显示具有一个或多个指示器的显示屏幕以及列出并显示预定信息的显示屏幕。另外，各种显示屏幕可以独立地显示在显示单元12的信息显示面12_A上，诸如另一显示屏幕或一个或多个指示器的其他信息可以重叠并显示在特定的显示屏幕上。

在根据本实施例的音乐播放器10中，可以以触摸面板的方式直接从显示单元12、即在信息显示面12_A上进行各种操作。更具体地，在根据本实施例的音乐播放器10中，例如，即使当触摸面板未设置在信息显示面12_A上时，也可以以与触摸面板相同的感觉进行操作。

具体地，根据本实施例的音乐播放器10根据操作对定位在信息显示面12_A上的操作体的种类进行光学识别，并根据识别出来的操作体的种类控制针对显示单元12的操作的内容。其详细情况将在稍后描述。

用于给出开始和停止播放的指令的播放/停止按钮13和用于给出主菜单屏幕的指令的主画面按钮14布置在主体单元11的正面的下侧。另外，在主体单元11的侧边上，设有用于调节音量的音量调节按钮15。

在下文中，将描述在具有显示单元的诸如上述便携式音乐播放器的电子设备中对定位在显示单元的显示面上的操作体的种类进行光学识别和根据识别出来的操作体的种类控制针对显示单元的操作的内容的具体示例。

2-1.示例1

图2是图示根据示例1的显示单元中发光元件和光接收元件的布局的示例的平面图。在根据示例1的显示单元12中，例如有机EL元件用作发光元件，例如光电二极管用作光接收元件，显示面板配置为其中的RGB子像素（在下文中也简称为“像素”）针对各个颜色设置为条形。

在通过将RGB的有机EL元件21_R、21_G和21_B设置为条形而形成的像素排列中，进行入射光的光电转换以检测光量的光电二极管22设置为对应于有机EL元件21_R、21_G和21_B中的每一个。更具体地，光电二极管22设置在相同颜色的像素（有机EL元件）之间。

图3示出了沿图2的线III-III的横截面结构。在图3中，光电二极管22和布线层24形成在半导体基板23中。当在半导体基板23中形成有布线层24的一侧为正面时，光电二极管22具有所谓的背面照射式传感器结构，该光电二极管22布置在布置有布线层24的一侧的相反侧（即背面侧）并接收来自半导体基板23的背面侧的光。

元件形成层25设置在半导体基板23上。R、G和B的有机EL元件21_R、21_G和21_B形成于元件形成层25的与半导体基板23的相反侧，包括有机EL元件21_R、21_G和21_B的电极的布线层26形成于半导体基板23一侧。透明保护膜27设置于元件形成层25的光输出侧上。

在根据示例1具有如此配置的显示单元12中，从有机EL元件21_R、21_G和21_B发出的光用作将图像等显示在图1所示显示单元12的信息显示面12_A上的显示光，并用作对定位在信息显示面12_A上的操作体进行检测的检测光。

即，定位在信息显示面12_A上的操作体也被从有机EL元件21_R、21_G和21_B发出的光照射。从操作体反射的光被输入到光电二极管22。此处，基于有机EL元件21_R、21_G和21_B的光的照射光量和输入到光电二极管22的入射光量均在相同的装置中。因此，从该光量可以计算出操作体的反射率（即到达光电二极管22的入射光量除以有机EL元件21_R、21_G和21_B的照射光量）。

此处，是以操作体为手指的情况为示例。通过使用手指操作显示单元12的信息显示面12_A，具体地，如图3所示，光电二极管22的上侧被手指覆盖，从而使光电二极管22不容易受到外部光的影响。另外，手指的反射率根据其所在部位是不同的。具体地，根据指甲的部位（指甲部位）、诸如手指肚等皮肤的部位（皮肤部位）、以及在手指侧面上的手指部位（侧面部位），光的反射率是不同的。因此，根据手指的部位，反射率是不同的，从而可以控制针对显示单元12的操作的内容。

控制***的配置

图4是图示根据示例1的控制***的配置的示例的框图，在该控制***中，基于操作体的反射率对操作内容进行控制。

根据本示例的控制***40_A包括：AD转换单元41、识别单元42、存储器单元43以及控制单元44，在控制单元44的控制下基于光电二极管22的输出信号对显示单元12的操作内容进行控制。

AD转换单元41将从光电二极管22传输来的模拟信号转换为数字信号，并将该数字信号传输至识别单元42。识别单元42基于从AD转换单元41传输来的数字值对显示单元12的信息显示面12_A上的手指或物体（指甲、皮肤等）的触摸位置进行识别。

此处，要想基于光电二极管22的输出判断手指是否触摸在显示单元12的信息显示面12_A上，必须考虑到外部光的影响。例如，当白天在野外等场所使用电子设备时，外部光也被输入至光电二极管22。触摸或非触摸是根据外部光是否被输入而判断的。即，外部光被阻挡在使用手指触摸的部位，来自有机EL元件21_R、21_G和21_B的反射为主成分。

如图2和图3所示，例如，绿色光主要被输入至介于绿色有机EL元件21_G之间的光电二极管22。这对于红色光和蓝色光也适用。即，当手指触摸时，介于有机EL元件21_R、21_G和21_B的两个相邻像素之间的光电二极管22对应于显示单元12的RGB发光率进行输出。

如图2和图3所示，光电二极管22布置在相同颜色的有机EL元件21_R、21_G和21_B之间，即使当光电二极管22未设有滤色器时也可以看出反射光的波长相关性。

光电二极管22的具体输出比率如下所示：

输出比率=有机EL元件的RGB发光比率×光电二极管的RGB灵敏度比比率×各颜色反射波长相关性

在下文中，有机EL元件21_R、21_G和21_B的光发射亮度是装置有意发出的光的亮度值，因而是已知的。光电二极管22的频谱特性也是可设计的，因而是已知的。操作体的反射部的各颜色波长相关性是根据物体而改变的，因而必须被预先存储为具有范围的参数。该参数被预先存储在存储器单元43中。

另外，为了更准确地进行对反射体的识别，电子设备用户可使电子设备单独读取用户的手指的指甲或皮肤的反射率以将其预先注册。在那种情况下，反射率的信息被预先存储在存储器单元43中。

如此，可以应对反射率的个体差异和修剪后的指甲的情况。例如，所有手指的指甲被修剪为具有不同的反射率，可以使用单独的手指改变操作内容。另外，对于安全措施的使用，只有预先注册过分辨率的用户才能使用分辨率的个体差异而使用电子设备。

识别单元42参考存储器单元43的存储信息对操作体的触摸位置和触摸对象进行识别处理，并将识别结果传输至控制单元44。控制单元44是通过微处理器等配置而成，其基于从识别单元42传输来的识别结果针对显示单元12控制操作内容，并将对应于操作内容的信息显示在显示单元12的信息显示面12_A上。

操作方法

随后，将参考图5的流程图描述在根据示例1具有上述配置的控制***40A的控制下进行的处理序列（即根据本发明的实施例的操作方法的处理序列）。

首先，例如根据如上所述外部光是否被输入至光电二极管22（步骤S11）来判断显示单元12的信息显示面12_A是否***作体(即本示例中的手指)触摸。当判定信息显示面12_A被触摸时，进行增加***作体触摸的部位的发光亮度以提高反射测量的精确性的处理（步骤S12）。然而，增加发光亮度的处理是任意的。即，可以进行或不进行该处理。即使当发光亮度被增加时，由于该部分被手指覆盖，也不会施加于被用户眼睛观看的信息。

接下来，基于光电二极管22的输出测量手指的反射率（步骤S13），然后基于测量结果查阅存储器单元43（步骤S14）。另外，判断被触摸在显示单元12的信息显示面12_A上的手指部位的反射率是否为皮肤的反射率、指甲的反射率或其他反射率（步骤S15和步骤S16）。

在步骤S15中，当判定触摸在信息显示面12_A上的手指的部位是皮肤部位时，即当测得的反射率与存储器单元43中存储的皮肤的反射率相似时，进行操作A（步骤S17）。在步骤S16中，当判定触摸在信息显示面12_A上的手指部位是指甲部位时，即当测得的反射率与存储器单元43中存储的指甲的反射率相似时，进行操作B（步骤S18）。

在步骤S15和步骤S16中，当判定触摸在信息显示面12_A上的手指部位不是皮肤部位和指甲部位时，进行操作C（步骤S19）。此处，判定手指部位不是皮肤部位和指甲部位，进行操作C，但是可以不进行任何操作而结束该处理。操作A～C的操作内容是预先存储的操作内容。稍后将对操作内容的具体示例进行描述。

此处，将参考图6A～图7B对有机EL元件21_R、21_G和21_B的输出频谱和光电二极管22的灵敏度特性的示例、指甲和皮肤的反射率的示例、以及当皮肤和指甲被光照射时的输出示例进行描述。

在图6A和图6B中，图6A示出了有机EL元件21_R、21_G和21_B的输出频谱和光电二极管22的灵敏度特性的示例，图6B示出了指甲和皮肤的反射率的示例。另外，在图7A和图7B中，图7A示出了当皮肤被光照射时针对各个颜色的输出示例，图7B示出了当指甲被光照射时针对各个颜色的输出示例。

首先，在图6A中，假设有机EL元件21_R、21_G和21_B的发光部位的频谱特性由点线表示。在图6A中，光电二极管22的灵敏度特性由实线表示。另外，在图6B中，使用根据本实施例的电子设备10的用户的皮肤的反射率由实线表示，指甲的反射率由点线表示。

相对于被手指触摸的部位，当发出与图6A中点线表示的输出等量的光时，通过将蓝色光发射（图6A所示点线）乘以目标物质的反射率（图6B）得到的值乘以光电二极管22的频谱特性（图6A所示实线），来获取介于蓝光发光像素之间的光电二极管中的输出。这也适用于介于绿色光发射和红色光发射的像素之间的光电二极管。

其结果是，当皮肤被光照射时的输出是图7A所示输出的积分值，当指甲被光照射时的输出是图7B所示输出的积分值。积分值的比例如下所示：

皮肤R:G:B=3.7:3.6:1.6

指甲R:G:B=4.9:6.0:3.1

在这种结果下，判定出指甲中绿色所占比例要比皮肤的高。在这种条件下，识别出指甲被触摸了（该比例仅仅为参考性示例）。另外，也可检测反射光的绝对值和比例。

由于皮肤和指甲的特性具有个体差异，可以想到一种用户在将其用于电子设备之前预先注册一定程度的宽度并注册输出特性的方法。

操作内容的具体示例

接下来，将参考图8A～图10B描述针对显示单元12的操作内容（诸如假定的操作A和B）的具体示例。

此处，作为示例，如图6B所示，当操作体是手指时，将以示例的方式描述根据具有较低反射率的皮肤和较高反射率的指甲之间的反射率的差异改变操作内容的情况。

如图8A和图8B所示，当用户使用皮肤部位触摸显示单元12的信息显示面12_A时（图8A），进行“操作A”，当用户使用指甲部位触摸信息显示面12_A时（图8B），进行“操作B”。图9A和图9B示出了操作A和操作B的具体示例。

图9A和图9B示出了在音乐播放器中的使用示例。在音乐选择的时候，当使用皮肤进行操作时（图9A），显示选择艺术家（歌手）的屏幕，当使用指甲进行操作时（图9B），显示选择歌名的屏幕。在相关技术中，搜索歌手名字或歌名的操作必须通过其他操作改变模式。然而，通过应用根据本实施例的操作方法，例如，通过具有不同反射率的物质（诸如手指的皮肤或指甲）能够实现模式转换，从而可以进行更直观的操作。

图10A和图10B示出了使用绘画软件的示例。此处，“绘画软件”是用于在计算机上进行二维计算机图形绘制的图形软件。当使用皮肤进行操作时（图10A），沿着皮肤的痕迹画出实线，当使用指甲进行操作时（图10B），沿着指甲的痕迹画出虚线。

在该示例中以实线绘图（图10A）和虚线绘图（图10B）的情况为例，但这仅仅是示例。例如，当使用皮肤进行操作时，沿着皮肤的痕迹可画出黑线，当使用指甲进行操作时，沿着指甲的痕迹可画出红线。如上所述，可进行各种操作内容。

发光元件和光接收元件的布局的其他示例

关于作为发光元件的有机EL元件21（21_R、21_G和21_B）和作为光接收元件的光电二极管22的布局，在图2和图3所示的示例中，简单地采用将光电二极管22布置在相同颜色的像素（有机EL元件21）之间的布局结构。除了上述布局结构外，可以采用以下布局结构。

其他布局示例1

例如，如图11所示，滤色器30可设置在光电二极管22上，可设置更准确地进行颜色分离的布局结构。在图2和图3所示的示例中，假设从操作体输入至介于绿色有机EL元件21_G之间的光电二极管的反射光具有作为主成分的绿色波长。为了进一步排除来自其他有机EL元件21_R和21_B的混合颜色成分的影响，滤色器30设置在光电二极管22（在图11所示示例的情况下，用于绿色的滤色器）上以吸收非绿色光的光，从而可以更可靠地进行颜色分离。

其他布局示例2

另外，如图12A～图12C所示，可以采用根据颜色改变光电二极管22在半导体基板23的深度方向上的形成位置的布局结构。随着光越接近长波长（红色），光越到达半导体基板23的内部并经过光电转换处理。因此，红色光电二极管22_R形成于离半导体基板23的基板表面的深位置。另外，绿色光电二极管22_G形成于比红色光电二极管22_R更浅的位置，蓝色光电二极管22_B形成于半导体基板23的基板表面的附近。

作为示例，优选的是将红色光电二极管22_R形成在离基板表面大约1.5μm～2.0μm的区域的深度位置。优选的是将绿色光电二极管22_G形成在离基板表面大约0.7μm～1.4μm的区域的深度位置。优选的是将蓝色光电二极管22_B形成在离基板表面大约0μm～0.6μm的区域的深度位置。

如上所述，通过采用根据颜色改变在半导体基板23的深度方向上的光电二极管22（22_R、22_G和22_B）的形成位置的布局结构，即使不设置滤色器30，也可以简单地对特定颜色进行检测。其结果是，阻挡了基于其他波长的混合颜色，可以提高物质检测和判断的精度。

其他布局示例3

上述所有布局结构都是其中的光电二极管22根据各种颜色介于相同颜色的像素（有机EL元件21）之间的布局结构。另一方面，如图13所示，可以采用对应于各种颜色的一组R、G和B的光电二极管22_R、22_G和22_B作为光电二极管22介于相同颜色的像素（有机EL元件21）之间的布局结构。

如上所述，根据将一组R、G和B的光电二极管22_R、22_G和22_B布置于相同颜色的像素之间的布局结构，可以更精确地对输出进行分析。

其他布局示例4

上述所有布局结构都是取决于波长的布局结构。另一方面，如图14所示，当不依赖于波长仅检测反射的绝对量时，可以采用仅有一部分像素阵列部设有光电二极管22的布局结构，该像素阵列部是通过将R、G和B的子像素布置为矩阵形成的。另外，发射光不限于R、G和B颜色光，可以使用其他光，例如可以使用除了可见光之外的光（诸如红外光）。

如上所述，依照根据本示例的显示单元12（即，设有光电二极管22的有机EL面板），即使在信息显示面12_A上不设置触摸面板，也可以以与触摸面板相同的感觉进行操作。具体地，可以使用指甲和皮肤进行操作，当使用绘画软件等时可以以直观的操作进行颜色转换等，可以以在显示单元12上以在记录媒介（诸如笔记本）上绘制图片或写文本的感觉进行绘图。从而可以显著地提高可操作性。

2-2.示例2

图15是图示根据示例2的显示单元周围的配置的示例的示意性立体图。

在示例1中，通过设有光电二极管22的有机EL面板（即显示单元12），采用了对操作体的触摸位置进行光学检测或对被触摸物体进行光学检测的配置。另一方面，在示例2中，如图11所示，采用了触摸面板50重叠并布置在显示单元12（即设有光电二极管22的有机EL面板）上的配置。

对触摸面板50的配置不作特别限制。具体地，作为触摸面板50，可以使用具有相关技术的配置的触摸面板，例如使用静电电容触摸面板、电阻膜触摸面板或声学脉冲识别式面板。

图16是图示共同使用触摸面板50的根据示例2的控制***的配置的示例的框图。

包括根据示例1的控制***40_A的配置（即AD转换单元41、识别单元42、存储器单元43以及控制单元44）在内，根据示例2的控制***40_B的配置还包括AD转换单元45。当操作体被触摸时，触摸面板50检测触摸并输出表示触摸位置的信号。AD转换单元45将从触摸面板50输出的模拟信号转换为数字值，并将该数字值提供给控制单元44。

在根据示例2具有上述配置的控制***40_B中，当确认操作是由操作体基于从触摸面板50传输来的信号进行时，控制单元44从识别单元42获取关于操作体的触摸物体是什么的信息。当操作体例如是手指的时候，基于来自光电二极管22的物体信息，参考存储器单元43中注册的反射率信息，识别单元42识别触摸物体是否为皮肤部位、指甲部位或其他部位，并将识别结果传输至控制单元44。

控制单元44基于从识别单元42获取的信息确定操作内容，并将对应于操作内容的信息显示在显示单元12的信息显示面12_A上。控制单元44对操作体所执行的操作进行确认之后的操作流程与例如图5所示的流程相同。

2-3.示例3

在示例1和2中，举例说明了操作体是手指的情况，但是操作体不限于手指，可以使用任意的物体。在示例3中，以示例的形式描述了使用所谓的3芯圆珠笔式操作体（在下文中，称为“圆珠触摸笔”）作为操作体的情况。

图17是图示根据示例3的圆珠触摸笔的配置的示例的正面图。圆珠触摸笔60具有空心主体部61。在主体部61中，例如，沿着主体部61的纵向可移动地将三个芯体（未图示）收容在一起。与此同时，在主体部61的上部的圆周的壁部，沿着主体部61的纵向可滑动地安装对应于三个芯体的三个操作体62、63和64。

三个操作体62、63和64中的每一个操作体和三个芯体中的每一个芯体都具有可通过相关技术的机制链接的配置。即，当沿着主体部61的纵向滑动三个操作体62、63和64中的每一个操作体时，三个芯体中的每一个芯体从而沿着主体部61的纵向被移动，各尖部从主体部61的尖端伸出。

另外，这些芯体的尖端（笔尖）分别设有具有不同反射率的反射体（反射物质）65_A、65_B和65_C。此处，作为示例，反射体65_A的反射率为10%，反射体65_B的反射率为30%，反射体65_C的反射率为50%。

与此同时，作为根据示例3的控制***，例如可以使用与根据示例1的控制***40_A具有相同配置（见图4）的控制***。在图4所示的存储器单元43中，对应于各反射率的操作内容（即在各反射率下进行哪种操作）预先注册在存储器单元43中。

图18A～18C示出了针对显示单元12的操作内容的具体示例。例如，当使用反射率为10%的笔尖进行触摸时，画出了黑色实线。当使用反射率为30%的笔尖进行触摸时，画出了黑色虚线。当使用反射率为50%的笔尖进行触摸时，画出了红色点线。如上所述，可以在显示单元12的信息显示面12_A上进行绘图控制。

此处，将参考图19A至图19D对相关技术的触摸面板式电子设备中的工作示例进行描述。图19A至图19D示出了当绘制实线“S”和虚线“S”时的工作示例。在相关技术中，画出实线（图19A），然后触摸“MENU”以将实线切换为虚线（图19B），线种类选择屏幕显示在信息显示面12_A上。然后，在线种类选择屏幕上选择虚线（图19C），然后画出虚线的“S”线（图19D）。

如上所述，在相关技术中，通过在电子设备中选择线的颜色或种类，然后例如画出线实现了任意绘图。然而，选择线的种类的操作需要时间，这与当在普通纸质笔记本上绘制彩色线时的操作不同，从而使操作不是直观的。

另一方面，通过使用根据示例3的圆珠触摸笔60进行操作，可将笔尖的反射率改变为圆珠笔式。因此，如图20A和图20B所示，通过两个行为：绘制实线的工作（图20A）和绘制虚线的工作（图20B），完成操作。因此，像在相关技术的笔记本上绘制线条那样，可以进行改变笔尖的反射率的直观操作。

2-4.示例4

图21是图示根据示例4的显示单元周围的配置的示例的示意性立体图。

在示例4中，当通过操作体操作触摸面板50时，采用了共同使用声音收集器70的配置，所述声音收集器70例如是对通过显示单元12（即设有光电二极管22的有机EL面板）传输的声音进行检测的麦克风。优选的是将声音收集器70与有机EL面板一体形成，以当通过操作体操作触摸面板50时对通过有机EL面板传输的声音进行检测。

当通过操作体操作触摸面板50时，声音收集器70用于通过当操作体与触摸面板50相接触时的声音识别触摸物体。当操作体例如是手指且当使用指甲部位进行操作时，与使用皮肤部位进行操作的情况相比，声音收集器70检测到高频侧上的声音。当使用皮肤部位进行操作时，与使用指甲部位进行操作的情况相比，声音收集器70检测到低频侧上的声音。

因此，当操作触摸面板50时，读取由声音收集器70检测到的声音的频率成分，基于该频率成分查阅预先注册在存储器单元中的操作内容，从而可以识别操作体是指甲、皮肤或另一物质。具体地，在图5所示流程图中，步骤S15和S16的判断处理中的反射率被转换为声音的频率成分，从而可以进行识别。

此处，预先注册操作内容的存储器单元对应于图4所示的存储器单元43。存储器单元预先注册对应于检测到的声音的频率成分的操作内容（即在各个频率成分要操作哪个操作）。

如上所述，将基于声音收集器70检测到的声音的频率成分对操作体的种类进行的识别与示例1～3的光学识别共同使用，从而可以进一步提高对操作体的种类进行的识别的精度。

2-5.制造方法

可以通过任意的制造方法制造根据本实施例的显示单元12、即设有光电二极管22的有机EL面板。

制造方法的示例

将参考图22所示制造处理示意图对制造方法的示例进行描述。首先，使用相关技术的方法（步骤1）将光电二极管22制造在诸如硅基板的半导体基板23上。通过这里是离子注入的浓度或能量，可以任意地确定光电二极管在半导体基板23的深度方向上的形成位置。

然后，形成晶体管或连接布线（对应于图3所示的布线层24），从而驱动光电二极管22以从光电二极管22读取信号（步骤2）。然后，形成钝化膜81，粘结（粘附）支撑基板82（步骤3），然后翻转半导体基板23（步骤4）。

然后，通过背面研磨、化学机械抛光（CMP）等对半导体基板23的背面侧进行抛光，以将其刮除直至光电二极管22的附近（步骤5）。至此，通过该步骤，制造出了与光电二极管22相关的部分。

然后，形成与有机EL元件21（21_R、21_G和21_B）的驱动有关的晶体管和包括有机EL元件21的下电极在内的连接布线（对应于图3所示的布线层26）（步骤6），然后形成有机EL元件21的有机层（有机EL材料）211和上电极212，将保护膜27形成在上电极212上（步骤7）。通过上述一系列处理，如图3所示，上侧成为有机EL元件21的形成层，下侧成为光电二极管22的形成层。

至于制造方法，有机EL元件21和光电二极管22可以单独制造，从而可以应用单独优化处理。当然，它们可以不单独地形成在相同的布线层或晶体管层上。

作为光电二极管22，在本实施例中，使用具有背面照射式传感器结构的晶体管。由于光电二极管22是具有背面照射式传感器结构的光电二极管，如上述一系列步骤所阐明，其优势在于可以通过应用单独优化处理制造有机EL元件21和光电二极管22。

具有背面照射式传感器结构的光电二极管的制造方法可以是，例如，日本未经审查的专利申请公开No.2011-138927中所披露的相关技术的制造方法。有机EL元件的制造方法可以是，例如，日本未经审查的专利申请公开No.2006-338916中所披露的相关技术的制造方法。

来自有机EL元件的直接光对反射率测量的影响

在图3所示显示单元12的结构的情况下，如图23A所示，假设从有机EL元件21（21_G）发出的光直接被输入至光电二极管22引起对反射率测量中的干扰。

如图23B所示，形成由金属等制成的光屏蔽壁29以覆盖位于光电二极管22的上侧的光传播路径28和有机EL元件21（21G）之间的位置，优选地覆盖光传播路径28的***。

如此，可以对光进行阻挡，从而使来自有机EL元件21的直接光不被输入至光电二极管22，从而可以预先防止直接光引起反射率测量中的干扰。形成光屏蔽壁29以覆盖光传播路径28，因而通过阻挡来自与有机EL元件21_G相邻的具有不同颜色的有机EL元件21_R和21_B的直接光和来自其间布置有光电二极管22的有机EL元件21_G的直接光，防止混色的发生。制造方法的另一示例

将参考图24和图25所示的制造步骤示意图，对相对于如上所述的当形成光屏蔽壁29时的制造方法的制造方法的另一示例进行描述。

直到与对上述制造方法的制造步骤示意图（图22）进行描述的步骤6的步骤是相同的，下文将对之后的步骤进行描述。首先，在图24中，形成有机EL元件21的有机层（有机EL材料）211和上电极212（步骤7），然后通过干蚀刻打开光电二极管22的上侧（步骤8）。

然后，形成用于选择性地生长金属的种子层83（步骤9）。种子层83例如是氮化钛膜等。作为形成膜的方法，存在溅射、化学气相沉积、原子层沉积等等。

随后，在图25中，通过蚀刻（例如反应离子蚀刻（RIE））除去除了侧壁之外的种子层83，仅保留位于侧壁部的种子层83_A（步骤10）。然后，通过选择性CVD，将铝仅层叠在种子层83_A的表面，以形成金属光屏蔽膜84（对应于图23B所示的光屏蔽壁29）（步骤11）。

从形成种子层83到形成金属光屏蔽膜84的制造方法例如可以是日本未经审查的专利申请公开No.2009-99700中披露的相关技术的制造方法。

然后，用树脂等嵌入光传播路径28并进行整平（步骤12），然后形成保护膜27（步骤13）。通过上述一系列步骤，如图23B所示，完成了具有光屏蔽壁29（金属光屏蔽膜84）并防止从有机EL元件21发出的光通过光屏蔽壁29直接被输入至光电二极管22的装置结构。

3.变化例

在实施例中，当操作体例如是手指时，使用反射率或声音以检测操作体的种类（即指甲部位、皮肤部位、侧面部位等），但是存在多种检测方法，本发明不限于反射率和声音。作为另一种检测方法，例如可以采取一种允许小电流在显示单元12的信息显示面12_A上流动以根据小电流的改变检测操作体的种类的方法。

在该检测方法中，当操作体例如是手指时，指甲的电阻高于皮肤的电阻，因而小电流的改变量很小。例如，通过与示例2结合，确定触摸面板50是否被手指触摸，然后确定小电流的改变是否等于或多于预定阈值，从而可以识别操作体的种类是指甲或皮肤。在这种情况下，类似于反射率的情况，预定范围内的阈值可以预先注册在存储器单元中，用户可在使用之前注册该阈值。

如上所述，将基于在显示单元的信息显示面12A上流动的小电流的改变对操作体的种类进行的识别与示例1～3的光学识别一起使用，从而可以进一步提高对操作体的种类进行的识别的精度。

另外，在本实施例中，将光电二极管、特别是具有背面照射式传感器结构的光电二极管用作光接收元件，然而本发明不限于此，可以采用使用例如光电可转换有机膜的元件。作为使用光电可转换有机膜的元件，例如有在反向偏置状态下使用的有机EL元件。

因此，当有机EL元件用作像素的发光元件时，即使其是光接收元件，也优选的是使用有机EL元件。如此，可以以相同的步骤将发光元件和光接收元件均形成在相同的布线层或晶体管层中，从而有利于减少成本。

4.本发明的配置

本发明可具有以下配置：

（1）一种电子设备，其包括：

显示单元；

识别单元，其对定位在所述显示单元的显示面上的操作体的种类进行光学识别；以及

控制单元，其根据由所述识别单元所识别的所述操作体的种类控制针对所述显示单元的操作的内容。

（2）根据上述（1）所述的电子设备，其中，所述识别单元基于从所述操作体反射的光对所述操作体的种类进行识别。

（3）根据上述（2）所述的电子设备，其中，所述识别单元基于从设置于所述显示单元中的发光元件发出的光的照射的光量和用于接收从所述发光元件发出并从所述操作体反射的光且设置于所述显示单元中的光接收元件的入射的光量，计算所述操作体的反射率，并基于计算出的所述操作体的反射率对所述操作体的种类进行识别。

（4）根据上述（3）所述的电子设备，其中，所述发光元件是所述显示单元的像素的发光元件。

（5）根据上述（3）所述的电子设备，其中，所述发光元件发射除了可见光之外的光。

（6）根据上述（4）所述的电子设备，其中，所述像素的发光元件是自发光元件。

（7）根据上述（6）所述的电子设备，其中，所述自发光元件是有机电致发光元件。

（8）根据上述（7）所述的电子设备，其中，所述光接收元件是使用光电可转换有机膜的元件。

（9）根据上述（4）所述的电子设备，其中，所述光接收元件设置为对应于所述像素。

（10）根据上述（9）所述的电子设备，其中，所述光接收元件设置在相同颜色的像素之间。

（11）根据上述（9）所述的电子设备，其中，到达所述光接收元件的光传播路径的***被光屏蔽壁覆盖。

（12）根据上述（3）所述的电子设备，其中，所述发光元件和所述光接收元件形成于相同的半导体基板上。

（13）根据上述（3）所述的电子设备，其中，所述光接收元件是光电二极管。

（14）根据上述（3）所述的电子设备，其中，所述光接收元件通过布置在所述光接收元件上的滤色器进行颜色分离。

（15）根据上述（3）所述的电子设备，其中，所述光接收元件通过在已形成的半导体基板的深度方向上的形成位置进行颜色分离。

（16）根据上述（1）所述的电子设备，其进一步包括布置在所述显示单元的显示面上的触摸面板。

（17）根据上述（16）所述的电子设备，其中，当所述操作体操作所述触摸面板时，所述识别单元对所述操作体的种类进行识别。

（18）根据上述（16）所述的电子设备，其进一步包括声音收集器，当所述操作体操作所述触摸面板时，所述声音收集器对声音进行检测，

其中，所述识别单元不仅通过光学识别，而且基于由所述声音收集器检测到的声音的频率成分对所述操作体的种类进行识别。

（19）根据上述（1）所述的电子设备，其中，所述操作体是具有具备不同反射率的笔尖的触摸笔。

（20）一种操作电子设备的方法，所述电子设备设有显示单元，所述方法包括：

对定位在所述显示单元的显示面上的操作体的种类进行光学识别；以及

根据识别出的所述操作体的种类控制针对所述显示单元的操作的内容。

本领域的技术人员应该理解，只要在所附权利要求书或其等同物所限定的范围之内，可以根据设计要求和其他要素进行各种修改、组合、子组合以及变化。

Claims (20)

1.一种电子设备，其包括：

显示单元；

识别单元，其对定位在所述显示单元的显示面上的操作体的种类进行光学识别；以及

控制单元，其根据由所述识别单元所识别的所述操作体的种类控制针对所述显示单元的操作的内容。

2.根据权利要求1所述的电子设备，其中，所述识别单元基于从所述操作体反射的光对所述操作体的种类进行识别。

3.根据权利要求2所述的电子设备，其中，所述识别单元基于从设置于所述显示单元中的发光元件发出的光的照射的光量和用于接收从所述发光元件发出并从所述操作体反射的光且设置于所述显示单元中的光接收元件的入射的光量，计算所述操作体的反射率，并基于计算出的所述操作体的反射率对所述操作体的种类进行识别。

4.根据权利要求3所述的电子设备，其中，所述发光元件是所述显示单元的像素的发光元件。

5.根据权利要求3所述的电子设备，其中，所述发光元件发射除了可见光之外的光。

6.根据权利要求4所述的电子设备，其中，所述像素的发光元件是自发光元件。

7.根据权利要求6所述的电子设备，其中，所述自发光元件是有机电致发光元件。

8.根据权利要求7所述的电子设备，其中，所述光接收元件是使用光电可转换有机膜的元件。

9.根据权利要求4所述的电子设备，其中，所述光接收元件设置为对应于所述像素。

10.根据权利要求9所述的电子设备，其中，所述光接收元件设置在相同颜色的像素之间。

11.根据权利要求9所述的电子设备，其中，到达所述光接收元件的光传播路径的***被光屏蔽壁覆盖。

12.根据权利要求3所述的电子设备，其中，所述发光元件和所述光接收元件形成于相同的半导体基板上。

13.根据权利要求3所述的电子设备，其中，所述光接收元件是光电二极管。

14.根据权利要求3所述的电子设备，其中，所述光接收元件通过布置在所述光接收元件上的滤色器进行颜色分离。

15.根据权利要求3所述的电子设备，其中，所述光接收元件通过在已形成的半导体基板的深度方向上的形成位置进行颜色分离。

16.根据权利要求1所述的电子设备，其进一步包括布置在所述显示单元的显示面上的触摸面板。

17.根据权利要求16所述的电子设备，其中，当所述操作体操作所述触摸面板时，所述识别单元对所述操作体的种类进行识别。

18.根据权利要求16所述的电子设备，其进一步包括声音收集器，当所述操作体操作所述触摸面板时，所述声音收集器对声音进行检测，

其中，所述识别单元不仅通过光学识别，而且基于由所述声音收集器检测到的声音的频率成分对所述操作体的种类进行识别。

19.根据权利要求1所述的电子设备，其中，所述操作体是具有具备不同反射率的笔尖的触摸笔。

20.一种操作电子设备的方法，所述电子设备设有显示单元，所述方法包括：

对定位在所述显示单元的显示面上的操作体的种类进行光学识别；以及

根据识别出的所述操作体的种类控制针对所述显示单元的操作的内容。

Images