CN100366067C - 具有照相机的显示器装置和通信装置 - Google Patents
具有照相机的显示器装置和通信装置 Download PDFInfo
- Publication number
- CN100366067C CN100366067C CNB2004101002782A CN200410100278A CN100366067C CN 100366067 C CN100366067 C CN 100366067C CN B2004101002782 A CNB2004101002782 A CN B2004101002782A CN 200410100278 A CN200410100278 A CN 200410100278A CN 100366067 C CN100366067 C CN 100366067C
- Authority
- CN
- China
- Prior art keywords
- mentioned
- display
- display equipment
- camera
- camera according
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004891 communication Methods 0.000 title claims description 19
- 238000003384 imaging method Methods 0.000 claims description 33
- 230000003287 optical effect Effects 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 150000001875 compounds Chemical class 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000005693 optoelectronics Effects 0.000 claims description 4
- 239000000758 substrate Substances 0.000 description 12
- 239000011521 glass Substances 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- PNEYBMLMFCGWSK-UHFFFAOYSA-N Alumina Chemical compound [O-2].[O-2].[O-2].[Al+3].[Al+3] PNEYBMLMFCGWSK-UHFFFAOYSA-N 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- WGLPBDUCMAPZCE-UHFFFAOYSA-N Trioxochromium Chemical compound O=[Cr](=O)=O WGLPBDUCMAPZCE-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 229910000423 chromium oxide Inorganic materials 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- QQONPFPTGQHPMA-UHFFFAOYSA-N propylene Natural products CC=C QQONPFPTGQHPMA-UHFFFAOYSA-N 0.000 description 1
- 125000004805 propylene group Chemical group [H]C([H])([H])C([H])([*:1])C([H])([H])[*:2] 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
- H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
- H04N2007/145—Handheld terminals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Studio Devices (AREA)
- Control Of El Displays (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Electroluminescent Light Sources (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
本发明揭示了一种能够大致从正面摄像正在观察显示器的人物的薄型的具有照相机的显示器装置。具有照相机的显示器装置具有:配置了显示像素的显示元件;通过形成在上述显示元件的上述显示像素之间的多个开口区域形成多个物体像,并对该多个物体像进行光电转换的摄像模块。进而,该显示器装置具有:对使用上述摄像模块得到的上述多个物体像的图像数据进行合成的图像合成部件。
Description
技术领域
本发明涉及用于电视电话、电视会议等的显示器装置,更详细地说,涉及具有摄像功能的显示器装置和使用它的通信装置。
背景技术
用于电视电话和电视会议等的显示器装置由为了在对方侧的显示器上进行显示而摄像自己的图像的照相机、显示在对方侧摄像的对方的图像的显示器构成,能够通过显示器一边与对方会面一边进行通话。
在这样的显示器装置中,在通过显示器与对方会面时,通过构成为视线与显示在显示器上的对方的图像配合,而能够实际地与对方进行会面而进行通话(例如参照特开平08-195945号公报、特开平01-286592号公报)。
图12是说明使用现有的电视会议用显示器装置的状况的图,图13是说明其光学结构的图。
在图12中,1是平面型显示器,与未图示的个人计算机(以下称为PC)。1a是画面,在通信状态下根据需要在画面内分割显示对方侧的脸部和用于会话的文件类。通过与因特网等通信线路连接的通常的PC环境实现这样的结构。
另外,2是桌台,3是用来将自己的图像发送到对方的摄像机,内置了图13所示那样的光学***。该摄像机3并不位于脸部4和画面1a之间,而位于在画面1a的下侧人观察画面1a时的视野以外。
另外,在图13中,3a是内置在摄像机3中的摄像用透镜(实际上由多个透镜构成,但为了简化说明而在图中展示了一个透镜),3b是内置在摄像机3中的摄像元件。5是摄像元件3b上的人4的像。
在这样的结构中,表示人4的假设平面的线A通过透镜3a而投影为平面C那样。这就是如果确定了与透镜3a的光轴垂直的面B,则该轴A、B、C的延长线相交于一点的所谓“光测试验法则”。
通过这样的结构得到的摄像元件3b上的图像成为下巴侧的摄像倍率高(由于距离近)而头顶侧的摄像倍率低(远距离)的物体,是并不理想的图像。
但是,在上述现有例子中,提出了以下方案:在以电视信号接收机等为主流的平面型显示器、便携电话和移动通信机、适用于个人计算机等的薄型显示器中,不有损设计,并且提高分辨率而使得能够判别人物的表情。
另外,作为第一个课题,要求观看显示在显示器上的图像的人的视线位于显示器的大致中央部分,而为了摄像该人的视线,而必须设置在与同一显示器的中央部分相同的位置上具有光轴的照相机,这样则不会损失作为显示器装置的性能和品位。为了弥补该缺点,可以考虑在画面的极近的位置安装照相机的例子,但相反也就成为无法捕捉到视线,或斜着看到脸部的图像。
作为第二个课题,在照相机中,要求以下这样的焦距:以人的脸部为中心而摄像一些周围风景的构图,并且具有能够判别人物的表情的高分辨率,但如果将这样的摄像倍率的光学***组装到平面显示器的装置中,则厚度变大,而有损专门的平面显示器的设计。
作为第三个课题,要求在看着对方的表情的过程中也摄像本方的图像(实时性),在这样的情况下,显示用的光容易成为摄像***的重影和光斑,有可能引起画质的恶化。
发明内容
本发明的目的是提供一种能够从几乎正面摄像正在看着显示器的人物的薄型的具有照相机的显示器装置。
作为第一观点的本发明的具有照相机的显示器装置具有:配置了显示像素的显示元件;通过形成在上述显示元件的上述显示像素之间的多个开口区域,形成多个物体像,并对该多个物体像进行光电转换的摄像模块;对使用上述摄像模块得到的上述多个物体像的图像数据进行合成的图像合成部件。
另外,作为另一个观点的本发明的通信装置具有:上述具有照相机的显示器装置;使用该显示器装置进行伴随着图像数据的通信的通信部件。
进而,作为另一个观点的本发明的通信***具有:上述具有照相机的显示器装置;分别使用该显示器装置,进行伴随着图像数据的通信的多个通信装置。
通过参照附图的以下的具体实施例的说明,能够明确本发明的具有照相机的显示器装置、通信装置和通信***的特征。
附图说明
图1是作为本发明的实施例1的具有照相机的显示器装置的截面图。
图2是作为本发明的实施例2的具有照相机的显示器装置的截面图。
图3是上述实施例相关的便携电话的使用状况的说明图。
图4是上述实施例相关的便携电话的摄像图像的处理方法的说明图,图4(a)是展示通过4个透镜摄像的4个像的图,图4(b)是展示电气地使图4(a)的4个像重合的像的图,图4(c)是详细图。
图5是展示上述实施例的摄像模块的结构的斜视图。
图6是模式地展示摄像模块的截面图,图6(a)是上述实施例的复眼光学***的结构,图6(b)是现有的光学***的结构。
图7是展示本实施例的便携电话的显示器部件的传感器单元的配置的一个例子的图。
图8是展示使用了上述实施例的具有照相机的显示器装置的电视会议或电视电话***的结构的图,图8(a)是显示器部件的正面图,图8(b)展示显示器部件的使用状况的侧面图。
图9是展示上述实施例的便携电话的通信***的流程图。
图10是通过时间序列说明使用了上述实施例的便携电话的通信***的图。
图11是上述实施例的便携电话的控制电路图。
图12是说明现有例子的电视会议用显示器装置的使用状况的图。
图13是说明现有例子的电视会议用显示器装置的光学结构的图。
具体实施方式
以下,参照附图说明本发明的实施例。在以下的说明中,向具有与图12和图13所示的现有例子同样结构的部件附加相同的符号。在本实施例中,作为本发明的显示器装置的一个例子,说明便携电话的例子。
图3是本实施例的便携电话(通信装置)的使用状况的说明图。如图3所示,本实施例的便携电话在显示器部件1中内置了照相机3。该照相机3设置为朝向人物4的视线和脸部的方向。
图1和图2是本实施例的便携电话的显示器部件1的截面图。另外,图1是本发明的实施例1的显示器部件的截面图,图2是本发明的实施例2的显示器部件的截面图。
如图1和图2所示,显示器部件1具有:在表面侧形成画面的玻璃基板11;在该玻璃基板11的背面侧针对每个像素形成的,每个像素能够发出不同颜色的光的有机EL(场致发光)元件14;密封玻璃基板的背面侧的密封容器16。
在玻璃基板11上,进行形成反射防止膜或低温多晶硅的TFT(薄膜晶体管)的电路等的下处理。另外,在该玻璃基板11上,一体地形成用丙烯等的树脂构成的复制(replica)透镜12、13。
在此,图1展示了在玻璃基板11中的形成了后述的有机EL元件14(显示像素)的面上形成复制透镜12的例子,图2是在玻璃基板11中的与形成了有机EL元件14的面相反侧(外侧)的面上形成复制透镜12、13的例子。
复制透镜12是摄像透镜,构成为在形成在后述的传感器基板15上的传感器部件上使被摄界面(图中下侧)的像成像。另外,复制透镜13是使后述的有机EL元件14的发光光束聚光的聚光透镜。
另外,有机EL元件14由形成在玻璃基板11上的低温多晶硅的透明电路针对每个像素被驱动,每个像素点亮或熄灭不同的颜色。通过控制各有机EL元件14的驱动,作为显示器整体显示一个图像。进而,对于有机EL元件,点亮、熄灭的速度比现有的液晶等快3个数量级以上,特别适合于本实施例。
该有机EL元件14具有:作为反射板和普通(common)电极使用的氧化铝反射板14a;由发出蓝色、绿色、红色各色的光的有机材料构成的EL层14B、14G、14R;作为黑色矩阵用来提高各像素的对比度或防止漏光的由氧化铬等构成的黑色矩阵部件14c。
另外,黑色矩阵部件14c也作为摄像透镜12的光圈发挥功能(一体地形成),如图14d所示那样,它构成为防止产生重影的刀口(knifeedge)形状。
所以,在本实施例中,在形成在有机EL元件14(即显示像素)之间的多个开口区域AP的每个处配置摄像透镜12。
另外,在大致形成摄像用透镜12的焦点的位置设置传感器基板15。该传感器基板(以下称为摄像传感器:image-pickup sensor)15通过未图示的固定结构与未图示的电路部件和密封容器16接合,传感器面15a和驱动电路形成为一体。构成为在该摄像传感器15的传感器面15a上大致形成摄像透镜12的焦点。这样形成摄像模块。
另外,构成为使将形成在传感器面15a上的多个传感器区域的图像处理上的图像中心和复制透镜12的中心连接的所谓光轴L在被认为是观察该画面的人4(参照图3)所在的位置(图中从传感器面15a离开距离15a的位置)大致交叉。另外,在图中,记载了光轴L弯曲,但实际上是沿着直线的。
另外,密封容器16由金属构成,通过耐湿性高的粘结剂18被固定在玻璃基板11上。另外,在密封容器16的一部分上固着了干燥剂17。这是为了除去空气中的水分,使得有机EL元件14不会与空气中的水分反应而产生被称为黑点的不发光部分。另外,根据这样的结构,能够提供比现有的液晶显示器装置更薄的平板显示器装置。
图4到图6是说明用于本实施例的显示器装置的摄像模块的图。
在该摄像模块的光学***中使用所谓的复眼光学***,如图5所示,在相互独立的4个摄像传感器15上成像由4个摄像透镜12形成的物体像,并从得到的4个图像数据合成为一个图像,由此作成高画质的图像数据。
图6是光学***和摄像传感器的截面图,图6(a)是本实施例的复眼光学***的结构,图6(b)是现有的光学***的结构。
在图6(a)中,12是作为摄像透镜的复制透镜,15是摄像传感器。是与上述图1和图2相同的结构。
在图6(b)中,展示了具有与本实施例的光学***相同的性能的现有的光学***,21是透镜单元,22是摄像传感器。该摄像传感器22配置了彩色滤波器(配置为方格纹状)。
在图6(b)所示的现有光学***中,如透镜单元21所示,为了在同一传感器面上成像作为可视光的3原色的青、绿、红(以下称为B、G、R)的各波长的光,而使用被称为消色的方法。即,由于在单一透镜上无法在同一平面上成像波长不同的光,所以使用3种折射和散射(因波长而产生的折射不同)不同的透镜,并将这些3原色成像为同一平面状。因此,必须成为如图所示那样的透镜单元的厚度。通常将该透镜单元的消色结构称为复消色差透镜。
另外,例如在用于通常的摄像***(image-taking system)中的摄像传感器22的大小为VGA(640×480=约30万像素)的情况下,如果假设1个像素的大小为4μ四角形,则成为2.56×1.92mm。
另一方面,如本实施例那样,如果使用每个颜色光学***不同的复眼光学***,则要使用4个1.28×0.96mm的摄像传感器15。但是,也可以将一个摄像传感器15的受光范围分割为多个,分配给由各摄像用透镜12形成的物体像。
这样,在画面大小不同的情况下所使用的光学***成为:例如作为银盐(silver-haloid)照相机的标准视角θ的相当于f=38mm透镜的透镜在通常的光学***的2.56×1.92mm(=a)的传感器下成为f=2.6mm的透镜单元21。另一方面,如果是本实施例的光学***的1.28×0.96mm(=a/2)的传感器,则可以使用其一半的f=1.3mm的摄像透镜12。即,在本实施例中,与通常的光学***相比,能够使包含透镜和摄像传感器的摄像光学***的厚度成为约一半。
另外,如果焦距成为一半,则根据f/Fno.的原理公式,相同亮度的透镜的直径也成为大致一半,即使在显示器的各显示像素之间嵌入该摄像透镜也不会很显眼(即,如果4个透镜的面积相加,则大致与现有类型的透镜的孔径大小相等)。另外,不会由于使透镜从观察者的注视点的画面中心移开而观察图像的恶化变得显著,能够适合地实现本发明的发明目的的使通话者之间的视线一致(从大致正面摄像观察显示器的观察者)。
图5是展示本实施例的摄像(image-taking)模块的结构的斜视图。在图5中,12是前述的摄像透镜,复制(replica)形成在上述玻璃基板11上。该摄像透镜12配置在画面的中央部分的4个位置。23是彩色滤波器,只使进入各透镜的白色光中的各摄像传感器15所需要的波长(颜色)入射到各个摄像传感器15中。24是印刷在玻璃基板11上的光圈。
图4是摄像图像的处理方法的说明图,图4(a)是展示通过4个透镜摄像的4个像的图,图4(b)是展示电气地使图4(a)的4个像重合的像的图,图4(c)是详细图。
在本实施例中,在将从4个摄像透镜12入射的光所形成的物体像转换为电信号并读入时,例如在位于图4(a)的第二象限部分的传感器的最右上的图像的下一个,交替地读出第一象限部分的最右上的图像、第一象限相邻的图像、第一象限相邻的图像,而成为第一奇数行的信号。接着,交替地读出第三象限部分的最右上的图像、第四象限部分的最右上的图像、第三象限相邻的图像、第四象限相邻的图像,而成为第一偶数行的信号。接着,交替地读出并合成第二象限部分的第二列的信号......,通过这样的电路,作出与图4(b)那样的通常的排列等同的图像信号。
图7是展示本实施例的显示器中的摄像用透镜12的配置的一个例子的正面图。
在图7中,12是摄像透镜,13是聚光显示器的光的聚光(显示)透镜。另外,在本图中,只在画面中心部分记载了聚光透镜13,但实际上是配置在画面全体上。
摄像透镜12相对于聚光透镜13,大致均等分散地配置在图中四角形所示的画面的中央部分,由于尺寸小,所以观察画面的人不会注意到。
图8是展示本实施例的显示器的摄像透镜12的配置的其他例子的图,图8(a)是显示器的正面图,图8(b)是展示显示器(便携电话)的使用状况的侧面图。
在图8(a)中,4个一组的摄像透镜12(即4个摄像模块)被配置在图中四角形所示的显示器画面的中央部分、将画面4分割了的区域的各中央部分(四角部分),共计5个位置。另外,聚光透镜13全面地铺在画面全体上,但在图8(a)中只省略记载了中心部分。
所以,如图8(b)所示,四角的摄像模块的摄像光轴(如图中的点划线所示)L被设置为朝向从画面离开距离D(即画面与人物的距离例如为30~50cm)的人物的方向。
对于这样的结构,设想在与多个地点或多个人物(便携电话P1、P2或个人计算机P3)进行通话时,在分割为4个的画面(分割的画面的区域并不只限于4个)各自中显示不同的地点和人物的情况。
例如,适用于以下这样的电视会议***、个人计算机等固定型的电视电话***那样的通信***:在画面中央部分中配置共通的文件资料等,将对方的图像显示在画面全体的1/4的区域内。
另外,只要将自己的脸部朝向四角的画面的正在通信的人物,个人计算机就能够自动地判别现在正在与哪个场所、人物进行会话,并有选择地向对方等发送来自该照相机的摄像图像。
图11是本实施例的便携电话的控制电路图。在图11中,31是高速地转换发送接收的数字信号的DSPI,对接收信号进行转换并传递到作为控制器的微型计算机32,同时相反将来自微型计算机32的发送信号转换为数字的发送信号。在DSPI中内置了图像和声音的压缩功能和解压功能。
33是DSPII,只将由微型计算机32分离了的发送接收的图像信号高速地转换为适于驱动显示器装置的信号,或者将来自后述的显示器40中的摄像模块的区域传感器(摄像传感器15)的模拟信号转换为数字信号,并传递到微型计算机32。在此,也作为图像合成部件发挥功能的微型计算机32如上述那样,从由4个摄像透镜12形成的相互独立的4个像所对应的4个图像数据合成为一个图像。
34、35分别是作为通信部件的发送单元和接收单元(如图8(a)所示),36、37分别是麦克风单元、扬声器单元。
38是作为照相机控制器控制照相机部件的部件,39是作为显示控制器控制有机EL显示部件的部件。
该显示器40的照相机部件和显示部件如图10所示,由微型计算机32以时间序列进行控制。
在图10中,从接收单元35得到的接收信号由DSPI31和微型计算机32高速地进行转换,并经由DSPII33和显示器控制器39,驱动显示器40的有机EL元件。图10的A展示了这时转换信号的定时(接收信号转换定时),图10的B展示了驱动有机EL元件的定时(接收图像显示定时)。
另外,图10所示的C展示了在照相机部件中进行摄像的定时(发送图像摄像定时)。发送图像摄像定时C具有与有机EL的发光定时(显示驱动定时)B交互的定时关系。
图10所示的D展示了通过DSPII33将由照相机部件摄像了的图像(合成图像)转换为图像信号,并通过微型计算机32和DSPI31实时地将该图像信号转换为发送信号,通过发送单元34发送的定时(发送信号转换定时)。
通过这样的结构,有机EL的发光定时(显示驱动定时)B与发送图像摄像定时(摄像模块的摄像驱动定时)C完全错开,因此从有机EL元件的发光并不对内置的摄像模块的摄像产生恶劣影响。
有机EL元件是非常适用于必需这样的发光、熄灭的响应性的使用方法的。
另外,如我们所知的图像的分散那样,图10中“S”所示的间隔理想的是30分之1秒。另外,考虑发送接收的数据量和数据转换的速度,也可以是10到15分之1秒左右。
图9是展示本实施例的通信***的流程图。向各步骤附加符号进行说明。
在图9中,在S101,便携电话开始接收到信号。在S102,由用户按下连接(hook-up)按键。
在S103,确认是否接收到信号。如果接收到信号,则前进到S104,如果没有接收到信号,则前进到S109。
在S104,由微型计算机32根据接收信号确认是否是显示图像的定时。即,在计数器的计数为0的情况下,判断为是显示图像的定时,前进到S105。
在从S105到S107,接收信号经由DSPI31、DSPII33和微型计算机32被转换,并图像显示在显示器40上,声音输出到扬声器37。
然后,在S108,在上述计数器变更为1后,再次返回S104。
另一方面,在S104中计数为1的情况下,判断为是进行摄像的定时,前进到步骤S109。
在S109,确认是否接收到信号。如果接收到信号,则前进到S110,如果没有接收到信号,则前进到S116(判断为异常模式)。
在S110,确认计数是否为1,即是否可以执行摄像和收集声音的动作。如果计数为1,则前进到S111,如果计数为0,则前进到S116。
在从S111到S114,在通过摄像、收集声音、DSPII33和微型计算机32进行信号转换后,使用DSPI31和发送单元34发送数字信号。
然后,在S115,使上述计数器复位为0,再次返回S104。
这时的间隔是上述图10所示的S。
通过这样的微型计算机32等的动作,能够使用户感觉就象是同时进行显示器画面的显示和摄像模块的摄像。
如以上说明所示,根据本实施例,通过形成在显示像素之间的多个开口(aperture)区域形成多个物体像,对对其进行光电转换而得到的图像数据进行合成而得到图像,因此在观察显示器的人物(观察者)不注意的基础上,能够从几乎正面摄像该观察者。由此,能够以舒适的状态实现便携电话和电视电话(会议)***。
进而,根据本实施例,通过构成所谓的复眼摄像模块,能够使一个一个的开口区域变小,并且作为整体得到宽的摄像视角。所以,能够在短焦距(focus length)下,即能够充分安装在薄空间中的结构下构成摄像模块,通过内置摄像模块,能够防止显示器装置变厚。
进而,通过使多个摄像透镜的光轴在物体侧的规定距离的位置(例如观察者的脸部的位置)上交叉(并且,通过使摄像各物体像的摄像传感器区域的像素在空间上在物体的位置上错开),能够以高分辨率摄像该位置的被摄体。
另外,通过在从显示器的画面中央部分错开的位置上配置上述开口区域,能够使摄像位置从观察者的注视点错开,通过作成多个摄像(图像)数据的合成图像,能够成为就像是看到了从显示器画面的中心摄像了的图像。
另外,根据本实施例,通过使显示器的显示定时和摄像定时相互错开地连续地驱动,能够防止因从显示器侧的光造成的摄像图像的恶化。
另外,本实施例的结构只不过是实施本发明的例子,本发明并不只限于本实施例的结构。
Claims (14)
1.一种具有照相机的显示器装置,其特征在于包括:
配置了显示像素的显示元件;
通过形成在上述显示元件的上述显示像素之间的多个开口区域形成多个物体像,并对该多个物体像进行光电转换的摄像模块;以及
对使用上述摄像模块得到的上述多个物体像的图像数据进行合成的图像合成部件。
2.根据权利要求1所述的具有照相机的显示器装置,其特征在于:
上述摄像模块由以下部分构成:设置在上述每个开口区域的多个摄像透镜;对通过该多个摄像透镜形成的上述多个物体像进行光电转换的光电转换元件。
3.根据权利要求2所述的具有照相机的显示器装置,其特征在于:
上述摄像透镜形成在上述显示元件中设置了上述显示像素的透明基板上。
4.根据权利要求3所述的具有照相机的显示器装置,其特征在于:
在上述透明基板上以上述显示像素为单位形成将来自上述显示像素的光射出到物体侧的显示透镜,
将面对上述开口区域的上述显示透镜用作上述摄像透镜。
5.根据权利要求2所述的具有照相机的显示器装置,其特征在于:
上述多个摄像透镜的光轴在物体侧的规定距离的位置交叉。
6.根据权利要求1所述的具有照相机的显示器装置,其特征在于:
上述开口区域设置在从上述显示元件的显示面的中心错开的位置。
7.根据权利要求1所述的具有照相机的显示器装置,其特征在于:
上述显示像素具有黑色矩阵部分,
与上述开口区域相邻的上述显示像素的上述黑色矩阵部分构成与上述摄像模块对应的开口光圈。
8.根据权利要求1所述的具有照相机的显示器装置,其特征在于:
上述摄像模块设置在上述显示元件的多个位置。
9.根据权利要求8所述的具有照相机的显示器装置,其特征在于:
设置在上述多个位置上的上述摄像模块的摄像光轴在物体侧的规定距离的位置交叉。
10.根据权利要求1所述的具有照相机的显示器装置,其特征在于:
上述显示元件是有机场致发光元件。
11.根据权利要求1所述的具有照相机的显示器装置,其特征在于:
具有在不同的定时下进行上述显示元件的驱动和上述摄像模块的驱动的控制器。
12.一种通信装置,其特征在于包括:
根据权利要求1~11中的任意一个所述的具有照相机的显示器装置;
使用该显示器装置进行伴随着图像数据的通信的通信部件。
13.一种通信***,其特征在于包括:
具有根据权利要求1~11中的任意一个所述的具有照相机的显示器装置和使用该显示器装置进行伴随着图像数据的通信的通信部件的通信装置;
与该通信装置进行通信的对方通信装置。
14.一种通信***,其特征在于包括:
根据权利要求9所述的具有照相机的显示器装置;
使用该显示器装置进行伴随着图像数据的通信的通信装置,其中
上述通信装置向每个上述摄像模块都不同的对方通信装置发送由上述多个摄像模块各自得到的图像数据。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003415820A JP4411059B2 (ja) | 2003-12-12 | 2003-12-12 | カメラ付きディスプレイ装置、通信装置および通信システム |
JP415820/2003 | 2003-12-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1627811A CN1627811A (zh) | 2005-06-15 |
CN100366067C true CN100366067C (zh) | 2008-01-30 |
Family
ID=34650600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004101002782A Expired - Fee Related CN100366067C (zh) | 2003-12-12 | 2004-12-10 | 具有照相机的显示器装置和通信装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7821561B2 (zh) |
JP (1) | JP4411059B2 (zh) |
CN (1) | CN100366067C (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103501420B (zh) * | 2009-11-02 | 2017-01-04 | 索尼公司 | 具有成像单元的图像显示装置及其电子设备 |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2318395C (en) * | 1998-01-27 | 2005-03-22 | Collaboration Properties, Inc. | Multifunction video communication service device |
KR100794309B1 (ko) * | 2006-08-11 | 2008-01-11 | 삼성전자주식회사 | 이미지 센서 및 그 형성 방법 |
US7714923B2 (en) * | 2006-11-02 | 2010-05-11 | Eastman Kodak Company | Integrated display and capture apparatus |
US20080106591A1 (en) * | 2006-11-02 | 2008-05-08 | Border John N | Two way communication system |
US7697053B2 (en) * | 2006-11-02 | 2010-04-13 | Eastman Kodak Company | Integrated display having multiple capture devices |
US7808540B2 (en) * | 2007-01-09 | 2010-10-05 | Eastman Kodak Company | Image capture and integrated display apparatus |
US20080239061A1 (en) * | 2007-03-30 | 2008-10-02 | Cok Ronald S | First portable communication device |
US8063929B2 (en) * | 2007-05-31 | 2011-11-22 | Eastman Kodak Company | Managing scene transitions for video communication |
US8159519B2 (en) * | 2007-05-31 | 2012-04-17 | Eastman Kodak Company | Personal controls for personal video communications |
US8253770B2 (en) * | 2007-05-31 | 2012-08-28 | Eastman Kodak Company | Residential video communication system |
US8154578B2 (en) * | 2007-05-31 | 2012-04-10 | Eastman Kodak Company | Multi-camera residential communication system |
US8154583B2 (en) * | 2007-05-31 | 2012-04-10 | Eastman Kodak Company | Eye gazing imaging for video communications |
TW200939754A (en) * | 2008-03-04 | 2009-09-16 | Qisda Corp | Display device |
US8125559B2 (en) * | 2008-05-25 | 2012-02-28 | Avistar Communications Corporation | Image formation for large photosensor array surfaces |
US8223188B2 (en) * | 2008-09-16 | 2012-07-17 | Alcatel Lucent | Monitor having integral camera and method of operating the same |
US20100171862A1 (en) * | 2009-01-06 | 2010-07-08 | Earl Alexander Culham | Parallax Camera and Display Screen |
JP5402018B2 (ja) * | 2009-01-23 | 2014-01-29 | 株式会社ニコン | 表示装置及び撮像装置 |
US8456586B2 (en) | 2009-06-11 | 2013-06-04 | Apple Inc. | Portable computer display structures |
US8654234B2 (en) * | 2009-07-26 | 2014-02-18 | Massachusetts Institute Of Technology | Bi-directional screen |
US8502756B2 (en) | 2009-11-02 | 2013-08-06 | Sony Corporation | Image display device with imaging unit |
US8408780B2 (en) | 2009-11-03 | 2013-04-02 | Apple Inc. | Portable computer housing with integral display |
US8743309B2 (en) | 2009-11-10 | 2014-06-03 | Apple Inc. | Methods for fabricating display structures |
EP2357817A1 (en) * | 2009-12-24 | 2011-08-17 | Alcatel Lucent | Terminal and system for video communication |
US20110181587A1 (en) * | 2010-01-22 | 2011-07-28 | Sony Corporation | Image display device having imaging device |
JP2011242616A (ja) | 2010-05-19 | 2011-12-01 | Sony Corp | 画像表示装置、電子機器、画像表示システム、画像取得方法、プログラム |
JP5569156B2 (ja) | 2010-06-07 | 2014-08-13 | ソニー株式会社 | 画像表示装置、電子機器、画像表示システム、画像取得方法、プログラム |
JP5743048B2 (ja) * | 2010-06-22 | 2015-07-01 | 株式会社Joled | 画像表示装置、電子機器、画像表示システム、画像表示方法、プログラム |
US8467177B2 (en) | 2010-10-29 | 2013-06-18 | Apple Inc. | Displays with polarizer windows and opaque masking layers for electronic devices |
US9143668B2 (en) | 2010-10-29 | 2015-09-22 | Apple Inc. | Camera lens structures and display structures for electronic devices |
KR101632311B1 (ko) * | 2010-12-30 | 2016-06-22 | 삼성전자주식회사 | 패널 형태의 면 카메라, 이를 적용한 광 터치스크린 및 디스플레이 장치 |
JP5836768B2 (ja) | 2011-11-17 | 2015-12-24 | キヤノン株式会社 | 撮像装置付き表示装置 |
JP5674701B2 (ja) | 2012-03-22 | 2015-02-25 | 株式会社東芝 | 情報処理端末装置 |
EP2865179A4 (en) * | 2012-06-20 | 2016-03-02 | Nokia Technologies Oy | DISPLAY CAMERA OPERATION |
JP5299547B1 (ja) * | 2012-08-27 | 2013-09-25 | 富士ゼロックス株式会社 | 撮影装置及び鏡 |
US10108258B2 (en) * | 2013-09-06 | 2018-10-23 | Intel Corporation | Multiple viewpoint image capture of a display user |
CN104201187B (zh) * | 2014-08-18 | 2017-07-04 | 京东方科技集团股份有限公司 | 一种oled显示装置 |
CN104539833A (zh) * | 2015-01-07 | 2015-04-22 | 京东方科技集团股份有限公司 | 电子设备 |
KR20170109651A (ko) | 2015-03-25 | 2017-09-29 | 애플 인크. | 광학 이미지 센서 위의 핀 홀 어레이 마스크를 포함하는 전자 디바이스 및 관련 방법 |
US10282582B2 (en) | 2015-09-30 | 2019-05-07 | Apple Inc. | Finger biometric sensor for generating three dimensional fingerprint ridge data and related methods |
US11239275B2 (en) | 2016-05-23 | 2022-02-01 | Apple Inc. | Electronic device including processing circuitry for sensing images from spaced apart sub-arrays and related methods |
WO2017204777A1 (en) | 2016-05-23 | 2017-11-30 | Apple Inc. | Electronic device including pin hole array mask above optical image sensor and laterally adjacent light source and related methods |
CA2963108A1 (en) * | 2016-06-29 | 2017-12-29 | EyesMatch Ltd. | System and method for digital makeup mirror |
JP2018037722A (ja) * | 2016-08-29 | 2018-03-08 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
JP2018060980A (ja) * | 2016-10-07 | 2018-04-12 | キヤノン株式会社 | 撮像表示装置及びウェアラブルデバイス |
CN108346398A (zh) * | 2017-01-24 | 2018-07-31 | 上海珏芯光电科技有限公司 | 显示驱动平板装置其驱动方法 |
CN106657485B (zh) | 2017-03-07 | 2020-05-12 | Oppo广东移动通信有限公司 | 移动终端 |
CN111447309B (zh) | 2017-03-07 | 2022-04-29 | Oppo广东移动通信有限公司 | 移动终端 |
DE102017206429A1 (de) * | 2017-04-13 | 2018-10-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung |
CN110024366B (zh) | 2017-07-07 | 2020-08-14 | 华为技术有限公司 | 一种具有摄像头的终端和拍摄方法 |
CN110661972B (zh) * | 2019-09-27 | 2021-02-23 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备和介质 |
US11637919B2 (en) | 2019-12-03 | 2023-04-25 | Apple Inc. | Handheld electronic device |
US11632448B2 (en) | 2019-12-03 | 2023-04-18 | Apple Inc. | Handheld electronic device |
JP7194709B2 (ja) * | 2020-04-03 | 2022-12-22 | 京セラ株式会社 | 測距装置 |
JP2022076290A (ja) | 2020-11-09 | 2022-05-19 | 株式会社ジャパンディスプレイ | 電子機器の制御方法 |
US12003657B2 (en) | 2021-03-02 | 2024-06-04 | Apple Inc. | Handheld electronic device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01286592A (ja) * | 1988-05-12 | 1989-11-17 | Nippon Telegr & Teleph Corp <Ntt> | 視線一致テレビ電話装置 |
JPH08195945A (ja) * | 1995-01-17 | 1996-07-30 | Japan Aviation Electron Ind Ltd | カメラ付きディスプレイ装置 |
WO2000036817A1 (de) * | 1998-12-17 | 2000-06-22 | Siemens Aktiengesellschaft | Kommunikationsfähige bildaufnahmeeinrichtung |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS56119586A (en) * | 1980-02-25 | 1981-09-19 | Suzuyo Tanigaki | Picture display and image pickup device |
US5159445A (en) * | 1990-12-31 | 1992-10-27 | At&T Bell Laboratories | Teleconferencing video display system for improving eye contact |
JP2837578B2 (ja) * | 1992-05-20 | 1998-12-16 | シャープ株式会社 | 画像入出力装置および方法 |
GB2269697A (en) * | 1992-08-11 | 1994-02-16 | Sharp Kk | Display device |
US5340978A (en) * | 1992-09-30 | 1994-08-23 | Lsi Logic Corporation | Image-sensing display panels with LCD display panel and photosensitive element array |
JP2898496B2 (ja) | 1993-02-05 | 1999-06-02 | 日本電信電話株式会社 | 撮像・表示装置 |
JPH06233291A (ja) | 1993-02-08 | 1994-08-19 | Nippon Telegr & Teleph Corp <Ntt> | 映像送受信装置 |
US5400069A (en) * | 1993-06-16 | 1995-03-21 | Bell Communications Research, Inc. | Eye contact video-conferencing system and screen |
JPH0943627A (ja) | 1995-05-19 | 1997-02-14 | Sharp Corp | 液晶表示装置およびその製造方法 |
US6069674A (en) * | 1995-05-19 | 2000-05-30 | Sharp Kabushiki Kaisha | Liquid crystal display apparatus |
US5585695A (en) * | 1995-06-02 | 1996-12-17 | Adrian Kitai | Thin film electroluminescent display module |
US6137535A (en) * | 1996-11-04 | 2000-10-24 | Eastman Kodak Company | Compact digital camera with segmented fields of view |
JP4013293B2 (ja) * | 1997-09-01 | 2007-11-28 | セイコーエプソン株式会社 | 表示装置兼用型イメージセンサ装置及びアクティブマトリクス型表示装置 |
JP2000152205A (ja) | 1998-11-09 | 2000-05-30 | Nippon Telegr & Teleph Corp <Ntt> | 撮像・表示装置 |
US20020030768A1 (en) * | 1999-03-15 | 2002-03-14 | I-Wei Wu | Integrated high resolution image sensor and display on an active matrix array with micro-lens |
JP3821614B2 (ja) * | 1999-08-20 | 2006-09-13 | 独立行政法人科学技術振興機構 | 画像入力装置 |
TW510131B (en) * | 2000-05-24 | 2002-11-11 | Chi Mei Electronic Corp | Image input/output device |
WO2002011406A2 (en) * | 2000-07-31 | 2002-02-07 | Koninklijke Philips Electronics N.V. | Image-sensing display device |
JP4049977B2 (ja) * | 2000-09-01 | 2008-02-20 | パイオニア株式会社 | 通信端末装置、および通信端末装置に用いられるレンズアダプタ |
JP2002098948A (ja) * | 2000-09-20 | 2002-04-05 | Hitachi Ltd | 液晶表示装置の製造方法 |
US7034866B1 (en) * | 2000-11-22 | 2006-04-25 | Koninklijke Philips Electronics N.V. | Combined display-camera for an image processing system |
US7053967B2 (en) * | 2002-05-23 | 2006-05-30 | Planar Systems, Inc. | Light sensitive display |
US7196728B2 (en) * | 2002-03-27 | 2007-03-27 | Ericsson, Inc. | Method and apparatus for displaying images in combination with taking images |
JP4230187B2 (ja) * | 2002-09-25 | 2009-02-25 | シャープ株式会社 | マイクロレンズアレイの製造方法およびマイクロレンズアレイの製造装置 |
US6888562B2 (en) * | 2003-03-26 | 2005-05-03 | Broadcom Corporation | Integral eye-path alignment on telephony and computer video devices using a pinhole image sensing device |
JP4886162B2 (ja) * | 2003-06-18 | 2012-02-29 | キヤノン株式会社 | 撮像装置付き表示装置 |
US7535468B2 (en) * | 2004-06-21 | 2009-05-19 | Apple Inc. | Integrated sensing display |
-
2003
- 2003-12-12 JP JP2003415820A patent/JP4411059B2/ja not_active Expired - Fee Related
-
2004
- 2004-11-23 US US10/995,853 patent/US7821561B2/en not_active Expired - Fee Related
- 2004-12-10 CN CNB2004101002782A patent/CN100366067C/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01286592A (ja) * | 1988-05-12 | 1989-11-17 | Nippon Telegr & Teleph Corp <Ntt> | 視線一致テレビ電話装置 |
JPH08195945A (ja) * | 1995-01-17 | 1996-07-30 | Japan Aviation Electron Ind Ltd | カメラ付きディスプレイ装置 |
WO2000036817A1 (de) * | 1998-12-17 | 2000-06-22 | Siemens Aktiengesellschaft | Kommunikationsfähige bildaufnahmeeinrichtung |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103501420B (zh) * | 2009-11-02 | 2017-01-04 | 索尼公司 | 具有成像单元的图像显示装置及其电子设备 |
Also Published As
Publication number | Publication date |
---|---|
US7821561B2 (en) | 2010-10-26 |
JP2005176151A (ja) | 2005-06-30 |
US20050128332A1 (en) | 2005-06-16 |
JP4411059B2 (ja) | 2010-02-10 |
CN1627811A (zh) | 2005-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100366067C (zh) | 具有照相机的显示器装置和通信装置 | |
KR100976002B1 (ko) | 정보 처리 장치, 및 대화자 표시 방법 | |
CN111491077B (zh) | 终端、显示面板和图像采集模组以及显示控制方法 | |
US6424843B1 (en) | Multi-function telecommunication device | |
JP5836768B2 (ja) | 撮像装置付き表示装置 | |
US20070002130A1 (en) | Method and apparatus for maintaining eye contact during person-to-person video telecommunication | |
US20100045773A1 (en) | Panoramic adapter system and method with spherical field-of-view coverage | |
CN211531155U (zh) | 一种镜头、摄像头和电子设备 | |
CN106338819A (zh) | 一种数码取景全视场ar多媒体望远镜 | |
JP4338500B2 (ja) | 撮像装置 | |
CN113873103B (zh) | 光处理装置、相机模组、电子设备及拍摄方法 | |
JP5963637B2 (ja) | 撮像装置付き表示装置 | |
EP1209901A1 (en) | Image pick-up and display apparatus | |
CN110995902B (zh) | 电子器件、电子装置及图像处理方法 | |
JPH07143469A (ja) | 撮像表示一体装置 | |
JP3480562B2 (ja) | 画像入出力装置 | |
KR200178841Y1 (ko) | 도어폰 장치 | |
JPH01280978A (ja) | 撮像表示装置 | |
CN210120604U (zh) | 终端设备 | |
CN213152213U (zh) | 视频会议***及显示装置 | |
KR100742570B1 (ko) | 휴대용 단말기 | |
KR200341237Y1 (ko) | 이동통신 단말기의 입체영상 촬영 및 디스플레이 장치 | |
EP3674783A1 (en) | Display apparatus | |
CN116782017A (zh) | 内置摄像头和移动终端 | |
JPH11168680A (ja) | イメージ・エントランス装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080130 Termination date: 20161210 |