CN103248849A - 图像显示装置和图像显示方法 - Google Patents

图像显示装置和图像显示方法 Download PDF

Info

Publication number
CN103248849A
CN103248849A CN2013100472351A CN201310047235A CN103248849A CN 103248849 A CN103248849 A CN 103248849A CN 2013100472351 A CN2013100472351 A CN 2013100472351A CN 201310047235 A CN201310047235 A CN 201310047235A CN 103248849 A CN103248849 A CN 103248849A
Authority
CN
China
Prior art keywords
screen picture
image
screen
unit
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013100472351A
Other languages
English (en)
Other versions
CN103248849B (zh
Inventor
青木贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN103248849A publication Critical patent/CN103248849A/zh
Application granted granted Critical
Publication of CN103248849B publication Critical patent/CN103248849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • G09G2330/022Power management, e.g. power saving in absence of operation, e.g. no data being entered during a predetermined time
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/025LAN communication management
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/20Details of the management of multiple sources of image data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了图像显示装置和图像显示方法。图像显示装置包括通信单元,用于与信息处理装置进行通信;图像合成单元,用于合成包括信息处理装置的屏幕图像的多分段的屏幕图像;投影单元,用于将多分段的屏幕图像投影到屏幕上;功能模式管理单元,用于控制在常规投影模式和多分段的屏幕操作模式之间的切换;图像捕获装置,用于当切换到多分段的屏幕操作模式时,捕获多分段的屏幕图像和操作者的手的移动;指定屏幕图像识别单元,用于基于由图像捕获装置捕获的图像,检测操作者的手的移动,并且识别被指定为活动目标图像的屏幕图像;以及信号控制单元,用于将图像数据的发送请求发送到与指定的活动目标图像相对应的信息处理装置。

Description

图像显示装置和图像显示方法
技术领域
本发明涉及在屏幕上投影和显示图像的图像显示装置。
背景技术
诸如投影仪之类的图像显示装置能够在投影屏幕上投影图像来显示图像。这样的图像显示装置具有一个或多个连接终端(例如VGA终端),能够使用电缆将诸如个人计算机(PC)之类的一个或多个信息处理装置连接到所述连接终端。连接的信息处理装置将在信息处理装置的显示屏上显示的图像数据发送到图像显示装置,并且图像显示装置将从信息处理装置发送的这样的图像数据投影到屏幕上。
当将投影图像从当前连接到图像显示装置的第一信息处理装置的一个屏幕图像改变到第二信息处理装置的另一个屏幕图像时,这样的图像显示装置需要执行给定的处理。例如,当对第二信息处理装置的另一个屏幕图像进行投影时,可能需要首先断开连接第一信息处理装置,并且随后连接第二信息处理装置,这对于用户而言并非是便捷的处理。
鉴于这样的问题,JP-2009-180943-A公开了一种图像显示装置,例如装备有可连接到多个个人计算机(PC)的多个输入终端的投影仪,其中投影仪能够基于经由输入终端接收的图像信号,将每个PC的屏幕图像显示在投影屏幕上。例如,当在仅一个输入终端处输入图像信号时,输入的图像信号的投影图像的尺寸可以被设置为全屏幕尺寸,并且当在多个输入终端处输入图像信号时,可以基于输入图像信号将与每个输入图像信号相对应的每个投影图像的尺寸设置为基于比率的尺寸。
这样的投影机需要与PC的数量对应的输入终端在屏幕上显示每个PC的屏幕图像。因此,随着要显示在屏幕上的PC的屏幕图像的数量增加,用于多个PC的图像显示装置中的连接电路的硬件尺寸变大且变复杂。
随着无线局域网(LAN)的发展,图像显示装置可以被装备有无线通信功能,利用该功能,图像显示装置能够同时与多个信息处理装置传送数据。
随着采用无线通信功能,图像显示装置能够与多个PC同时通信,而不使用多个输入终端,这样用于多个PC的图像显示装置中的连接电路的硬件尺寸可能不会变得过大。
然而,每个PC无法确定哪个PC对应于图像显示装置的目标PC。因此,每个PC需要不断地将屏幕图像的图像信号发送到图像显示装置。因此,随着连接的PC的数量增加,由图像显示装置接收的数据尺寸变得过大,这样图像显示装置的通信处理负荷就增加。
JP-2006-92365-A公开的图像显示装置用以处置这样增加的处理负荷。连接到多个终端装置的图像显示装置从一个终端装置接收连接请求,并显示已经发出连接请求的终端装置的屏幕图像。在多个终端装置中,首先已经发出连接请求的终端装置能够被设置为主终端装置,并且每个其他的终端装置被设置为非主或从终端装置。
在图像显示装置基于来自非主终端装置的连接请求处于操作中时,主终端装置可以发出到图像显示装置的连接请求。随后,图像显示装置限制来自非主终端装置的连接请求。
这样,一旦利用诸如信息处理装置之类的主终端装置来操作图像显示装置,常规的图像显示装置限制来自非主终端装置的连接请求,所述信息处理装置是首先与图像显示装置相连接的装置。在这样的配置中,无法容易地在图像显示装置的活动和非活动状态之间切换图像显示装置和多个信息处理装置之间的通信。
发明内容
在本发明的一个方面中,设计出了一种图像显示装置。所述图像显示装置包括:通信单元,其使用处理设备与多个信息处理装置进行通信;图像合成单元,其使用所述处理设备,基于通过所述通信单元从所述多个信息处理装置中的每一个接收的图像数据,合成多分段的屏幕图像数据,所述多分段的屏幕图像数据包括所述多个信息处理装置的屏幕图像;投影单元,用于将由所述图像合成单元合成的所述多分段的屏幕图像数据作为多分段的屏幕图像投影到屏幕上;功能模式管理单元,其使用所述处理设备控制在常规投影模式和多分段的屏幕操作模式之间的切换,其中当切换到所述常规投影模式时,所述功能模式管理单元从所述信息处理装置中的每一个接收中断请求;图像捕获设备,用于当所述功能模式管理单元切换到所述多分段的屏幕操作模式时,捕获在所述屏幕上显示的所述多分段的屏幕图像和操作者的手相对于所述多分段的屏幕图像的移动的图像;指定屏幕图像识别单元,其使用所述处理设备,基于由所述图像捕获设备捕获的所述多分段的屏幕图像和所述操作者的手的移动的图像来检测所述操作者的手相对于所述多分段的屏幕图像的移动,并基于所检测到的手的移动来识别所述多分段的屏幕图像中被指定为活动目标图像的屏幕图像;以及信号控制单元,其使用所述处理设备将图像数据发送的请求发送到与由所述指定屏幕图像识别单元指定为所述活动目标图像的屏幕图像相对应的信息处理装置,并且不从与非活动目标图像的屏幕图像相对应的信息处理装置接收中断请求。
在本发明的另一个方面中,设计出了一种用于图像显示装置的图像显示方法。所述方法包括如下步骤:与多个信息处理装置进行通信;基于通过通信单元从所述多个信息处理装置中的每一个接收的图像数据,合成多分段的屏幕图像数据,所述多分段的屏幕图像数据包括所述多个信息处理装置的屏幕图像;将由图像合成单元合成的所述多分段的屏幕图像数据作为多分段的屏幕图像投影到屏幕上;控制在常规投影模式和多分段的屏幕操作模式之间的切换,其中当切换到所述常规投影模式时,所述图像显示装置从所述信息处理装置中的每一个接收中断请求;当功能模式管理单元切换到所述多分段的屏幕操作模式时,捕获在所述屏幕上显示的所述多分段的屏幕图像和操作者的手相对于所述多分段的屏幕图像的移动的图像;基于通过捕获而捕获到的所述多分段的屏幕图像和所述操作者的手的移动的图像来检测所述操作者的手相对于所述多分段的屏幕图像的移动,并基于所检测到的手的移动来识别所述多分段的屏幕图像中被指定为活动目标图像的屏幕图像;以及将图像数据发送的请求发送到与由指定屏幕图像识别单元指定为所述活动目标图像的屏幕图像相对应的信息处理装置,并且不从与非活动目标图像的屏幕图像相对应的信息处理装置接收中断请求。
附图说明
参照附图并根据以下的具体实施方式,可以容易地获得和理解本公开的更完整的理解及其许多显著的优势和特征,在附图中:
图1示出了根据示例性实施例的包括图像显示装置的图像显示***的示例性配置;
图2A示出了从前侧看的图1的图像显示装置的透视图,以及图2B示出了从后侧看的图1的图像显示装置的透视图;
图3示出了图2A和2B的图像显示装置的整体硬件配置;
图4示出了图2A和2B的图像显示装置的另一个整体硬件配置;
图5示出了图像输出单元的内部硬件配置;
图6示出了根据示例性实施例的中央处理单元的功能框图;
图7示出了图3和图4的图像显示装置中的模式转换;
图8示出了当图像显示装置将通过对PC的屏幕图像进行合成而生成的多分段的屏幕图像投影到屏幕上时在图3和图4的图像显示装置和PC之间的通信过程的时序图;
图9示出了当图像显示装置用于操作多分段的屏幕图像中的屏幕图像时在图3和图4的图像显示装置之间的通信过程的时序图;
图10示出了当图像显示装置用于操作多分段的屏幕图像中的屏幕图像时的过程的步骤的流程图;
图11示出了在图6的手势数据库中存储的手势/操作表格的示例;
图12示出了由图6的显示图像信息管理单元管理的多分段屏幕图像的显示屏幕图像信息的示例;
图13示出了图1的屏幕上的多分段的屏幕图像的示例;以及
图14示出了与用户的手移动的类型相对应的特定操作内容的示例图像。
附图意在示出本发明的示例性实施例,并且不应被解释为是对本发明的范围构成了限制。除非另有明确说明,否则不应将附图视为是按比例绘制的,并且在各个附图中相同或类似的参考标记指代相同或类似的部件。
具体实施方式
现在给出本发明的示例性实施例的描述。应当注意的是,尽管在本文中使用了诸如第一、第二等词语来描述各个单元、组件、区域、层和/或部分,但应当理解这样的单元、组件、区域、层和/或部分并不因而就是限制性的,这是因为这样的词语是相对的,也就是说仅用于将一个单元、组件、区域、层或部分与另一区域、层或部分区分开。因此,例如可以将在下文中论述的第一单元、组件、区域、层或部分称为第二单元、组件、区域、层或部分,而不偏离本发明的教示。
此外,应当注意在本文中使用的术语仅用于描述具体的实施例,而不意在对本发明构成限制。因此,例如如在本文中所使用的,除非在上下文中另有明确的说明,否则单数形式的“一”、“一个”和“该”也意在包括多数形式。此外,在本文中所使用的词语“包括”和/或“包含”指明了所陈述的特征、整数、步骤、操作、单元和/或组件的存在,但并不排除一个或多个其他的特征、整数、步骤、操作、单元、组件和/或它们的组的存在或增加。
此外,尽管在描述附图中所示的视图的过程中,为了清晰的目的采用了特定的术语,但本公开并不限于这样选择的具体术语,并且应当理解每个具体单元包括以类似方式操作并实现类似结果的所有技术对等体。现在参照附图,下面将描述根据示例性实施例的装置或***。
图1示出了根据示例性实施例的使用图像显示装置的图像显示***的配置。图像显示***可以包括例如图像显示装置10、由用户(操作者)20使用的个人计算机(PC)24、由用户21使用的PC25、由用户22使用的PC26、以及由用户23使用的PC27。图像显示装置10能够将从PC24-27中的每个PC发送的图像投影在屏幕28上。
PC24-27中的每个PC是诸如笔记本计算机或移动PC之类的信息处理装置。图像显示装置10可以是这样的投影仪,其可以将从PC24-27中的每个PC发送的图像(例如屏幕图像)投影到屏幕28上。PC24-27以及图像显示装置10可以通过诸如无线局域网(LAN)之类的无线通信彼此连接以用于实现数据通信。图1示出了用户20到23参与的会议场景。
图像显示装置10和PC24-27可以通过无线LAN彼此连接以实现同时的数据通信,但图像显示装置10和PC24-27也可以使用其他的同步连接***彼此连接。此外,用户20(即图1中的发言者)的PC25可以经由视频图形阵列(VGA)终端有线连接到图像显示装置10。VGA是已知标准的图形***,并且因此省略VGA的解释。
在以下的描述中,在由用户20到23参与的会议中,使用了图像显示装置10和PC24-27,其中用户20可以是发言者,并且用户21到23是听众。可以通过用户20-23的操作在这样的情况中交互地使用图像显示装置10和PC24-27。在所述会议中,可以按需改变发言者和听众。
下面参照图2描述图像显示装置10的外观,图2示出了图1的图像显示装置10的透视图。图2A示出了从前侧观看的图像显示装置10的透视图,并且图2B示出了从后侧观看的图像显示装置10的透视图。如图2A中所示,图像显示装置10包括投影透镜11以及位于图像显示装置10的外壳的前侧处的图像捕获设备12。图像显示装置10还包括灯单元13、操作单元14、电源按钮15、接口16和连接终端单元17。
图像显示装置10包括外壳中的光调制器。光调制器调制从光源发射的光以对光进行成像,并且随后成像的光被通过投影透镜11投影到屏幕28上作为放大的图像。图像显示装置10可以采用已知的投影***,例如液晶***、数字光处理(DLP:注册商标)***,并且从而省略这样的投影***的解释。图像捕获设备12例如是能够捕获投影到屏幕28上的多分段的屏幕图像的图像和用户20的手势的图像的照相机。捕获的图像可以是静止或移动的图像。
多分段的屏幕图像是在屏幕28上投影的图像,其是通过合成PC24-27的多个显示图像生成的。手势表示例如用户20相对于屏幕28上投影的多分段的屏幕图像的手移动,其中用户20的手移动例如是用户20的右手和/或左手的移动。灯单元13可以通过改变光的发射颜色和/或光的发射条件向用户20报告或通知图像显示装置10是处于常规投影模式还是多分段的屏幕操作模式。
在常规投影模式中,图像显示装置10可以基于来自PC24-27中的每一个PC的请求,使用在PC24-27中的一个PC的屏幕上显示的图像,在屏幕28上投影一个屏幕图像。
此外,在多分段的屏幕操作模式中,图像显示装置10可以将通过合成在PC24-27上显示的多个图像生成的多分段的屏幕图像投影到屏幕28上,并且这样投影的多分段的屏幕图像可以通过用户20的手势进行操作。
此外,图像显示装置10包括位于外壳的顶面上的操作单元14,其中所述用户20可以使用操作单元14来手动地操作图像显示装置10。
操作单元14包括各种按钮和按键,例如电源按钮15、菜单按钮、上/下方向按键、左/右方向按键、以及输入按键,但并不限于此。用户20操作作为开关的电源按钮15来控制图像显示装置10的供电的打开(ON)/关闭(OFF)。用户20操作操作单元14来执行各种操作。这样的操作包括例如在屏幕28上投影的成像的光的亮度、色度、聚焦的调整;在常规投影模式、多分段的屏幕操作模式、节能模式、在屏幕28上投影的图像的幻灯片模式之间进行模式的切换;以及设置网络条件等。
此外,如图2B中所示,图像显示装置10包括例如在外壳的后表面上的接口16,外部装置可以连接到所述接口16。例如,诸如用作图像数据源装置的PC24-27(图1)、数字多用途盘(DVD)播放器、数字照相机和视频游戏播放器之类的外部装置可以经由接口16连接到图像显示装置10。
接口16可以是各种接口,例如串行通信接口(UART)、高清晰度多媒体接口(HDMI)终端(端子)、VGA终端、D4终端、分量终端、组合终端、S-图像终端、音频终端和无线LAN接口,但不限于此。此外,图像显示装置10包括在外壳的后表面上的连接终端单元17,扬声器、耳机和头戴式耳机可以连接到所述外盒的后表面上的连接终端单元17。
下面参照图3描述图像显示装置10的整体硬件配置,该图3示出了图2中所示的图像显示装置10的整体硬件配置。如上所述,图像显示装置10例如包括投影透镜11、图像捕获设备12、灯单元13、操作单元14、电源按钮15、接口16和连接终端单元17。
此外,图像显示装置10包括例如中央处理单元(CPU)30、第一存储单元31、第二存储单元32、图像输入单元33、图像输出单元34、操作控制单元35、电源控制单元36和音频输出单元37,它们可以经由总线38彼此连接,从而可以在这些单元之间交换数据。
CPU30是中央处理单元(CPU),用作图像显示装置10的计算单元。CPU30整体控制图像显示装置10,并且执行各种控制过程,例如根据实施例的功能模式管理、手势识别,控制信号的生成、显示屏幕图像信息的管理、图像合成、通信和功能设置。
第一存储单元31例如是CPU30能够直接读取和写入的半导体存储器,例如随机存取存储器(RAM),并且可以被用作临时存储由CPU30使用来执行各种处理的计算结果的存储区域。
第二存储单元32例如是可重写非易失性半导体存储器(例如闪速存储器),并存储可以由CPU30执行的控制程序和各种参数,例如在图像显示装置10中安装的功能的设置信息、用于投影的音量、颜色和光强度的调整数据。
此外,第二存储单元32可以存储手势/操作表格的信息,其存储用户20的手移动的类型和要在指定的屏幕上执行的特定的操作内容,这是通过将这样的移动信息和特定的操作内容相关联而实现的。
图像输入单元33包括例如图像捕获设备12和专用电路(例如数字信号处理器(DSP))。图像捕获设备121可以捕获在屏幕28(图1)上投影的多分段的屏幕图像和当设置了多分段的屏幕操作时用户20相对于多分段的屏幕图像的手移动的图像。
诸如DSP之类的专用电路执行要用作图像数据以进行手势识别的由图像捕获设备12捕获的图像的各种处理,其中执行过滤过程以校正所捕获的图像数据,并且执行失真校正过程以校正图像失真。图像输入单元33将由图像捕获装置12捕获并且随后通过过滤过程和失真校正过程校正的图像数据输出给CPU30。
这样校正的图像数据经由CPU30传输和存储到第二存储单元32。随后,CPU30执行诸如手势识别和在第二存储单元32中存储的图像数据的控制信号的生成之类的过程。当图像显示装置10的模式被切换到多分段的屏幕操作模式时,图像捕获设备12可以捕获在屏幕28上投影的多分段的屏幕图像和用户20相对于多分段的屏幕图像的手移动的图像。
图像输出单元34例如包括投影透镜11和使用它通过投影透镜11投影的成像光在屏幕28上投影图像的电路。图像输出单元34包括投影单元的功能,所述投影单元基于多分段的屏幕图像数据将多分段的屏幕图像投影到屏幕28上,并且将与用户的手移动的类型相对应的图像投影到屏幕28上。下面将参照图5描述图像输出单元34的细节。
操作控制单元35接收由操作单元14输入的键操作信息或键事件,并基于这样的操作信息将控制信号输出到CPU30。基于操作信息的控制信号和来自操作控制单元35的输入,CPU30执行模式切换或各种类型的设置过程等。键事件可以包括上/下/左/右的滚动、输入事件或菜单显示事件等。
电源控制单元36是用于控制向图像显示装置10的电源供应的电路。当电源按钮15被设置为打开时,电源控制单元36开始向整个的图像显示装置10的电源供应,并且当电源按钮15被设置为关闭时,电源控制单元36停止向整个图像显示装置10的电源供应。此外,当检测到在使用电源按钮15设置电源打开之后的给定时间段内并未对图像显示装置10执行操作时,电源控制单元36自动将模式切换到节能模式以部分停止对图像显示装置10的电源供应。
此外,当在给定时间段内并未检测到用户20的手移动时,电源控制单元36将模式切换到节能模式以减小电能消耗。这样,电源控制单元36可以用作节能切换单元。此外,当图像显示装置10被切换到常规投影模式时,电源控制单元36停止对图像输入单元33的电源供应。这样,电源控制单元36可以被用作电源供应停止单元。
音频输出单元37是这样的电路,其用于输出用户20对于图像显示装置10的操作时序的音频引导,并输出与参与会议的用户20到23的移动图像的播放相对应的音频。音频输出单元37基于从CPU30接收的控制信号,将音频数据输出给与连接终端单元17相连接的头戴式耳机18或扬声器19。
灯单元13被用作指示灯,该指示灯用于将图像显示装置10的多分段的屏幕操作模式和常规投影模式指示给用户20。具体而言,可以针对常规投影模式和多分段的屏幕操作模式发射不同颜色的光来容易地识别当前的模式。此外,在常规投影模式指示灯可以保持为打开,并且指示灯可以保持诸如打开/关闭切换之类的闪烁,以针对多分段的屏幕操作模式。可以使用其他的显示装置和方法来执行常规投影模式和多分段的屏幕操作模式之间的模式的这样的识别。
这样,灯单元13可以用作通知单元以报告在图像显示装置10的常规投影模式和多分段的屏幕操作模式之间的模式切换状态。这样。基于灯单元13的光显示类型,用户20能够容易地识别图像显示装置10是处于常规投影模式还是处于多分段的屏幕操作模式,这样可以为用户20增强用户的便捷性或用户的友好性。
下面参照图4描述图像显示装置的整体硬件配置的另一示例,图4示出了图像显示装置10a的整体硬件配置。图像显示装置10a的硬件配置例如包括两个功能单元,例如如图4中所示的主功能单元50和额外的功能单元51。
主功能单元50用作总体的图像显示装置,并且额外的功能单元51执行根据示例性实施例的各种控制过程,例如功能模式的管理、手势识别、控制信号的生成、显示屏幕图像信息的管理、图像合成、通信和功能设置。主功能单元50和额外的功能单元51可以经由总线52彼此连接以进行数据通信。通过分别地提供这样的功能单元,可以将图像显示装置的不同功能分配给不同的硬件设备。利用这样的配置,在不改变总体图像显示装置的配置的情况下,可以容易地增加根据示例性实施例的功能。
主功能单元50主要用于将图像投影到屏幕28上并管理图像显示装置10a的投影图像的设置信息。图像显示装置10a的内部配置与图3中所示的图像显示装置10基本相同,但一些功能不同。在图3的图像显示装置10和图4的图像显示装置10a中使用的相同的单元具有相同的标记,并且省略这样的单元的解释。
主功能单元50包括第一中央处理单元53,其是用作图像显示装置10a的计算单元的CPU。第一中央处理单元53整体控制图像显示装置10a。
主功能单元50包括第一接口54,所述第一接口54包括用于图像数据输入的接口,例如串行通信接口(UART)、高清晰度多媒体接口(HDMI)终端(端子)、VGA终端、D4终端、分量终端、组合终端、S-图像终端和用于音频终端的接口。额外的功能单元51的第一接口54和第二接口58可以对应于图3中所示的接口16。
主功能单元50包括第一电源控制单元55。所述第一电源控制单元55是用于控制向图像显示装置10a的电源供应的电路。当电源按钮15被设置为打开时,第一电源控制单元55开始向整个图像显示装置10a的电源供应,并且当电源按钮15被设置为关闭时,第一电源控制单元55停止向整个图像显示装置10a的电源供应。此外,当检测到在使用电源按钮15设置电源打开之后的给定时间段内并未对图像显示装置10a执行操作时,第一电源控制单元55自动将模式切换到节能模式以部分停止对图像显示装置10a的电源供应。
此外,当在给定时间段内并未检测到用户20的手移动时,在来自额外的功能单元51的第二电源控制单元59的指示下,第一电源控制单元55将模式切换到节能模式以减小电能消耗。这样,第一电源控制单元55和第二电源控制单元59可以被一起用作节能切换单元。
此外,当基于来自第二电源控制单元59的指示将图像显示装置10a切换到常规投影模式时,第一电源控制单元55停止对图像输入单元33的电源供应。这样,第一电源控制单元55和第二电源控制单元59可以被一起用作电源供应停止单元。
此外,额外的功能单元51主要用于增加并未包括在主功能单元50中的功能。额外的功能单元51例如还包括第二中央处理单元56、第三存储单元57、第二接口58和第二电源控制单元59,它们可以经由总线60彼此连接以进行数据通信。
与第一中央处理单元53类似,第二中央处理单元56是用于计算过程的CPU,并且主要控制额外的功能单元51。第二中央处理单元56执行根据实施例的各种控制过程,例如功能模式管理、手势识别,控制信号的生成、显示屏幕图像信息的管理、图像合成、通信和功能设置。
第三存储单元57例如是第二中央处理单元56能够直接读取和写入的半导体存储器,例如随机存取存储器(RAM),并且可以被用作临时存储由第二中央处理单元56使用来执行各种处理的计算结果的存储区域。
第二接口58包括各种接口,例如串行通信接口(UART)、通用串行总线(USB)、有线LAN接口以及无线LAN接口,用于与图1中所示的PC24-27连接。
第二电源控制单元59是用于控制向额外的功能单元51中的每个单元的电源供应的电路。当在给定的时间段内并未检测到用户20的手移动时,第二电源控制单元59将模式切换到节能模式以减小电能消耗。这样,第二电源控制单元59可以用作节能切换单元。
此外,当图像显示装置10a被切换到常规投影模式时,第二电源控制单元59停止向图像输入单元33的电源供应。这样,第二电源控制单元59可以用作电源供应停止单元。
此外,当在给定的时间段内并未检测到用户20的手移动时,第二电源控制单元59将额外的功能单元51切换到节能模式,并且指示第一电源控制单元55将主功能单元50切换到节能模式以减小主功能单元50的电能消耗。这样,第二电源控制单元59和第一电源控制单元55可以被用一起用作节能切换单元。
此外,当将图像显示装置10a切换到常规投影模式时,第二电源控制单元59指示第一电源控制单元55停止向图像输入单元33的电源供应。这样,第二电源控制单元59和第一电源控制单元55可以被一起用作电源供应停止单元。
下面参照图5描述图像输出单元34的内部硬件配置,所述图5示出了如图3和图4中所示的图像输出单元34的内部硬件配置。图像输出单元34例如包括图像处理单元40、光调制驱动器41、光源控制器42、光源43、发光单元44、光调制器45和聚光单元46。
图像处理单元40执行成像处理,例如模拟/数字(A/D)转换、隔行/逐行(I/P)转换、缩放处理、伽马校正和噪音减小,以对来自CPU30(图3)或第二中央处理单元56(图4)的信号输入进行成像,并将经处理的图像信号输出到光调制驱动器41,其中这样输入的图像信号被处理作为适合于光调制器45的图像信号。此外,可以由图3和图4中所示的图像输入单元33执行诸如A/D转换、I/P转换、缩放处理、伽马校正处理和噪音减小之类的成像处理。
光调制驱动器41将由图像处理单元40处理的图像信号输出给光调制器,并驱动光调制器45。光调制器45例如被配置有与红(R)、绿(G)和蓝(B)相对应的三色液晶显示器(LCD)。从光源43发射的光由发光单元44分解为三色R、G、B。基于来自光调制驱动器41的图像信号输入,光调制器45将每个分解的光调制为与每个颜色对应的成像光。例如可以通过使用二向棱镜合成诸如R、G、B之类的每个颜色的成像光,并且将合成的成像光输入到聚光单元46。
基于从CPU30(图3)或第二中央处理单元56(图4)发射的光源控制信号,光源控制器42可以改变向光源43供应的电流来控制光源43的光强度。光源43例如是超高压水银蒸汽灯。
发光单元44例如包括积分透镜(以为从光源43发射的光设置均匀的光分布)、偏振光转换元件(以将在从光源43发射的光中包括的P-波分量(与入射平面平行的光波分量)转换为S-波分量(与入射平面垂直的光波分量)来生成具有高亮度的光)、二向色镜(以将从光源43发射的光分解为每个颜色R、G、B)。这样的单元是已知的单元,并且因此省略解释。
聚光单元46主要配置有包括投影透镜11的多个透镜。例如沿着与屏幕28垂直的光轴以行布置具有该光轴的聚光单元46的多个透镜。在从光调制器45接收到成像光时,聚光单元46在屏幕28上投影并聚焦放大的图像。
下面参照图6描述根据示例性实施例的第二中央处理单元56(图4)或CPU30(图3)的功能配置,所述图6示出了第二中央处理单元(图4)或CPU30(图3)的功能配置图。CPU30或第二中央处理单元56包括扩展功能单元1。扩展功能单元1包括例如功能模式管理单元2、手势识别单元3、手势数据库4、控制信号生成单元5、显示图像信息管理单元6、图像合成单元7、通信单元8和功能设置单元9。
基于从操作单元14(图3、图4)输入的操作信息,功能模式管理单元2控制图像显示装置10中的诸如常规投影模式和多分段的屏幕操作模式之类的两个模式之间的切换。下面将描述常规投影模式和多分段的屏幕操作模式之间的模式切换。
这样,功能模式管理单元2控制常规投影模式和多分段的屏幕操作模式之间的切换,并且还控制仅当切换到常规投影模式时从PC24-27接收中断请求的处理。这样,功能模式管理单元2可以用作管理功能模式的单元。
此外,当设置了常规投影模式时,功能模式管理单元2将图像输入单元33的电源供应关闭的指令发送到电源控制单元36(图3)或第二电源控制单元59(图4)。此外,在设置了多分段的屏幕操作模式时,功能模式管理单元2将图像输入单元33的电源供应打开的指令发送到控制单元36(图3)或第二电源控制单元59(图4)。利用这样的配置,由于当设置了常规投影模式时无需捕获用户20的手势,因此停止用于捕获用户20的手势的图像输入单元33的电源供应。利用这样的配置,可以减小并未使用其功能的一个或多个单元的电能消耗,特别是可以将其设置为零,由此可以减小图像显示装置10的电能消耗。
此外,当在多分段的屏幕操作模式期间在给定时间段内并未执行操作时,功能模式管理单元2自动将切换到节能模式的指令发送到电源控制单元(图3)或第一电源控制单元55和第二电源控制单元59(图4)。
此外,当发出了返回指令时,功能模式管理单元2将返回到恰恰在切换到节能模式之前使用的模式的指令发送到电源控制单元36(图3)或第一电源控制单元55和第二电源控制单元59(图4)。
此外,用于确定到节能模式的切换时机的上述给定时间段可以被保持在图像显示装置10中作为时限值,并且可以由用户20改变这样的时限值。利用这样的配置,可以减小在待机模式期间的不必要的功耗,并且可以使用由用户20设置的时限值自动减小这样的不必要的功耗。
手势识别单元3可以基于由图像输入单元33捕获的用户20的手移动的图像和多分段的屏幕图像,来检测用户20相对于多分段的屏幕图像的手移动。
此外,手势识别单元3可以基于上述检测到的手移动,识别被指定作为多分段的屏幕图像中的活动目标图像的屏幕图像。在下文中,利用词语活动状态来指代活动目标的图像。
此外,手势识别单元3可以基于上述检测到的手移动,识别被指定作为多分段的屏幕图像中的特定操作目标图像的屏幕图像和用户的手移动的类型。
此外,当检测到用户20的手移动时,手势识别单元3可以识别用户20的手移动的一部分。此外,手势识别单元3将这样的识别结果输出给控制信号生成单元5。这样,手势识别单元3可以用作指定的屏幕图像识别单元。
手势识别单元3可以使用例如通过使用红外光拍摄的热图像(不可见光图像)和可见光图像来执行手势的识别过程,其中将热图像和可见光图像进行比较以生成基于差异的图像来检测手移动。在本公开中,基于差异的图像表示通过鉴于这样的图像中的差异比较热图像和可见光图像生成的图像。红外图像用于检测用户20的体温,由此使用红外图像有效地识别手和面部区域。上述的可见光图像是由在图像输入单元33中布置的数字照相机捕获的用户20的手移动的图像和多分段的屏幕图像构成的图像数据。
此外,诸如从红外图像制备的热图像之类的上述不可见光图像可以从图像输出单元34获取,并且随后将其输出到手势识别单元3。例如,图像输出单元34的投影透镜11包括用于检测红外线的锗透镜,并且为图像输出单元34设置红外温度记录器。来自多分段的屏幕图像和用户20的手移动的图像的光通过投影透镜11的锗透镜,并且随后被引导到红外温度记录器,其中多分段的屏幕图像和用户20的手移动的图像是由图像输入单元33捕获的相同图像。
红外温度记录器基于来自多分段的屏幕图像和用户20的手移动的图像的光测量图像的每个部分处的温度差。这样的温度差由不同颜色指示来生成热图像数据,并且将热图像数据输出到手势识别单元3。这样,热图像数据可以是红外图像数据,可以通过计算从作为捕获的目标对象的对象辐射的红外线的能量来获取所述红外图像数据。
基于将诸如红外图像(或不可见光图像)之类的热图像数据和可见光图像的图像数据进行比较来制备的基于差异的图像,手势识别单元3能够检测用户20的手。由于用户20的手是与面部或颈部类似的暴露的皮肤,因此与衣服相比,可以将用户20的手检测作为高温区域。
此外,由于可以在没有可见光的强度的影响下来捕获红外图像,因此即使可见光图像无法获得足够的光强度,通过经由比较红外图像和可见光图像生成基于差异的图像,也能够正确地识别图像中的诸如用户20的手位置和轮廓之类的对象。这样,可以使用可见光图像和不可见光图像的组合来增强手势的识别精度。基于差异的图像是可以通过计算红外图像和可见光图像之间的差异获取的图像。
手势数据库4存储手势/操作表格,手势识别单元3从该表格中参考信息。手势/操作表格的信息是这样的表格格式数据,该表格格式数据存储通过将用户20的手移动的类型与被指定为特定操作目标图像的屏幕图像的特定操作内容相关联而制备的数据。这样,手势数据库4可以用作存储单元。可以将手势/操作表格的信息存储在例如诸如第二存储单元32之类的存储器中。下面将描述手势/操作表格。
基于从手势识别单元3接收的识别结果,控制信号生成单元5从在手势数据库4中存储的手势/操作表格中读出对应的特定操作,并且将对应的特定操作转换为控制信号。将这样的控制信号输出到显示图像信息管理单元6。
此外,控制信号生成单元5将指示与被指定为活动目标图像的屏幕图像相对应的PC的控制信号输出给通信单元8,并且将指示与未被指定为活动目标图像的屏幕图像相对应的PC的控制信号输出给通信单元8。
此外,即使请求PC来发送该PC的图像数据,由于一些原因PC无法发送图像数据。在这样的情况下,通信单元8接收从PC接收PC无法发送图像数据的响应。随后,控制信号生成单元5执行后续处理以显示与这样的PC无法发送图像数据相对应的屏幕图像。在一种情况下,控制信号生成单元5显示与这样的无法发送图像数据的PC相对应的屏幕图像作为多分段的屏幕图像中的非活动目标图像,并且在另一种情况下,控制信号生成单元5停止显示与变为非显示状态的无法发送多分段的屏幕图像中的图像数据的这样PC相对应的屏幕图像。这样,可以将控制信号生成单元5和通信单元8一起用作图像显示控制单元。
显示图像信息管理单元6将经由接口16(图2)或第二接口58(图4)输入的与PC24-27中的每一个PC的屏幕图像相对应的图像数据输出给图像合成单元7。
此外,在从信号生成单元5接收到控制信号时,显示图像信息管理单元6存储和管理显示屏幕图像信息。显示屏幕图像信息是信息的列表,所述信息的列表包括例如指示要在屏幕28上投影的多分段的屏幕图像中的每一个屏幕图像的“活动目标”或“非活动目标”的信息、在执行被指定为多分段的屏幕图像中的特定操作目标图像的屏幕图像的特定操作(例如,移动、放大、减小)之后的屏幕图像的位置的信息。显示图像信息管理单元6基于显示屏幕图像信息,将控制信号输出给图像合成单元7。
手势识别单元3识别用户20的手移动的类型。手势数据库4可以包括与由手势识别单元3识别的用户20的手移动的类型相对应的特定操作内容的信息。基于在手势数据库4中存储的要为被指定为特定操作目标图像的屏幕图像执行的特定的操作内容,控制信号生成单元5和显示图像信息管理单元6可以一起用作屏幕图像处理控制单元,以执行被指定为特定的操作目标图像的屏幕图像的特定操作内容。
基于与从显示图像信息管理单元6接收的PC24-27中的每一个PC的屏幕图像相对应的图像数据,图像合成单元7通过合成与PC24-27的屏幕图像相对应的图像数据来生成多分段的屏幕图像的图像数据,并将这样合成的图像数据输出给图像输出单元34。这样,基于经由接口16(图3)或第二接口58(图4)从PC24-27中的每一个PC接收的图像数据,图像合成单元合成由PC24-27的屏幕图像构成的多分段的屏幕图像数据。
图像合成单元7通过层叠多个图像层合成一个屏幕图像。例如,以从底层到上层、背景层、非活动图像层和活动图像层的顺序进行层叠,并且最上层是活动图像层。此外,如果层叠诸如非活动目标图像和活动目标图像之类的多个屏幕图像,则将最新操作的屏幕图像设置为相对于其他屏幕图像的顶部图像。
通信单元8控制与PC24-27的数据通信。在从控制信号生成单元5接收到控制信号(所述控制信号指示PC将屏幕图像指定为活动目标图像)时,通信单元8请求这样的PC发送图像数据,并控制不从将屏幕图像指定为活动目标图像的PC接收中断请求。此外,当通信单元8接收控制信号(所述控制信号指示PC未将屏幕图像指定为活动目标图像)时,通信单元8控制不从这样的PC接收中断请求。这样,通信单元8可以用作控制数据通信的单元。此外,通信单元8和控制信号生成单元5可以一起用作信号控制单元。
功能设置单元9管理各个设置。例如,功能设置单元9可以为图像显示装置1设置可指定作为活动目标图像的可显示的屏幕图像的上限数量。当PC24-27响应于来自图像显示装置10的图像数据发送请求而发送失败(NG)响应时,功能设置单元9可以将PC24-27中的每一个屏幕图像设置为非活动目标图像的显示图像或非显示。功能设置单元9可以设置手势的检测条件(例如,手的条件)。用户20可以通过操作操作单元14改变由功能设置单元9设置的设置值。
这样,可以将功能设置单元9用作上限设置单元来设置在多分段的屏幕图像中可显示的作为活动目标图像的屏幕图像的上限数量。功能设置单元9可以用作可重写单元,所述可重写单元可以重写在手势数据库4中存储的用户20的手移动的类型和在被指定作为特定操作目标图像的屏幕图像的特定操作内容。此外,在扩展的功能单元1中可以包括诸如已知功能之类的其他功能。
现在参照图7描述图像显示装置10的模式切换。图7示出了图3和图4中所示的图像显示装置中的模式切换。图像显示装置10可以具有两个模式,例如常规投影模式70和多分段的屏幕操作模式71。在这样的模式转换或切换中,用户20可以操作操作单元14来选择常规投影模式70或多分段的屏幕操作模式71,随后功能模式管理单元2(图6)控制常规投影模式70和多分段的屏幕操作模式71之间的模式转换或切换。
在常规投影模式中70中,图像显示装置10(10a)(在下文中,图像显示装置10)仅提供常规投影功能。在多分段的屏幕操作模式71中,图像显示装置10根据示例性实施例提供投影多分段的屏幕图像的功能。
当电源按钮15被设置为打开时,开始为图像显示装置10供应电能,并且将图像显示装置10设置为常规投影模式70。当在常规投影模式71期间(图7中的步骤S1)从操作单元14输入到多分段的屏幕操作模式71的模式转换或切换操作时,功能模式管理单元2(图6)将图像显示装置10转换或切换到多分段的屏幕操作模式71。
此外,当在多分段的屏幕操作模式71期间(图7中的步骤S2)从操作单元14输入到常规投影模式70的模式转换或切换操作时,功能模式管理单元2(图6)将图像显示装置10转换或切换到常规投影模式70。此外,当在多分段的屏幕操作模式71期间(图7中的步骤S3)在给定的时间段内没有检测到手势时,功能模式管理单元2(图6)将图像显示装置10转换或切换到常规投影模式70。
在常规投影模式70期间,可以经由诸如无线LAN之类的网络从PC24-27中的任何一个PC访问图像显示装置10。与之形成对比的是,在多分段的屏幕操作模式71期间,可以从诸如具有通过手势操作指定的屏幕图像的PC之类的PC24-27中的仅一个指定的PC访问图像显示装置10。具体而言,当图像显示装置10的图像捕获设备12捕获将与一个PC对应的屏幕图像指定为活动PC(例如PC24)的手势操作时,可以仅从活动PC(例如PC24)向图像显示装置10发送图像数据,并且图像显示装置10并不从具有非活动图像的其他PC(例如PC25-27)接收中断请求。
此外,当模式被转换或切换时,可以将图像显示装置10的模式状态(即常规投影模式70、多分段的屏幕操作模式71)报告给用户20。例如,当在常规投影模式70和多分段的屏幕操作模式71之间切换或转换模式时,功能模式管理单元2将控制灯单元13的灯打开/关闭的指令发送到电源控制单元36(图3)或第一电源控制单元55(图4)。
例如在常规投影模式70期间可以使用黄颜色的光将灯单元13设置为灯打开,并且在多分段的屏幕操作模式71期间可以使用红颜色的光将灯单元13设置为灯打开。此外,在常规投影模式70期间可以使得灯单元13保持为灯打开,而在多分段的屏幕操作模式71期间可以将灯单元13设置为灯闪烁。利用这样的配置,用户20能够容易地识别向图像显示装置10设置哪个模式(即常规投影模式70、多分段的屏幕操作模式71),由此增强用户友好的操作。
如上所述,当在多分段的屏幕操作模式71期间进行他的演示/陈述时,即使用户21到23从对应的PC25到27发出操作中断请求,图像显示装置10也不会接收这样的请求。因此,当用户20进行他的演示时,在演示期间可以阻止来自其他用户的中断请求,由此用户20可以进行他的演示而不考虑例如其他PC或用户的中断。
此外,如果手势识别单元3在多分段的屏幕操作模式71期间在给定时间段内并未检测到用户20的手移动,则功能模式管理单元2将切换到节能模式的指令发送到电源控制单元36(图3)或第二电源控制单元59(图4)来减小图像显示装置10的电能消耗。基于从功能模式管理单元2接收到的这样的用于切换到节能模式的指令,电源控制单元36(图3)或第二电源控制单元59(图4)停止对诸如图像显示装置10的主要部分之类的给定部分的电源供应,并切换到节能模式。
此外,当将模式转换或切换到普通投影模式时,功能模式管理单元2将图像输入单元33的电能供应停止的指令发送到电源控制单元36(图3)或第二电源控制单元59(图4)。基于从功能模式管理单元2接收到的这样的电能供应停止的指令,电源控制单元36(图3)或第二电源控制单元59(图4)停止对图像显示装置10的图像输入单元33的电能供应。利用这样的配置,减小图像显示装置10的不必要的电能消耗。
下面描述多分段的屏幕图像的投影。例如,当用户20通过将图像显示装置10切换到多分段的屏幕操作模式71来开始会议时,图像显示装置10在屏幕28上投影通过合成PC24-27中的每一个屏幕图像生成的多分段的屏幕图像作为多分段的屏幕操作模式71的第一处理。
下面参照图8描述多分段的屏幕图像的投影处理,该图8示出了当图像显示装置10将通过合成PC24-27中的每个屏幕图像生成的多分段的屏幕图像投影到屏幕28上时在图像显示装置10和PC24-27之间的通信过程的时序图。
作为开始这样的时序过程的初始条件,将图像显示装置10切换到多分段的屏幕操作模式。此外,已经为由用户20到23使用的PC24-27和图像显示装置10设置了通信地址,由此PC24-27中的每一个PC可以与图像显示装置10进行通信。
在图8的步骤S11处,PC24利用其自身的通信地址将显示请求发送到图像显示装置10。在步骤S12处,图像显示装置10将显示请求的确认(OK)响应发送到PC24。在步骤S13处,PC24将PC24的屏幕图像的图像数据发送到图像显示装置10。在步骤S14处,图像显示装置10仅将多分段的屏幕图像中的PC24的屏幕图像投影到屏幕28上。
此外,在步骤S15处,PC25利用其自身的通信地址将显示请求发送到图像显示装置10。在步骤S16处,图像显示装置10将显示请求的确认响应发送到PC25。在步骤S17处,PC25将PC25的屏幕图像的图像数据发送到图像显示装置10。在步骤S18处,图像显示装置10通过在多分段的屏幕图像中增加PC25的屏幕图像,将多分段的屏幕图像中的PC24的屏幕图像和PC25的屏幕图像投影到屏幕28上。
此外,在步骤S19处,PC26利用其自身的通信地址将显示请求发送到图像显示装置10。在步骤S20处,图像显示装置10将显示请求的确认响应发送到PC26。在步骤S21处,PC26将PC26的屏幕图像的图像数据发送到图像显示装置10。在步骤S22处,图像显示装置10通过增加多分段的屏幕图像中的PC26的屏幕,将多分段的屏幕图像中的PC26的屏幕图像和PC24和PC25的屏幕图像投影到屏幕28上。
此外,在步骤S23处,PC27利用其自身的通信地址将显示请求发送到图像显示装置10。在步骤S24处,图像显示装置10将显示请求的确认响应发送到PC27。在步骤S25处,PC27将PC27的屏幕图像的图像数据发送到图像显示装置10。在步骤S26处,图像显示装置10通过增加多分段的屏幕图像中的PC27的屏幕,将多分段的屏幕图像中的PC27的屏幕图像和PC24到26的屏幕图像投影到屏幕28上。利用这样的处理,图像显示装置10将包括PC24-27中的每一个屏幕图像的多分段的屏幕图像投影到屏幕28上。
在这样的配置中,用户20可以操作图像显示装置10的操作单元14,以切换或转换到多分段的屏幕操作模式,由此将图像显示装置10切换到多分段的屏幕操作模式,并且随后会议开始。如果在无法显示屏幕图像和通信过程的上述时序的期间内通信条件并不很好,则PC24-27可以再次发出显示请求。
图像显示装置10和PC24-27之间的通信协议可以使用任何协议,例如网络服务的简单对象访问协议(SOAP)和表述性状态转移(REST),但并不限于此。
此外,图像显示装置10在大多数时间并不针对来自PC24-27的请求发送失败(NG)响应,但是如果显示请求的数量超过在多分段的屏幕图像中同时可显示的屏幕图像的上限数量,则图像显示装置10可以发送失败(NG)响应。
如下可以限制多分段的屏幕图像中可显示的屏幕图像的上限数量。例如,用户20可以使用操作单元14输入可显示的屏幕图像的上限数量。随后,基于可显示的屏幕图像的输入上限数量,功能设置单元9(图6)设置可指定为多分段的屏幕图像中的活动目标图像的可显示的屏幕图像的上限数量,并且当显示请求的数量超过可显示的屏幕图像的上限数量时,指示通信单元8并不接收显示请求。在接收到这样的指令时,通信单元8限制从外部装置发送的屏幕图像的显示请求。此外,通过设置当前显示的屏幕图像之一的非显示条件,可以在多分段的屏幕图像中增加和显示新的屏幕图像。
参考图9,下面描述当用户20在会议期间使用他的手势来操作多分段的屏幕图像中的屏幕图像时在图像显示装置10和PC24-25之间的通信过程。图9示出了当用户20操作由图像显示装置10投影的多分段的屏幕图像中的屏幕图像时在图像显示装置10和PC24-25之间的通信过程的时序图。作为开始这样的时序过程的初始条件,将图像显示装置10切换到多分段的屏幕操作模式。
此外,在图像显示装置10和PC24到PC27之间建立通信以发送信息,但图像显示装置10并不从PC25到27接收中断请求。此外,屏幕28(图1)上的多分段的屏幕图像中的PC24的屏幕图像处于活动状态,PC25的屏幕图像处于非活动状态。此外,PC26和PC27的屏幕图像处于非活动状态。在图9中的步骤S31中,由于PC24处于活动状态,因此将图像数据从PC24持续发送到图像显示装置10。
当图像显示装置10检测到用户20相对于屏幕28上的多分段的屏幕图像的手移动时,在步骤S32处,基于检测结果,图像显示装置10将在屏幕28上设置PC25的屏幕图像的手势识别为活动状态。
在步骤S33处,图像显示装置10将活动请求发送到PC25。利用这样的活动请求,图像显示装置10请求PC25将PC25的当前屏幕图像的图像数据发送到图像显示装置10。在步骤S34处,PC25将屏幕图像的图像数据发送到图像显示装置10。随后,图像显示装置10基于从PC25发送的屏幕图像的图像数据,更新在多分段的屏幕图像中投影的PC25的屏幕图像。
如果PC25对活动请求发出失败(NG)响应,则PC25将失败响应发送到图像显示装置10。在这种情况下,并不更新多分段的屏幕图像中的PC25的屏幕图像的内容。
在步骤S35处,由于PC25处于活动状态,因此将屏幕图像的图像数据从PC25连续发送到图像显示装置10。这样,当图像显示装置10接收到确认响应时,将屏幕28上的多分段的屏幕图像中的PC25的屏幕图像设置为活动状态,并且投影所接收到的PC25的最新屏幕图像的图像数据。此外,由于PC24仍处于活动状态,因此无法连续地更新PC24的屏幕图像的内容。
利用这样的配置,可以顺序地更新屏幕28上的多分段的屏幕图像中的PC24和25的屏幕图像的显示内容,从而用户20能够基于多分段的屏幕图像中的PC24和25的屏幕图像的内容,继续会议的演示/陈述。此外,由于图像显示装置10仅为多个PC24-27中需要通信的PC设置活动状态,因此可以防止图像显示装置10和PC24-27之间的不必要增加的通信数据尺寸,由此可以减小图像显示装置10中的数据通信的处理负荷。
此外,当图像显示装置10检测到用户20相对于屏幕28上的多分段的屏幕图像的新的手移动时,执行步骤S36和S37。在步骤S36处,基于检测结果,图像显示装置10可以识别在屏幕28上移动多分段的屏幕图像中的PC25的屏幕图像的手势,并且识别这样的移动的移动方向和移动量。
在步骤S37处,图像显示装置10按照识别出的移动方向和移动量,移动多分段的屏幕图像中的PC25的屏幕图像,并且随后合成多分段的屏幕图像中的PC25的屏幕图像,并且对多分段的屏幕图像进行投影。尽管描述了屏幕图像移动,但可以对多分段的屏幕图像中的屏幕图像执行各种操作。例如,可以增大或减小屏幕图像的尺寸。
下面参照图6、图10、图11和图12描述当操作多分段的屏幕图像中的屏幕图像时由图像显示装置10执行的处理。
图10示出了当操作多分段的屏幕图像中的屏幕图像时由图像显示装置10执行的处理的流程图。图11示出了在手势数据库4中存储的手势/操作表格的示例。图12示出了由显示图像信息管理单元6管理的多分段的屏幕图像的显示屏幕图像信息的示例。
如图11中所示,手势/操作表格存储每种类型的手势和对应的特定操作内容。此外,图12中所示的显示屏幕图像信息包括多分段的屏幕图像中的屏幕图像位置以及指示诸如与图像显示装置10连接的诸如PC24到27中的每一个终端装置的活动或非活动的标记。此外,显示屏幕图像信息包括指示多分段的屏幕图像中的每个屏幕图像的层的信息和每个终端装置的互联网协议(IP)地址。
当图像显示装置10使用多分段的屏幕操作模式71在屏幕28上投影多分段的屏幕图像时,在图10的步骤S41处,可以捕获诸如用户20(例如发言者)之类的操作者的手移动的图像和屏幕28上的多分段的屏幕图像,并且继续到步骤S42。由图像输入单元33执行步骤S41处的处理。具体而言,图像输入单元33的图像捕获设备12捕获屏幕28上的多分段的屏幕图像和用户20的手移动的图像,并且将捕获的图像数据输出到手势识别单元3。
在步骤S42处,确定是否检测到操作者的手移动。如果确定检测到手移动(步骤S42:是),则继续到步骤S43,并且如果确定并未检测到手移动(步骤S42:否),则返回到步骤S41。由手势识别单元3来执行步骤S42处的处理。手势识别单元3基于来自图像输入单元33的图像数据输入来检测手移动。例如,手势识别单元3基于从诸如红外图像的不可见光图像和可见光图像获取的基于差异的图像来检测手移动。
在步骤S43处,确定是否将屏幕图像指定为活动目标图像。如果确定将屏幕图像指定作为活动目标图像(步骤S43:是),则继续到步骤S44,并且如果确定并未将屏幕图像指定作为活动目标图像(步骤S43:否),则继续到步骤S46。由手势识别单元3来执行步骤S43处的处理。具体而言,手势识别单元3参考在手势数据库4中存储的手势/操作表格来搜索与检测到的手移动相对应的特定操作内容,并识别所检测到的手移动是否将屏幕图像设置为活动目标。
例如,手势识别单元3根据用户20的诸如右手和/或左手的移动之类的手移动检测手势。此外,手势识别单元3可以被配置为仅检测用户20的手的给定部分的移动。此外,手势识别单元3可以被配置为仅检测诸如用作移动屏幕图像的指针的用户20的食指之类的一个手指的移动。可以使用已知的方法来执行这样的检测,并且从而省略解释。利用这样的配置,可以防止检测到用户非有意的手势,并且能够增强用户友好的操作。
此外,上述检测到的手移动可以是手指针对目标屏幕图像的转动。例如,当指向目标屏幕的手指以顺时针方向转动同时保持屏幕图像的拖拽时,可以基于与图11中的手势/操作表格中所示的这样的手指移动相对应的特定操作内容,将这样的手指移动可以识别作为将屏幕图像指定为活动目标图像的移动。这样,在步骤S44处,当手势识别单元3识别出被指定作为在屏幕28上显示的多分段的屏幕图像中的活动目标图像的屏幕图像时,继续到步骤S45。由手势识别单元3来执行步骤S44处的处理。
在通过上述检测到的手移动识别出被设置成活动状态的屏幕图像时,手势识别单元3参照显示图像信息管理单元6中的显示屏幕图像信息,来识别通过上述检测到的手移动所指定的屏幕图像。例如,通过参考显示屏幕图像信息(图12),手势识别单元3搜索显示屏幕图像信息,来确定与相对于屏幕28的上述检测到的手移动的位置相对应的那些屏幕图像位置。
例如,如果上述检测到的手移动的位置对应于PC25的屏幕图像位置(X=0,Y=50,W=150,H=200),将处于活动列中的PC25的标记改变为“打开(ON)”以指示活动状态,并且随后识别出上述检测到的手移动指定PC25的屏幕图像,并且将识别结果输出给通信单元8。
在步骤S45处,将图像数据传输的请求发送到与被指定为在屏幕28上显示的多分段的屏幕图像中的活动目标图像的屏幕图像相对应的PC,并且控制并不从与被指定作为活动目标图像的屏幕图像不相对应的PC接收中断请求,并且随后返回到步骤S41。利用这样的处理,可以仅将在屏幕28上显示的多分段的屏幕图像中的PC24和PC25的屏幕图像设置为活动状态。
由通信单元8基于手势识别单元3的识别结果执行步骤S45处的处理。在从手势识别单元3接收到PC25的屏幕图像被指定作为活动目标图像的识别结果时,通信单元8参考在显示图像信息管理单元6中的显示屏幕图像信息(图12),并获取PC25的IP地址。例如,从显示屏幕图像信息(图12)读出为PC25设置的“yyy.yyy.yyy.yyy”的IP地址。基于所读取的IP地址,通信单元8请求PC25发送PC25的屏幕图像的图像数据。
此外,由于在显示图像信息管理单元6中存储的显示屏幕图像信息中将PC26和27的活动列的标记设置为“关闭(OFF)”,因此通信单元8控制并不从与非活动目标图像的屏幕图像相对应的PC26和27接收中断请求。
当扩展的功能单元1(图6)请求到PC25的图像数据传输并且从PC25接收到PC25无法发送图像数据的失败(NG)响应时,可以在显示图像信息管理单元6中写入显示屏幕图像信息,其中多分段的屏幕图像中的PC25的屏幕图像的显示样式可以被改变到在非活动状态下所显示的图像,或者不显示PC25的屏幕图像(非显示状态)。这样,当从与在多分段的屏幕图像中显示的屏幕图像对应的PC接收到失败响应时,用户可以在非活动的状态下的图像显示(在非活动状态下显示PC的屏幕图像)或非显示(并不显示PC的屏幕图像)之间改变设置。因此,并不需要诸如手动操作之类的操作将PC的屏幕图像设置为非显示,由此增强了用户的便捷性或用户的友好性。
此外,可以设置能够被设置在多分段的屏幕图像中的活动状态下的屏幕图像的上限数量。具体而言,在从操作单元14接收到由用户20输入的屏幕图像的上限数量时,功能设置单元9监视在显示图像信息管理单元6中存储的显示屏幕图像信息的活动列中被设置为“打开”(即活动)的标记的数量。具体而言,如果手势识别单元3为数量超过屏幕图像的上限数量的PC设置标记“打开”,则功能设置单元9将“打开”标记的数量限制到屏幕图像的上限数量的范围内。
此外,如果同时被设置为活动状态的屏幕图像的数量超过可显示的屏幕图像的上限数量,则可以将当前活动的屏幕图像之一自动设置为非活动目标图像,其中可以将与其他屏幕图像相比首先变为活动状态的屏幕图像自动设置为非活动目标图像,由此可以调整同时被设置为活动状态的屏幕图像的数量。利用这样的配置,可以由用户20根据其意愿调整图像显示装置10和多个PC24-27之间的通信数据大小。
此外,在上述的处理中,当将PC25的屏幕图像设置为活动状态时,可以将PC24的屏幕图像设置为非活动状态。在这样的情况下,由于当图像显示装置10与PC25进行通信时PC25的屏幕图像处于活动状态,因此将PC25的屏幕图像的图像数据发送到图像显示装置10。随后,当PC24的屏幕图像被设置为非活动状态时,停止从PC24到图像显示装置10的通信,并且将其切换到仅从PC25到图像显示装置10的通信。
随后,在图10中的步骤S46处,确定是否将屏幕图像指定为特定的操作目标图像。如果确定将屏幕图像指定为特定的操作目标图像(S46:是),则继续到步骤S47;并且如果确定并未将屏幕图像指定为特定的操作目标图像(S46:否),则返回到步骤S41。由手势识别单元3执行步骤S46处的处理。具体而言,手势识别单元3识别被指定为多分段的屏幕图像中的特定操作目标图像的屏幕图像,并通过基于上述检测到的手移动参照手势数据库4中的手势/操作表格,来识别用户20的手移动的类型。
例如,上述检测到的手移动可以是食指朝向目标屏幕图像的向上方向的移动,同时一秒或更长时间地利用屏幕图像的拖拽条件由食指指点目标屏幕图像。在这样的情况下,通过参照手势/操作表格(图11),基于与这样的移动相对应的特定操作内容将这样的移动识别为按照向上方向移动屏幕图像。
在步骤S47处,针对被指定为在屏幕28上显示的多分段的屏幕图像中的特定操作目标图像的屏幕图像执行指定的特定操作内容。由控制信号生成单元5和显示图像信息管理单元6执行步骤S47处的处理。
手势识别单元3识别用户20的手移动的类型。用户20的手移动的类型可以对应于在手势数据库4中存储的特定操作内容。基于为指定的屏幕图像设置的特定操作内容,控制信号生成单元5生成控制信号来执行指定的屏幕图像的特定操作内容,并且将控制信号发送到显示图像信息管理单元6。
在从控制信号生成单元5接收到控制信号时,显示图像信息管理单元6重写显示屏幕图像信息,并且将重写的显示屏幕图像信息发送到图像合成单元7。此外,基于重写的显示屏幕图像信息,图像合成单元7更新多分段的屏幕图像的显示内容。
例如,如果执行按照向上方向移动多分段的屏幕图像中的PC25的屏幕图像的动作,将PC25的屏幕图像移动到多分段的屏幕图像中的用户20的手移动的末端位置。
此外,例如如果用户20针对目标屏幕图像将他的手掌从“石头(rock)”改变到“布(paper)”,则可以根据手的打开尺寸在多分段的屏幕图像中增大PC25的屏幕图像的尺寸,并且可以继续PC25的屏幕图像的增大,直到手移动停止为止。
可以在没有与PC25的信息通信的情况下执行这样的上/下/左/右的移动(包括上/下/左/右方向的非常小的调整移动)和诸如多分段的屏幕图像中的屏幕图像的放大和减小操作之类的尺寸调整操作,这样的操作不同于为屏幕图像设置活动状态的操作,并且在这样的移动之后可以合成图像。因此,图像显示装置10在这样的情形中并不需要与PC25的信息通信,由此可以减小数据通信的处理负荷。
下面参照图13和14描述与多分段的屏幕图像中的屏幕图像的用户20的手移动的类型相对应的特定操作内容的图像显示处理。
在上述的处理中,可以在屏幕28上显示(例如投影)与由手势识别单元3识别的用户20的手移动的类型相对应的图像。在这样的处理中,例如事先存储与在手势数据库4中的手势/操作表格中存储的每个特定的操作内容相对应的图像数据。此外,可以在第二存储单元32中存储图像数据。
此外,控制信号生成单元5可以将包括特定操作内容的信息和与特定操作内容相对应的图像数据的控制信号发送到显示图像信息管理单元6。基于这样的从控制信号生成单元5接收的控制信号,显示图像信息管理单元6将与特定操作内容对应的这样的图像数据的控制信号发送到图像合成单元7,从而在被指定为多分段的屏幕图像中的活动目标图像的屏幕图像上显示与这样的图像数据相对应的图像。利用这样的处理,可以使用图像输出单元34将与由手势识别单元3识别出的用户20的手移动的类型相匹配的图像投影在屏幕28上。
图13示出了屏幕28上的多分段的屏幕图像的示例,其中在屏幕28上显示与PC24-27的屏幕图像相对应的屏幕图像72到75。此外,在屏幕图像72中显示图像向上移动标记80。图像向上移动标记80是这样的图像,该图像指示用户20做手势按照向上方向移动屏幕图像72。这样,通过确认屏幕28上的图像向上移动标记80,用户20可以识别出他的手势由图像显示装置10正确地处理,由此用户20可以在会议期间进行演示/陈述,而不受是否相对于多分段的屏幕图像正确地处理了他的手势的困扰。
图14示出了为与用户20的手移动的类型相对应的特定操作内容制备的示例性图像。如图14中所示,图像向上移动标记80对应于特定操作内容以按向上方向移动活动目标屏幕图像;图像向下移动标记81对应于特定操作内容以按向下方向移动活动目标屏幕图像;图像向左移动标记82对应于特定操作内容以向左移动活动目标屏幕图像;并且图像向右移动标记83对应于特定操作内容以向右移动活动目标屏幕图像。此外,图像放大标记84对应于特定操作内容以放大活动目标屏幕图像的尺寸,并且图像减小标记85对应于特定操作内容以减小活动目标屏幕图像的尺寸。这样的标记80到85仅仅是示例性的图像,并且还可以使用其他的图像。此外,可以使用移动图像来显示特定操作内容。
此外,可以重写在手势数据库4中存储的手势/操作表格。例如,当用户20从操作单元14输入手势/操作表格的重写指令时,功能设置单元9使用从外部装置接收的手势/操作表格重写在手势数据库4中存储的手势/操作表格。例如,这样的外部装置可以是PC24到PC27。
此外,可以从网络上的服务器接收手势/操作表格。此外,还可以从外部连接到图像显示装置10的存储装置或装置接收手势/操作表格。利用这样的配置,可以自由地改变在手势/操作表格中存储的手势的类型和特定操作内容,由此可以设置用户的各种手势,并且可以增强用户的便捷性或用户的友好性。
在上述的图像显示装置10的示例性实施例中,可以从图像显示装置10自由地切换在图像显示装置10和多个PC24到27之间的通信的活动和非活动状态,由此可以减小图像显示装置10和多个PC24到27之间的不必要的通信。此外,上述的示例性实施例可以被应用于任何类型的图像显示装置,所述图像显示装置可以投影或显示图像(例如投影仪),但不限于此。
在上述的示例性实施例中,可以自由地从图像显示装置在活动和非活动之间切换图像显示装置和多个信息处理装置之间的通信状态。
可以任何便捷的形式(例如使用专用的硬件、或专用的硬件和软件的组合)实现本发明。本发明可以被实现为由一个或多个联网的处理装置实现的计算机软件。网络可以包括任何常规的有线或无线通信网络(例如互联网)。处理装置可以包括任何适当编程的装置,例如通用计算机、个人数字助理和移动电话(例如无线应用协议(WAP)或3G兼容的电话)等。由于本发明可以被实现为软件,因此本发明的每个和每一个方面包括可以在可编程设备上实现的计算机软件。
可以使用诸如软盘、密制盘只读存储器(CD-ROM)、数字多用途盘只读存储器(DVD-ROM)、DVD只记录/可重写(DVD-R/RW)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、例如USB存储器的存储卡或记忆棒、存储器芯片、迷你盘(MD)、磁光盘(MO)、磁带、服务器中的硬盘、固态存储器设备等(但不限于此)之类的用于存储处理器可读代码的任何存储介质或载体介质将计算机软件提供给可编程设备,但不限于此。
硬件平台包括任何期望种类的硬件资源,例如包括中央处理单元(CPU)、随机存取存储器(RAM)和硬盘驱动器(HDD)。可以通过任何期望种类的任何期望数量的处理器来实现CPU。可以通过任何期望种类的易失性或非易失性存储器来实现RAM。可以通过任何期望种类的能够存储大量数据的非易失性存储器来实现HDD。根据设备的类型,硬件资源还可以包括输入设备、输出设备或网络设备。或者,可以在装置之外提供HDD,只要可以访问HDD即可。在该示例中,CPU(例如CPU的高速缓存存储器)和RAM可以用作装置的物理存储器或主存储器,而HDD可以用作装置的辅助存储器。
在上述的示例性实施例中,可以利用计算机可读程序来使用计算机,通过诸如C++、Java(注册商标)、JavaScript(注册商标)、Perl、Ruby之类的面向对象的编程语言或诸如机器语言、汇编语言之类的传统的编程语言来描述所述计算机可读程序,以控制用于装置或***的功能单元。例如,特定的计算机(例如,个人计算机、工作站)可以使用能够执行上述的处理或步骤的计算机可读程序,控制信息处理装置或诸如图像形成装置之类的图像处理装置。在上述的实施例中,装置的至少一个或多个单元可以被实现在硬件中或被实现为硬件/软件组合的组合。在示例性实施例中,可以单独或组合地使用诸如编程的处理器、电路、专用集成电路(ASIC)之类的各种类型的处理器或电路等来配置处理单元、计算单元或控制器。
鉴于上述教示,许多额外的修改和变更是可能的。因此应当理解的是,在所附权利要求的范围内,可以除了在这里具体描述的方式之外的其他方式来实践本发明的公开。例如,可以在本公开和所附权利要求的范围内,彼此组合和/或彼此替换不同示例和所示的实施例的单元和/或特征。

Claims (19)

1.一种图像显示装置,包括:
通信单元,其使用处理设备与多个信息处理装置进行通信;
图像合成单元,其使用所述处理设备,基于通过所述通信单元从所述多个信息处理装置中的每一个接收的图像数据,合成多分段的屏幕图像数据,所述多分段的屏幕图像数据包括所述多个信息处理装置的屏幕图像;
投影单元,用于将由所述图像合成单元合成的所述多分段的屏幕图像数据作为多分段的屏幕图像投影到屏幕上;
功能模式管理单元,其使用所述处理设备控制在常规投影模式和多分段的屏幕操作模式之间的切换,其中当切换到所述常规投影模式时,所述功能模式管理单元从所述信息处理装置中的每一个接收中断请求;
图像捕获设备,用于当所述功能模式管理单元切换到所述多分段的屏幕操作模式时,捕获在所述屏幕上显示的所述多分段的屏幕图像和操作者的手相对于所述多分段的屏幕图像的移动的图像;
指定屏幕图像识别单元,其使用所述处理设备,基于由所述图像捕获设备捕获的所述多分段的屏幕图像和所述操作者的手的移动的图像来检测所述操作者的手相对于所述多分段的屏幕图像的移动,并基于所检测到的手的移动来识别所述多分段的屏幕图像中被指定为活动目标图像的屏幕图像;以及
信号控制单元,其使用所述处理设备将图像数据发送的请求发送到与由所述指定屏幕图像识别单元指定为所述活动目标图像的屏幕图像相对应的信息处理装置,并且不从与非活动目标图像的屏幕图像相对应的信息处理装置接收中断请求。
2.如权利要求1所述的图像显示装置,还包括上限设置单元,其使用所述处理设备设置所述多分段的屏幕图像中显示作为活动目标图像的屏幕图像的上限数量。
3.如权利要求1或2所述的图像显示装置,其中所述指定屏幕图像识别单元基于所检测到的手的移动,识别针对所述多分段的屏幕图像的被指定为特定操作目标图像的屏幕图像和所述操作者的手的移动的类型,
其中所述图像显示装置还包括存储单元,其使用所述处理设备与可应用在所述多分段的屏幕图像中显示的屏幕图像的特定操作内容相对应地存储所述操作者的手的移动的类型,
其中所述图像显示装置还包括屏幕图像处理控制单元,其使用所述处理设备执行如下处理:针对与由所述指定屏幕图像识别单元识别出并存储在所述存储单元中的所述操作者的手的移动的类型相对应的所述特定操作内容,处理为被指定为特定操作目标图像的屏幕图像。
4.如权利要求3所述的图像显示装置,还包括重写单元,用于重写在所述存储单元中存储的所述操作者的手的移动类型和特定操作内容。
5.如权利要求3或4所述的图像显示装置,其中所述投影单元投影与由所述指定屏幕图像识别单元识别出的所述操作者的手的移动类型相对应的图像。
6.如权利要求1至5中任一项所述的图像显示装置,还包括图像显示控制单元,其中当所述信号控制单元请求特定的信息处理装置发送图像数据并且所述特定的信息处理装置发送指示不可能发送所述图像数据的响应时,所述图像显示控制单元将与所述多分段的屏幕图像中的特定信息处理装置相对应的屏幕图像的显示样式改变为非活动目标图像或非显示。
7.如权利要求1至6中任一项所述的图像显示装置,其中当检测到所述操作者的手的移动时所述指定屏幕图像识别单元检测所述操作者的手的至少一部分的移动。
8.如权利要求1至7中任一项所述的图像显示装置,还包括通知单元,用于报告所述功能模式管理单元设置所述常规投影模式和所述多分段的屏幕操作模式中的哪一个。
9.如权利要求1至8中任一项所述的图像显示装置,还包括节能切换单元,其使用所述处理设备,在所述指定屏幕图像识别单元在给定的时间段内没有检测到所述操作者的手的移动时,切换到节能模式来减小电能消耗。
10.如权利要求1至9中任一项所述的图像显示装置,还包括电源供应停止单元,其使用所述处理设备,当所述功能模式管理单元切换到所述常规投影模式时,停止对所述图像捕获设备的电源供应。
11.一种用于图像显示装置的图像显示方法,所述图像显示方法包括如下步骤:
1)与多个信息处理装置进行通信;
2)基于通过通信单元从所述多个信息处理装置中的每一个接收的图像数据,合成多分段的屏幕图像数据,所述多分段的屏幕图像数据包括所述多个信息处理装置的屏幕图像;
3)将由图像合成单元合成的所述多分段的屏幕图像数据作为多分段的屏幕图像投影到屏幕上;
4)控制在常规投影模式和多分段的屏幕操作模式之间的切换,其中当切换到所述常规投影模式时,所述图像显示装置从所述信息处理装置中的每一个接收中断请求;
5)当功能模式管理单元切换到所述多分段的屏幕操作模式时,捕获在所述屏幕上显示的所述多分段的屏幕图像和操作者的手相对于所述多分段的屏幕图像的移动的图像;
6)基于通过捕获而捕获到的所述多分段的屏幕图像和所述操作者的手的移动的图像来检测所述操作者的手相对于所述多分段的屏幕图像的移动,并基于所检测到的手的移动来识别所述多分段的屏幕图像中被指定为活动目标图像的屏幕图像;以及
7)将图像数据发送的请求发送到与由指定屏幕图像识别单元指定为所述活动目标图像的屏幕图像相对应的信息处理装置,并且不从与非活动目标图像的屏幕图像相对应的信息处理装置接收中断请求。
12.如权利要求11所述的图像显示方法,还包括如下步骤:设置所述多分段的屏幕图像中显示为活动目标图像的屏幕图像的上限数量。
13.如权利要求11或12所述的图像显示方法,还包括如下步骤:基于所检测到的手的移动,识别针对所述多分段的屏幕图像的被指定为特定操作目标图像的屏幕图像和所述操作者的手的移动类型;
与可应用在所述多分段的屏幕图像中显示的屏幕图像的特定操作内容相对应地存储所述操作者的手的移动类型;
将与所识别出的所述操作者的手的移动类型相对应地存储的特定操作内容,处理为被指定为特定操作目标图像的屏幕图像。
14.如权利要求13所述的图像显示方法,还包括如下步骤:重写所存储的所述操作者的手的移动类型和特定操作内容。
15.如权利要求13或14所述的图像显示方法,还包括如下步骤:投影与所识别出的所述操作者的手的移动类型相对应的图像。
16.如权利要求11至15中任一项所述的图像显示方法,还包括如下步骤:
请求特定的信息处理装置发送图像数据;以及
当所述特定的信息处理装置发送指示不可能发送所述图像数据的响应作为请求发送所述图像数据的响应时,将与所述多分段的屏幕图像中的特定信息处理装置相对应的屏幕图像的显示样式改变为非活动目标图像或非显示。
17.如权利要求11至16中任一项所述的图像显示方法,还包括如下步骤:当检测到所述操作者的手的移动时检测所述操作者的手的至少一部分的移动。
18.如权利要求11至17中任一项所述的图像显示方法,还包括如下步骤:当在给定的时间段内没有检测到所述操作者的手的移动时,将所述图像显示装置切换到节能模式来减小电能消耗。
19.如权利要求11至18中任一项所述的图像显示方法,还包括如下步骤:当功能模式管理单元切换到所述常规投影模式时,停止对图像捕获设备的电源供应,所述图像捕获设备用于捕获在所述屏幕上显示的多分段的屏幕图像和所述操作者的手的移动的图像。
CN201310047235.1A 2012-02-09 2013-02-05 图像显示装置和图像显示方法 Active CN103248849B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012026157A JP5906779B2 (ja) 2012-02-09 2012-02-09 画像表示装置
JP2012-026157 2012-02-09

Publications (2)

Publication Number Publication Date
CN103248849A true CN103248849A (zh) 2013-08-14
CN103248849B CN103248849B (zh) 2016-03-30

Family

ID=48928041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310047235.1A Active CN103248849B (zh) 2012-02-09 2013-02-05 图像显示装置和图像显示方法

Country Status (3)

Country Link
US (1) US9035971B2 (zh)
JP (1) JP5906779B2 (zh)
CN (1) CN103248849B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103716537A (zh) * 2013-12-18 2014-04-09 宇龙计算机通信科技(深圳)有限公司 照片合成方法和终端
CN104461001A (zh) * 2014-12-02 2015-03-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN104539872A (zh) * 2014-12-03 2015-04-22 宁波Gqy视讯股份有限公司 会议终端
CN104683720A (zh) * 2013-11-28 2015-06-03 联想(北京)有限公司 一种电子设备及控制方法
CN105468139A (zh) * 2014-09-26 2016-04-06 精工爱普生株式会社 位置检测装置、投影仪以及位置检测方法
CN105592287A (zh) * 2015-12-29 2016-05-18 太仓美宅姬娱乐传媒有限公司 一种智能多媒体会议控制***
US9798355B2 (en) 2014-12-02 2017-10-24 Lenovo (Beijing) Co., Ltd. Projection method and electronic device
CN107770584A (zh) * 2017-11-01 2018-03-06 深圳市网旭科技有限公司 一种实时投射Android设备屏幕图像到其它平台的方法
CN107832763A (zh) * 2017-11-07 2018-03-23 青岛理工大学 图形图像处理方法和设备
CN108446088A (zh) * 2018-04-18 2018-08-24 广州视源电子科技股份有限公司 终端及投屏***
CN109710200A (zh) * 2017-10-25 2019-05-03 夏普株式会社 显示装置、记录介质以及控制方法
CN109889764A (zh) * 2019-03-20 2019-06-14 上海高屋信息科技有限公司 会议***
CN105468210B (zh) * 2014-09-26 2020-03-27 精工爱普生株式会社 位置检测装置、投影仪以及位置检测方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102220825B1 (ko) * 2013-09-05 2021-03-02 삼성전자주식회사 전자 장치와 전자 장치의 콘텐트 표시방법
JP6387641B2 (ja) * 2014-01-15 2018-09-12 セイコーエプソン株式会社 プロジェクター、表示装置、表示システムおよび表示装置の制御方法
US20170214862A1 (en) * 2014-08-07 2017-07-27 Hitachi Maxell, Ltd. Projection video display device and control method thereof
CN104571510B (zh) * 2014-12-30 2018-05-04 青岛歌尔声学科技有限公司 一种3d场景中输入手势的***和方法
US10482670B2 (en) 2014-12-30 2019-11-19 Qingdao Goertek Technology Co., Ltd. Method for reproducing object in 3D scene and virtual reality head-mounted device
US20160216778A1 (en) * 2015-01-27 2016-07-28 Industrial Technology Research Institute Interactive projector and operation method thereof for determining depth information of object
WO2016132480A1 (ja) * 2015-02-18 2016-08-25 日立マクセル株式会社 映像表示装置及び映像表示方法
JP2016184850A (ja) * 2015-03-26 2016-10-20 セイコーエプソン株式会社 プロジェクターおよび検出方法
US9858388B1 (en) * 2016-09-26 2018-01-02 International Business Machines Corporation Health monitoring using parallel cognitive processing
CN106527022A (zh) * 2016-12-02 2017-03-22 衍视电子科技(上海)有限公司 精准全息汽车投影显示***
JP6876144B2 (ja) * 2017-11-10 2021-05-26 シャープNecディスプレイソリューションズ株式会社 画像表示装置、画像送信装置、画像表示システム、接続情報管理方法、接続処理方法及びプログラム
JP7125085B2 (ja) * 2018-03-12 2022-08-24 Necプラットフォームズ株式会社 マルチディスプレイ制御システム、マルチディスプレイ制御方法及びマルチディスプレイ制御プログラム
KR102558106B1 (ko) * 2018-05-30 2023-07-21 엘지디스플레이 주식회사 디스플레이 패널, 디스플레이 장치 및 가상 현실/증강 현실 장치
CN109068313B (zh) * 2018-09-21 2021-08-17 中国联合网络通信集团有限公司 一种多模制式的网络切换方法与***
JP2020095344A (ja) * 2018-12-10 2020-06-18 セイコーエプソン株式会社 表示装置の制御方法および表示装置
CN109587557B (zh) * 2019-01-11 2022-03-08 京东方科技集团股份有限公司 数据传输方法及装置、显示装置
US11210932B2 (en) * 2019-05-21 2021-12-28 Apple Inc. Discovery of and connection to remote devices
CN110231866A (zh) * 2019-05-29 2019-09-13 中国第一汽车股份有限公司 车载屏幕控制方法、***、车辆及存储介质
US11450151B2 (en) * 2019-07-18 2022-09-20 Capital One Services, Llc Detecting attempts to defeat facial recognition
CN110658971B (zh) * 2019-08-26 2021-04-23 维沃移动通信有限公司 一种截屏方法及终端设备
CN111083459A (zh) * 2019-12-31 2020-04-28 深圳帝盟沃克科技有限责任公司 智能投影驱动方法
US20230282049A1 (en) * 2020-08-12 2023-09-07 Nec Corporation Store management apparatus, store management method, and non-transitory computer-readable storage medium
CN115220670A (zh) * 2021-04-16 2022-10-21 广州视源电子科技股份有限公司 投屏控制方法、存储介质及通信设备
US12003866B2 (en) * 2021-10-20 2024-06-04 Samsung Electronics Co., Ltd. Method for providing image and electronic device supporting the same
CN114489406B (zh) * 2022-01-30 2023-03-10 广州宏途数字科技有限公司 用于教学服务的信息录入方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092365A (ja) * 2004-09-24 2006-04-06 Seiko Epson Corp 画像表示装置、予約管理サーバ、および会議システム
JP2009180943A (ja) * 2008-01-31 2009-08-13 Sharp Corp プロジェクタ装置及びプロジェクタ装置における映像画面切替方法
CN101943947A (zh) * 2010-09-27 2011-01-12 鸿富锦精密工业(深圳)有限公司 交互显示***
CN101980143A (zh) * 2010-10-26 2011-02-23 南开大学 单台物理投影仪上同时显示多个计算机桌面的方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3617371B2 (ja) * 1999-05-07 2005-02-02 セイコーエプソン株式会社 プロジェクタおよび情報記憶媒体
JP2001306049A (ja) * 2000-04-21 2001-11-02 Sony Corp 情報処理装置、動作認識過程表示方法及びプログラム格納媒体
JP2003099173A (ja) * 2001-09-21 2003-04-04 Canon Inc 表示画面制御装置
JP2003330436A (ja) * 2002-05-13 2003-11-19 Hitachi Ltd ワイヤレス伝送システム及びワイヤレス受信装置
JP2004148521A (ja) * 2002-10-28 2004-05-27 Toshiba Mach Co Ltd 射出成形機の表示装置
JP2004240825A (ja) * 2003-02-07 2004-08-26 Toshiba Corp 情報処理装置および画像データ送信制御方法
JP2004349915A (ja) * 2003-05-21 2004-12-09 Matsushita Electric Ind Co Ltd リモートコントロール装置
JP2005047331A (ja) * 2003-07-31 2005-02-24 Nissan Motor Co Ltd 制御装置
US8046701B2 (en) * 2003-08-07 2011-10-25 Fuji Xerox Co., Ltd. Peer to peer gesture based modular presentation system
JP2005141151A (ja) * 2003-11-10 2005-06-02 Seiko Epson Corp プロジェクタおよびプロジェクタの機能設定方法
US7551175B2 (en) * 2004-03-10 2009-06-23 Panasonic Corporation Image transmission system and image transmission method
JP4843206B2 (ja) 2004-09-15 2011-12-21 株式会社リコー スクロール表示システム、スクロール表示装置、並びにスクロール表示方法
JP3856454B2 (ja) * 2004-10-25 2006-12-13 株式会社東芝 情報入力装置および情報入力方法および記録媒体
KR101200300B1 (ko) * 2006-10-25 2012-11-12 삼성전자주식회사 브로드캐스팅 기능을 구비한 프리젠테이션 장치 및 그 방법
JP5254906B2 (ja) * 2009-08-27 2013-08-07 京セラ株式会社 電子機器
JP4719296B1 (ja) * 2009-12-25 2011-07-06 株式会社東芝 情報処理装置及び情報処理方法
JP5604921B2 (ja) * 2010-03-19 2014-10-15 セイコーエプソン株式会社 画像表示システム、画像表示方法、画像表示装置
TW201142465A (en) * 2010-05-17 2011-12-01 Hon Hai Prec Ind Co Ltd Front projection device and front projection controlling method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092365A (ja) * 2004-09-24 2006-04-06 Seiko Epson Corp 画像表示装置、予約管理サーバ、および会議システム
JP2009180943A (ja) * 2008-01-31 2009-08-13 Sharp Corp プロジェクタ装置及びプロジェクタ装置における映像画面切替方法
CN101943947A (zh) * 2010-09-27 2011-01-12 鸿富锦精密工业(深圳)有限公司 交互显示***
CN101980143A (zh) * 2010-10-26 2011-02-23 南开大学 单台物理投影仪上同时显示多个计算机桌面的方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104683720A (zh) * 2013-11-28 2015-06-03 联想(北京)有限公司 一种电子设备及控制方法
CN104683720B (zh) * 2013-11-28 2019-12-03 联想(北京)有限公司 一种电子设备及控制方法
CN103716537A (zh) * 2013-12-18 2014-04-09 宇龙计算机通信科技(深圳)有限公司 照片合成方法和终端
CN103716537B (zh) * 2013-12-18 2017-03-15 宇龙计算机通信科技(深圳)有限公司 照片合成方法和终端
CN105468139B (zh) * 2014-09-26 2020-07-10 精工爱普生株式会社 位置检测装置、投影仪以及位置检测方法
CN105468210B (zh) * 2014-09-26 2020-03-27 精工爱普生株式会社 位置检测装置、投影仪以及位置检测方法
CN105468139A (zh) * 2014-09-26 2016-04-06 精工爱普生株式会社 位置检测装置、投影仪以及位置检测方法
CN104461001B (zh) * 2014-12-02 2018-02-27 联想(北京)有限公司 一种信息处理方法及电子设备
US9798355B2 (en) 2014-12-02 2017-10-24 Lenovo (Beijing) Co., Ltd. Projection method and electronic device
CN104461001A (zh) * 2014-12-02 2015-03-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN104539872A (zh) * 2014-12-03 2015-04-22 宁波Gqy视讯股份有限公司 会议终端
CN105592287A (zh) * 2015-12-29 2016-05-18 太仓美宅姬娱乐传媒有限公司 一种智能多媒体会议控制***
CN109710200A (zh) * 2017-10-25 2019-05-03 夏普株式会社 显示装置、记录介质以及控制方法
CN107770584A (zh) * 2017-11-01 2018-03-06 深圳市网旭科技有限公司 一种实时投射Android设备屏幕图像到其它平台的方法
CN107832763A (zh) * 2017-11-07 2018-03-23 青岛理工大学 图形图像处理方法和设备
CN108446088A (zh) * 2018-04-18 2018-08-24 广州视源电子科技股份有限公司 终端及投屏***
CN109889764A (zh) * 2019-03-20 2019-06-14 上海高屋信息科技有限公司 会议***

Also Published As

Publication number Publication date
US9035971B2 (en) 2015-05-19
CN103248849B (zh) 2016-03-30
JP2013164658A (ja) 2013-08-22
US20130207998A1 (en) 2013-08-15
JP5906779B2 (ja) 2016-04-20

Similar Documents

Publication Publication Date Title
CN103248849B (zh) 图像显示装置和图像显示方法
RU2638780C2 (ru) Способ и устройство для подключения прибора к сети
US10270614B2 (en) Method and device for controlling timed task
WO2022083296A1 (zh) 一种显示方法及电子设备
JP2012105131A (ja) サーバ装置、表示操作端末、および遠隔操作システム
CN112399232A (zh) 一种显示设备、摄像头优先级使用的控制方法及装置
CN112073955B (zh) 显示设备及蓝牙设备扫描方法
CN112073761B (zh) 蓝牙功能的实现方法及装置、双硬件***显示设备
CN113287332A (zh) 显示设备及扫描外部蓝牙设备的方法
JP2010226483A (ja) リモートコントローラーおよび遠隔制御システム
US11635933B2 (en) Cross-device information display method and device, and storage medium
CN104714769B (zh) 一种数据处理的方法及电子设备
CN108629726A (zh) 信息处理装置、图像显示方法、显示***以及记录介质
CN112073768B (zh) 蓝牙通信方法及显示设备
JP2017191144A (ja) 表示制御装置、その制御方法およびプログラム
CN112363683B (zh) 一种网页应用支持多图层显示的方法及显示设备
CN112799557B (zh) 一种水墨屏显示控制方法、终端及计算机可读存储介质
JP2020013196A (ja) 画像投影装置、画像投影装置の制御方法、プログラム
CN112073954B (zh) 显示设备及扫描外部蓝牙设备的方法
CN112788375B (zh) 显示设备、显示方法及计算设备
CN112073952B (zh) 外部蓝牙设备分类展示方法及装置、双硬件***显示设备
CN114286320A (zh) 一种显示设备、移动终端及蓝牙连接方法
CN112449245A (zh) 双***显示设备应用升级进度显示方法及显示设备
CN112073773A (zh) 一种屏幕互动方法、装置及显示设备
CN114500979B (zh) 显示设备、控制设备以及同步校准方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant