CN107533416B - 显示装置、显示控制方法、计算机可读记录介质和显示*** - Google Patents

显示装置、显示控制方法、计算机可读记录介质和显示*** Download PDF

Info

Publication number
CN107533416B
CN107533416B CN201680016680.3A CN201680016680A CN107533416B CN 107533416 B CN107533416 B CN 107533416B CN 201680016680 A CN201680016680 A CN 201680016680A CN 107533416 B CN107533416 B CN 107533416B
Authority
CN
China
Prior art keywords
image
user
display
attribute
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680016680.3A
Other languages
English (en)
Other versions
CN107533416A (zh
Inventor
舟波笃司
岸宣之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN107533416A publication Critical patent/CN107533416A/zh
Application granted granted Critical
Publication of CN107533416B publication Critical patent/CN107533416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A63F2300/6018—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content where the game content is authored by the player, e.g. level editor or by game device at runtime, e.g. level is created from music data on CD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种显示装置包括图像获取单元、图像提取单元、登记单元、显示控制单元、坐标生成单元和运动检测单元。图像获取单元被配置为获取包括由用户绘制的绘制区域的图像。图像提取单元被配置为从获取的图像中提取作为在绘制区域中的图像的第一图像。登记单元被配置为登记针对提取的第一图像设置的且用于控制在屏幕上移动第一图像的指示属性的属性信息。显示控制单元被配置为控制屏幕上的显示。坐标生成单元被配置为基于被配置为检测三维空间中的对象的位置的检测单元的检测结果，生成对象在屏幕中的坐标。运动检测单元被配置为基于坐标来检测对象的运动。在显示装置中，显示控制单元被配置为当运动检测单元检测到运动时，基于与检测到的运动对应的坐标，在屏幕上进一步显示第二图像，以及改变设置了在屏幕上显示的第一图像的属性中的特定属性的属性信息的第一图像的显示。

Description

显示装置、显示控制方法、计算机可读记录介质和显示***
技术领域
实施例涉及显示装置、显示控制方法、显示控制程序和显示***。
背景技术
近来对计算机设备的性能改进使得能够使用三维坐标的计算机图形(以下简称为“3DCG”)容易地显示图像。在3DCG中，通常的做法是对于布置在三维坐标空间中的每个对象设置规则的或随机的运动，使得对象被显示为运动图像。在运动图像中，对象可以被示出为它们在三维坐标空间中独立运动。
日本专利号4161325公开了通过3DCG对由动画制作者对图像进行手写而创建的图像给予运动并将该图像与预先准备显示的背景图像合成的技术。
已经追求了使得能够容易地通过3DCG在屏幕中显示由普通用户通过手写而创建的用户图像的技术。在通过3DCG在屏幕中显示用户图像的情况下，优选的是，三维空间中的诸如用户身体的对象的运动被反映到屏幕中显示的用户图像的操作中，因为娱乐水平进一步提高。然而，通常，难以将用户的身体的运动反映到屏幕中显示的用户图像的操作。
鉴于上述问题而提出本发明，其目的在于使三维空间中的对象的运动能够反映到屏幕中显示的用户图像的操作。
发明内容根据实施例，一种显示装置包括图像获取单元、图像提取单元、登记单元、显示控制单元、坐标生成单元和运动检测单元。图像获取单元被配置为获取包括由用户绘制的绘制区域的图像。图像提取单元被配置为从获取的图像中提取作为在绘制区域中的图像的第一图像。登记单元被配置为登记针对提取的第一图像设置的且用于控制在屏幕上移动第一图像的指示属性的属性信息。显示控制单元被配置为控制屏幕上的显示。坐标生成单元被配置为基于被配置为检测三维空间中的对象的位置的检测单元的检测结果，生成对象在屏幕中的坐标。运动检测单元被配置为基于坐标来检测对象的运动。而且显示控制单元被配置为当运动检测单元检测到运动时，基于与检测到的运动对应的坐标，在屏幕上进一步显示第二图像，以及改变设置了在屏幕上显示的第一图像的属性中的特定属性的属性信息的第一图像的显示。
本发明表现出有利的效果是，三维空间中的对象的运动可以被反映到屏幕中显示的用户图像的操作。
附图说明
图1是示出根据第一实施例的显示***的示例的配置的图；
图2是示出可应用于第一实施例的纸张的示例的图；
图3是示出根据第一实施例的介质的显示示例的图；
图4是示出在图像获取设备上设置的纸张的示例的图；
图5是示出投影在根据第一实施例的投影介质上的图像的示例的图；
图6是示出根据第一实施例的其中进一步添加了用户对象的图像的示例的图；
图7是示出根据第一实施例的其中显示图标图像的图像的示例的图；
图8是示出根据第一实施例的进行用于在图像上显示图标图像的运动的示例的图；
图9是示出根据第一实施例的强调显示(emphasized display)的另一示例的图；
图10是示出根据第一实施例的其中在运动坐标的位置处显示指示屏幕截图的图标图像的示例的图；
图11A是用于描述根据第一实施例的图像配置的示例的图；
图11B是用于描述根据第一实施例的图像配置的示例的图；
图12是示出可以在第一实施例中应用的PC的示例的配置的框图；
图13是示出根据第一实施例中能够应用的PC的功能的示例的功能框图；
图14是示出根据第一实施例的图像分析单元的功能的示例性功能框图；
图15是示出根据第一实施例的显示控制单元的功能的示例性功能框图；
图16是示意性地示出用于显示根据第一实施例的由图像获取设备获取的图像的处理的示例性流程图；
图17是示意性地示出根据第一实施例的当通过识别图像读取设备获取识别图像时进行的处理的示例性流程图；
图18是示出根据第一实施例的图像分析单元的操作的示例性流程图；
图19是用于描述根据第一实施例的从纸张中提取每个图像的处理的图；
图20是示出根据第一实施例的用于将识别信息、属性信息和用户图像登记到用户图像DB(数据库，database)中的处理的示例性流程图；
图21是用于描述如何通过将属性信息和用户图像与识别信息相关联来生成管理信息的图；
图22是示出根据第一实施例的用户图像DB的文件夹结构的显示屏幕的示例的图；
图23是示出根据第一实施例的其中存储了属性信息的文件的配置的示例的图；
图24A是示出根据第一实施例的传感器的检测范围的示例的图；
图24B是示出根据第一实施例的传感器的检测范围的示例的图；
图25是示出由根据第一实施例的方法确定的对象的图像中的坐标的示例的图；
图26是示出根据第一实施例的图像中的区域的设置的示例的图；
图27是仅示出根据第一实施例的布置在纸张上的属性设置区域的图；
图28是示出根据第一实施例的属性与区域之间的关联的示例的图；
图29是示出根据第一实施例的属性和图标图像之间的关联的示例的图；
图30是示出根据第一实施例的运动确定处理的示例性流程图；
图31A是示出根据第一实施例的当确定不存在接触时图像中的用户对象的运动的示例的图；
图31B是示出根据第一实施例的当确定不存在接触时图像中的用户对象的运动的示例的图；
图32是示出根据第一实施例的变型的运动确定处理的示例性流程图；
图33是示出根据第二实施例的显示***的示例性配置的图；
图34是用于描述如何对应于第二实施例的麦克风的位置来控制用户对象的移动的图；
图35是示出根据第二实施例的PC的功能的示例性功能框图；
图36是示出根据第二实施例的显示控制单元的功能的示例性功能框图；
图37A是示出根据第二实施例的用户指定声音图案(pattern)的示例性格式的图；
图37B是示出根据第二实施例的用户指定声音图案的示例性格式的图；
图38是示意性地示出根据第二实施例的用于显示由图像获取设备获取的图像的处理的示例性流程图；
图39是示意性地示出根据第二实施例的基于声音图案的用户图像显示处理的示例性流程图；
图40是示出根据第二实施例的当在图像中已经显示了用于与声音图案相关联的用户图像的用户对象时执行的显示处理的示例性流程图；
图41是示出根据第二实施例的第一变形例的显示***的示例性配置的图；
图42是示意性地示出根据第二实施例的第一变形例的处理的示例性流程图；以及
图43是示出根据第二实施例的第二变形例的其中提供用于操作引导的PC的显示***的示例配置的图。
附图旨在描绘本发明的示例性实施例，并且不应被解释为限制其范围。在各种附图中，相同或相似的附图标记表示相同或相似的部件。
具体实施例
本文使用的术语仅用于描述特定实施例的目的，而不是限制本发明。
如本文所使用的，单数形式“一”，“一个”和“该”也旨在包括复数形式，除非上下文另有明确指示。
在描述附图中所示的优选实施例中，为了清楚起见可以采用特定术语。然而，本专利说明书的公开内容不旨在限于所选择的具体术语，并且应当理解，每个特定元件包括具有相同功能的所有技术等同物，以类似的方式操作，并且实现类似的结果。
参考附图，下面详细描述根据实施例的显示装置、显示控制方法、具有显示控制程序的计算机可读记录介质和显示***。
根据第一实施例的示意性配置
图1示出了根据第一实施例的显示***的示例性配置。在图1中，显示***1a包括计算机(PC)10a、投影仪(PJ)11、数据库(DB)12a、传感器13、图像获取设备20和识别图像读取设备21。PC 10a具有安装在其上的根据第一实施例的图像管理程序，且根据图像管理程序来控制显示***1a的操作。PJ 11根据从PC10a输出的图像信号将图像100投影到投影介质14上。
传感器13检测对象的位置。例如，传感器13具有并入其中的相机，且可以基于由相机获取的拍摄图像中包括的目标对象的图像来检测到目标对象的距离和目标对象的位置。传感器13被放置在投影介质14的投影表面侧上。传感器13可以放置在投影介质14的投影表面侧上在投影介质14的上部或下部，或者放置在顶部、底部、左侧或右侧。传感器13的检测结果被提供给PC 10a。
例如，Microsoft Corporation的Kinect(商标)可用于传感器13。传感器13不限于该示例，且可以组合成像单元和图像处理单元以通过由图像处理单元分析所拍摄的图像来检测移动目标对象的位置、或通过使用红外线或超声波来检测移动目标对象的位置。
DB 12a包括数据库，且在其中存储例如用于PC 10a通过PJ 11在投影介质14上投影的图像(图像数据)。
图像获取设备20包括例如相机。图像获取设备20使用相机对设置在预定位置处的纸张50进行成像，并获取纸张50的图像。在更具体的示例中，图像获取设备20包括相机、用于放置纸张的成像台以及被配置为将相机固定在相对于成像台的预定距离和预定位置处的夹具。例如，当纸张50被放置在成像台上、并且对图像获取设备20执行预定的操作时，相机拍摄纸张50的图像，且从相机输出拍摄的图像。图像获取设备20将获取的图像提供给PC10a。图像获取设备20不限于相机，也可以是被配置为通过图像传感器扫描图像以获取图像的扫描仪设备。
识别图像读取设备21获取介质40的图像，从获取的图像读取显示在介质40上的识别图像41，并将读取的识别图像41提供给PC 10a。
可以使用可打印的打印介质，例如纸张和树脂薄膜作为介质40。例如，使用显示***1a提供服务的服务提供商使用PC 30基于根据预定格式设置的识别信息来生成识别图像，且使用打印机31将生成的识别图像打印在介质40上。在这种情况下，可以创建印刷有不同识别图像41的媒介40、40……。
介质40不限于打印介质。例如，可以使用具有中央处理单元(CPU)和数据通信功能并且能够在与外壳一体形成的薄型显示器上显示图像的所谓的平板设备作为介质40。在这种情况下，例如，通过数据通信功能接收从外部发送的识别图像，且根据接收的识别图像，在显示器上显示识别图像。
对于识别图像41，例如，可以使用通过对由字符串构成的识别信息进行编码而获得的图像。可以使用的识别图像41的示例包括二维码，例如QR码(商标)。不限于此，可以直接打印示出识别信息的字符串并将其用作识别图像41，或者可以使用通过将识别信息转换为与QR码(商标)不同的格式的图像而获得的代码。
例如，可以通过以下表达式(1)来生成用于识别图像41的识别信息。在表达式(1)中，附加符号“+”示出字符串的合并。
识别信息＝固定码+指示生成识别信息的时间的时间信息...(1)
在表达式(1)中，固定代码例如是为每个服务提供商确定的代码。不限于此，可以通过组合第一固定码和第二固定码来配置固定码。在这种情况下，例如，第一固定码可以用作指示显示***1a的提供者的代码，第二固定码可以用作为每个服务提供者确定的代码。在这种情况下，可以将第二固定码从PC 30预先通知给PC 10a。
对于时间信息，可以使用在生成识别图像41的环境中的时间(例如，由PC 30测量的时间)。在一个示例中，当通过在介质40上打印来形成识别图像41时，PC 30可以获取指示执行在介质40上打印识别图像41的处理的时间的时间信息。在这种情况下，获取时间信息作为包含至少小时、分钟和秒的六位数的信息。时间信息可以包括另一个更精细的单位，或包括诸如日和月的单位。
识别信息不限于表达式(1)的示例。例如，可以仅使用指示生成识别信息的时间的时间信息来配置识别信息。
在该示例中的纸张50上，显示用于用户2手动绘制图画的手绘区域43和用于设置在绘图区域43中绘制的图像的属性的属性设置区域42。在纸张50上，提供可以放置介质40而不与属性设置区域42和手绘区域43重叠的区域。
图2示出了可以应用于第一实施例中的纸张50的示例。在图2所示的纸张50中，布置用于手绘图画的手绘区域43、用于设置在绘图区域43中绘制的图画的属性的属性设置区域42和用于在其中放置介质40的放置区域44。在图2的示例中，以边界显示放置区域44，以使用户更容易标识。在图2的例子中，属性设置区域42可以设置“步行”、“前进”、“飞行”、“植物”、“建筑物”和“游泳”的6个属性。
标记511、512和513布置在纸张50的四个角中的三个角处。从通过用图像获取设备获取纸张50的图像而获得的原始图像中检测标记511、512和51320使得能够知道纸张50的朝向和尺寸。
图3示出了根据第一实施例的介质40的显示示例。如图3所示，识别图像41被显示在介质40上。在图3的示例中，识别图像41基本上显示在介质40的中心，但不限于该示例，识别图像41可以被显示在介质40上的期望位置处。在第一实施例中，识别图像41仅需要被显示在介质40上。然而，另外的信息(诸如徽标(logo)图像)可以与识别图像41一起被显示在介质40上。
根据第一实施例的显示***的示意性操作
接下来，参照图1来示意性地说明根据第一实施例的显示***1a的操作。为了说明，在由服务提供者主管的事件的场所中安装显示***1a。服务提供商预先或在场所中使用PC 30和打印机31以准备在其上打印基于不同的识别信息的识别图像41的介质40、40，...。服务提供商还准备了纸张50、50，....
访问场所的用户2从服务提供商接收媒介40和纸张50。用户2在纸张50上的手绘区域43中绘制图画，且在属性设置区域42中为绘制的图画设置属性。用户2将纸张50设置在图像获取设备20上，并将介质40放置在纸张50上的放置区域44中，使得识别图像41被显示在前表面侧。
图4示出了设置在图像获取设备20上的纸张50的示例。在图4中，在纸张50上的手绘区域43中绘制图画45。图画45不限于直接绘制在纸张50上的图画，且可以附接或放置预先绘制在其上的图画45的密封件，或者由另一个PC创建的图像可以印刷在纸张50上的手绘区域43中。
在图4的示例中，在属性设置区域42中，填写了用于属性“向前(go forward)”的上一行上的第二帧，且可以理解，已为图画45设置属性“向前”。为此外，介质40被放置在放置区域44中。
以这种方式，例如，在相对于图像获取设备20设置纸张50的状态下，用户2执行指示图像获取设备20获取纸张50的图像的操作。图像获取设备20响应于该操作对纸张50进行成像，并输出通过成像获得的纸张50的图像。从图像获取设备20输出的图像被提供给PC10a。
PC 10a分析从图像获取设备20提供的图像，以获取包括在图像中的识别图像41、属性设置区域42中的图像和手绘区域43中的图像。PC 10a分析所获取的识别图像41以从识别图像41提取识别信息。PC 10a分析属性设置区域42中的图像以获取设置的属性。PC 10a从手绘区域43中提取图画45的图像。下面将图画45的图像称为“用户图像”。
PC 10a将从纸张50上的图像中获取的用户图像和属性与从纸张50上的图像提取的识别信息相关联地存储在DB 12a中。同时，PC 10a将用户图像发送到投影仪11使得用户图像被投影在投影介质14上。在这种情况下，PC10a基于该属性向用户图像提供用于运动和坐标的参数。PC 10a还根据用户图像本身为用户图像提供用于运动和坐标的参数。
通过在纸张50上绘制不同的图画45，且在每张纸张50上重复由图像获取设备20对纸张50进行图像获取之后的上述处理，用户2可以在投影介质14上显示用户图像。在这种情况下，从放置在纸张50上的介质40获取识别图像41，因此可以获取不同纸张50所共同的识别图像41。因此，共同识别信息可以与用户图像相关联。
用户图像的显示示例
接下来，描述实施例可以共同应用的用户图像的显示的示例。图5示出了根据第一实施例的投影在投影介质14上的图像的示例。在图5中，图像100投影在投影介质14上。在该示例中，图像100包括背景图像110和由固定对象形成的图像(固定对象)111。
在图5的示例中，背景图像110包括天空区域110a和陆地区域110b，且陆地区域110b是具有从图像100的下端朝陆地和天空区域110a之间的边界的深度的图像。具体地，图像100具有分别指示水平方向和垂直方向上的位置的坐标轴(x轴，y轴)和指示深度方向上的位置的坐标轴的z轴。因此，图像100中显示的每个图像的位置由由三个坐标轴(x轴，y轴，z轴)构成的坐标(x，y，z)指示。
在图5中，布置在图像100的左上角显示的图标图像112，以获取图像100的屏幕截图。
图像100可以基于用户图像进一步显示图像1201至1204。下面将基于图像100中显示的用户图像的图像称为“用户对象”。在该示例中，用户对象1201至1204与共同识别信息相关联。用户对象1202和1203被显示在图像100中，使得其位置基于从属性设置区域42获取的属性而被固定。另一方面，用户对象1201和1204被显示在图像100中、同时基于属性以预定速度在陆地区域110b中移动。
如图6所示，可以将另一用户对象添加到其中在图像100上显示用户对象1201至1204的上述状态。图6中的图像100是通过将用户对象12010到12013添加到图5中的图像100而获得的。
例如，不同于显示上述用户对象1201至1204的用户(称为“第一用户”)的用户(称为“第二用户”)使用如下介质40，在其上显示与由第一用户携带的介质40上显示的识别信息41不同的识别信息41，以使得图像获取设备20获取绘制了图画45的纸张50、50...的图像。以这种方式，将基于各个用户图像的用户对象12010至12013显示在图像100中，且将每个用户图像及其属性与识别信息41相关联地添加并存储在DB 12a中。
在图6的示例中，用户对象12010显示在图像100中，同时基于从纸张50上的属性设置区域42获取的属性以预定速度在天空区域110a中移动。用户对象12012和12013显示在图像100中，同时基于该属性以预定速度在陆地区域110b中移动。用户对象12011被显示在图像100中，使得基于该属性固定其位置。在图6中，用户对象1201和1204被显示在图像100中，使得其位置已经从图5中的状态移动。
在上述说明中，图像获取设备20用于获取纸张50的图像，且在图像100中显示基于纸张50中包括的用户图像的图像。在第一实施例中，基于存储在DB 12a中的用户图像可以进一步被显示在图像100中。
在一个示例中，由上述第二用户将对应于用户对象12010至12013的识别信息和用户图像及其属性彼此关联地存储在DB 12a中。如图5所示，第一用户的用户对象1201至1204已经被显示在图像100中。
在这种状态下，第二用户在识别图像读取设备21上放置用于从纸张50获取与用户对象12010至12013相对应的每个图像的介质40，并指示识别图像读取设备21读取识别图像41。识别图像读取设备21根据指示读取介质40上的识别图像41，并将读取的识别图像41发送到PC 10a。
PC 10a分析从识别图像读取设备21发送的识别图像41以获取识别信息。PC 10a基于所获取的识别信息来搜索DB 12a，以获取与获取的识别信息相关联的用户图像和属性。PC 10a根据该属性在图像100中显示从DB 12a中如此获取的用户图像。以这种方式，类似于图6，在图像100中，第二用户的用户对象12010至12013被添加到第一用户的用户对象1201至1204。
如上所述，通过将用于存储用户图像的识别图像41保持在DB 12a中，第二用户可以从DB 12a读取过去创建的用户图像，并在图像100中显示用户图像。
具体地，根据第一实施例的显示***1a被配置为使得在其上显示有识别图像41的介质40的图像被放置在纸张50上，且获取包括介质40的纸张50的图像，从而能够与由识别图像41指示的识别信息相关联地管理基于由用户提供的图画的用户图像。识别图像41被显示在独立于纸张50的介质40上，因此用户可以将介质40连续地应用于纸张50，使得可以通过使用识别信息将大量图画作为群组中的用户图像来管理。
取决于用户运动的操作示例
接下来，描述响应于实施例可以共同应用的用户的运动而进行的显示的改变。在第一实施例中，传感器13可以在图像100的显示期间检测用户的某种运动，且可以改变图像100的状态和图像100中的每个用户对象的状态。
例如，用户执行移动传感器13的检测范围内的对象的位置的操作、例如在其上显示图像100的投影介质14的前面将臂伸出到前面或摆动臂。该操作被称为“运动”。传感器13检测运动，即，检测检测范围内的对象，并输出指示检测到运动的位置的位置信息。位置信息被提供给PC 10a。PC 10a基于从传感器13提供的位置信息，生成在图像100中的坐标。以下，坐标被称为“运动坐标”。PC 10a可以基于传感器13的检测结果将运动分类为各动作类型。
在DB 12a中，预先存储响应于用户的运动而在图像100上显示的图像。除非另有说明，该图像在下文中被称为“图标图像”。例如，图标图像与图像100中的每个区域相关联地存储在DB 12a中。例如，上面参照图5描述的天空区域110a和陆地区域110b可以应用于图像100中的区域。这些区域不限于天空区域110a和陆地区域110b，且可以进一步添加诸如与海滨相对应的水域的其他区域。图标图像可以与区域相关联。
PC 10a确定图像100中的哪个区域是否包括所生成的运动坐标。基于确定结果，PC10a从DB 12a读取与包括运动坐标的区域相关联的图标图像。PC10a在图像100中在由运动坐标指示的位置处显示从DB 12a读取的图标图像。
图7示出了其中以上述方式显示图标图像的图像100的示例。在图7的示例中，图标图像1301和1302分别被显示在图像100中的左上角和中心附近。具体地，响应于在图像100的左上角的用户的运动来显示与天空区域110a相关联的图标图像1301。类似地，响应于在图像100的中心附近的用户的运动，显示与陆地区域110b相关联的图标图像1302。
在背景图像110、固定对象111以及用户对象1201至1204和12010至12013中的每一个上，优先地显示显示图标图像1301和1302。
当图标图像与其中包括运动坐标的区域相关联时，PC 10a根据用户的预定运动从图标图像中随机选择一个图标图像，并将所选图标图像显示在图像中。当用户想要将显示的图标图像切换到另一个图标图像时，用户在相同的位置再次进行运动。PC 10a从与该区域相关联的图标图像中随机选择一个图标图像，删除当前显示的图标图像，并显示所选择的图标图像。在这种情况下，可以测量用户在相同位置进行预定运动的次数，且可以每隔预定次数执行删除图标的操作。对于另一示例，当连续执行运动达给定时段或更长时间时，可以移动图标图像。
可以根据图像100上的图标图像的显示来改变已经显示在图像100上的用户对象的状态。参照上述图8和图6说明根据图标图像的显示来改变用户对象的状态。
在图6的状态下，用户进行在图像100的期望位置处显示图标图像的运动。传感器13检测到该运动。PC 10a根据传感器的检测结果生成运动坐标，在所生成的运动坐标的位置处显示与包括运动坐标的区域相对应的图标图像。
当用户对象出现在运动坐标附近时，PC 10a控制用户对象的显示，使得用户对象根据图标图像的显示而朝向运动坐标移动。图8示出了在图6的状态下用户进行从图像100的中心左侧的位置处显示图标图像的运动的示例。从图8的示例可以看出，图标图像1303被显示在图像100的中心左侧的位置处，且在图6的状态下在图标图像1303的位置附近显示的用户对象1201、1204和12013朝向图标图像1303的位置移动。
用户对象响应于运动的状态的改变不限于用户对象的显示位置的移动。例如，当运动坐标不包括在用户对象的图像范围中时，PC 10a可以强调显示用户对象。例如，用户对象的图像范围可以由用户对象的上端和下端的y坐标以及用户对象的右端和左端的x坐标来定义。例如，PC 10a基于运动坐标确定运动是否与用户对象接触，且当确定运动已经与用户对象接触时，强调显示用户对象。用户对象的强调显示的示例包括以放大的尺度显示用户对象和振动用户对象。
强调显示的另一示例是，如图9所示，当用户对象1201的图像范围包括运动坐标时，例如，PC 10a在运动坐标的位置处显示图标图像1304，且在图标图像1304附近显示效果图像1321。在图9的示例中，效果图像1321使用标识星形图像散布在图标图像1304周围的图像。例如，效果图像1321被预先存储在DB 12a中。
PC 10a可以响应于用户的运动来存储图像100的屏幕截图。例如，PC 10a确定与用户的运动相对应的运动坐标是否被包括在显示在图像100的左上角位置处的屏幕截图图标图像112的图像范围中。当PC 10a确定运动坐标被包括在图标图像112的图像范围中，如图10所示，PC 10a显示指示运动坐标位置处的屏幕截图的图标图像131。PC 10a存储图像100，其中在存储器中反映运动坐标被确定为被包括在图标图像112的图像范围内时的每个用户对象和图标图像，作为屏幕截图图像。
如上所述，PC 10a将关于要投影到投影介质14的图像100的信息保持作为关于深度方向上的z轴的坐标信息。具体地，图像100是通过将关于由x轴、y轴和z轴表示的三维空间的信息投影到由x轴和y轴表示的二维空间(平面)上而获得的图像。
参考图11A和图11B，描述PC 10a中的图像100的配置的示例。例如，如图11A所示，在投影介质14上显示图像100。在图11A的示例中，图像100包括具有天空区域110a和陆地区域110b的背景图像110、固定对象111、用户对象12020、12021、12022、12023、12024、12025、12026、……、图标图像1305和效果图像1322。
通过仅使用x轴、y轴和z轴中的x轴和y轴来显示图11A中所示的图像100，且忽略z轴。
在图11A中，例如，包括在陆地区域110b中的用户对象12020、12021和12022被显示为使得：用户对象12020被最前显示，且用户对象12022根据重叠的程度显示为最后。类似地，包括在陆地区域110b中的用户对象12023和12024被显示为使得：用户对象12023被显示在前侧，且用户对象12024被显示在背面。
对于第一组用户对象12020、12021和12022以及第二组用户对象12023和12024，可以看到第二组以便基于陆地区域110b中的位置在第一组后面显示。
在陆地区域110b中包括的用户对象12026和用户对象12027和在天空区域110a中包括的用户对象12025在图11A的状态下没有彼此重叠的部分，因此难以从图像100的显示确定透视。
图11B是从图像100的正面的右上方的虚拟视点向图11A中的图像100添加z轴信息而获得的三维空间的俯视图。在图11B中，垂直方向对应于y轴，从左上朝向右下的方向对应于x轴，从左到右稍微朝右的方向对应于z轴。天空区域110a被显示为坐标z为0的xy平面。平台区域110b被显示为坐标y为0的xz平面。在图11B中，天空区域110a和陆地区域110b具有坐标x为0。
图11A中的图像100对应于通过从沿着如图11B中箭头A所示的z轴方向固定的视线观察三维空间而获得的图像。PC 10a预先确定可以显示在由x轴、y轴和z轴表示的三维空间中的区域。被确定为可以表示的区域的区域被称为“限定区域”。
显示在陆地区域110b中包括的每个用户对象12020至12025，使得例如图像范围的下端的坐标z的值固定为0。可以显示在天空区域110a中包括的用户对象12026和12027的每个，使得在所限定区域内自由设置坐标x、y和z中的每一个的值。
在图11B中，坐标z在图中从左到右变大。如图11B所示，在用户对象12020、12021和12022中，坐标z的值对于用户对象12020而言是最小的，而对于用户对象12022来说最大。因此，当用户对象12020、12021和12022在xy平面上彼此部分地重叠，用户对象以用户对象12022、用户对象12021和用户对象12020的顺序被叠加并显示在图像100上。
对于一组用户对象12023和12024(第二组)，坐标z的值大于一组用户对象12020至12022(第一组)的坐标z的值，且用户对象12023和12024显示在xz平面上的较深的一侧。因此，当在限定区域中相对于xz平面的箭头A所指示的方向上观察三维空间时，用户对象12023和12024被显示在上侧(更接近于在天空区域110a和陆地区域110b之间的边界的侧)。
对于用户对象12025至12027，用户对象12026具有坐标z的最小值并且显示在前侧，且用户对象12027具有坐标z的最大值并且被显示在后面侧。对于相同尺寸的用户对象，以较小规模显示具有较小值的坐标z的用户对象(例如，用户对象12023和12024)。
在陆地区域110b中包括的每个用户对象12020至12025可以在限定区域内的xz平面上自由移动。在天空区域110a中包括的每个用户对象12026和12027可以在限定区域内的xyz平面上自由移动。在这种情况下，在天空区域110a中包括的每个用户对象12026和12027的坐标y的值可以被限制为给定值或更多的值。
可以在第一实施例中应用的配置
图12示出了可以在第一实施例中应用的PC 10a的示例性配置。在图12的PC10a中，中央处理单元(CPU)1001、只读存储器(ROM)1002、随机存取存储器(RAM)1003和显示信号生成单元1004连接到总线1000。PC 10a、存储装置1006、数据I/F(接口)1007和通信I/F 1008进一步连接到总线1000。
CPU 1001使用RAM 1003作为工作存储器，以根据预先存储在ROM1002和存储装置1006中的计算机程序来控制整个PC 10。显示信号生成单元1004连接到监视器1005，且将由CPU 1001生成的显示控制信号转换成可由监视器1005显示的信号，并输出结果。显示信号生成单元1004可以将显示控制信号转换成可由投影仪(PJ)11显示的信号，并输出结果。
存储装置1006是能够以非易失性方式在其中存储数据的存储介质，且例如使用硬盘驱动器。不限于此，诸如闪存的非易失性半导体存储器可以用作存储装置1006。存储装置1006存储要由CPU 1001执行的计算机程序和各种数据。
数据I/F 1007控制向和从外部设备的数据的输入和输出。例如，数据I/F 1007被用作图像获取设备20的接口。数据I/F 1007输入来自诸如鼠标和键盘(KBD)(未示出)的指示设备的信号。CPU 1001产生的显示控制信号可以从数据I/F 1007输出，且提供给例如投影仪11。对于数据I/F 1007，可以应用诸如通用串行总线(USB)和蓝牙(商标)的接口。
通信I/F 1008控制经由诸如因特网和局域网(LAN)的网络的通信。
图13是示出可以在第一实施例中应用的PC 10a的功能的示例性功能框图。在图13中，PC 10a包括图像分析单元200a、登记单元201、显示控制单元210a和运动分析单元220。图像分析单元200a、登记单元201、显示控制单元210a和运动分析单元220由在CPU 1001上运行的计算机程序来实现。不限于此，图像分析单元200a、登记单元201、显示控制单元210a和运动分析单元220的一部分或全部可以由独立的硬件构成。
用户图像DB 230和显示图像DB 231连接到PC 10a。用户图像DB 230和显示图像DB231被包括在上述DB 12a中。用户图像DB 230和显示图像DB 231通过使用被外部连接到PC10a的存储介质或PC 10a中的存储装置1006中的预定区域来配置。
图像分析单元200a被提供有由图像获取设备20获取的图像。图像分析单元200a分析从图像获取设备20提供的图像以从图像获取设备20获取识别信息、用户图像和表示来自图像的属性的信息。登记单元201将图像分析单元200a获取的识别信息、用户图像和属性信息相关联地存储在用户图像DB230中。例如，除了用户图像之外，用户图像DB 230还可以存储图标图像和效果图像。
向运动分析单元220提供从传感器13输出的检测结果。运动分析单元220基于所提供的检测结果输出运动信息。例如，运动信息包括基于传感器13的检测结果的坐标信息。运动分析单元220还可以包括指示与在运动信息中检测到坐标信息的定时相对应的时间的时间信息。
从识别图像读取设备21向显示控制单元210a提供识别图像41。显示控制单元210a从所提供的识别图像41获取识别信息。显示控制单元210a从用户图像DB 230获取用户图像，将获取的用户图像与背景图像110组合以生成图像100，并输出图像100。例如，从显示控制单元210a输出的图像100被提供给投影仪(PJ)11并且被投影在投影介质14上。
在这种情况下，显示控制单元210a连续地获取由登记单元201存储在用户图像DB230中的用户图像。显示控制单元210a基于从识别图像读取设备21提供的识别图像41，从用户图像DB 230获取与识别信息相关联的用户图像。显示控制单元210a将所获取的用户图像与识别信息相关联地存储在显示图像DB 231中。显示控制单元210a将存储在显示图像DB231中的每个用户图像与背景图像110组合，并输出组合图像。
显示控制单元210a可以基于从运动分析单元220提供的运动信息，进一步将图像100与预定图标图像或效果图像组合。显示控制单元210a可以基于从运动分析单元220提供的运动信息，改变在运动分析单元220中包括的每个用户图像。
在上述PC 10a中包括的图像分析单元200a、登记单元201、显示控制单元210a和运动分析单元220通过例如存储在存储装置1006中的计算机程序来实现，且运行计算机程序作为可安装格式或者可执行格式的文件被记录在诸如光盘(CD)、软盘(FD)和数字通用盘(DVD)的计算机可读记录介质中，并被提供。
在第一实施例中由PC 10a执行的计算机程序可以被存储在连接到诸如因特网的网络的计算机上，且通过经由网络被下载来提供。可以通过诸如因特网的网络来提供或分发由第一实施例中的PC 10a执行的计算机程序。可以通过预先将其并入ROM 1002中来提供第一实施例中的计算机程序。
由第一实施例中的PC10a执行的计算机程序具有包括上述单元(图像分析单元200a、登记单元201、显示控制单元210a和运动分析单元220)中的每一个的模块配置。实际硬件被配置为使得CPU 1001从诸如存储装置1006和ROM 1002的存储介质读取计算机程序并执行读取的计算机程序，且将上述每个单元加载到例如RAM 1003的主存储装置上，使得在主存储装置上生成图像分析单元200a、登记单元201，显示控制单元210a和运动分析单元220。
图14是示出根据第一实施例的图像分析单元200a的功能的示例性功能框图。在图14中，图像分析单元200a包括图像获取单元2001、用户图像提取单元2002、识别信息获取单元2003和属性信息获取单元2004。
图像获取单元2001获取从图像获取设备20提供的图像。用户图像提取单元2002从由图像获取单元2001获取的图像检测手绘区域43，并从检测的手绘区域43中的图像中提取用户图像。识别信息获取单元2003从由图像获取单元2001获取的图像中提取识别图像41，并对所提取的识别图像41进行解码以获取识别信息。属性信息获取单元2004从由图像获取单元2001获取的图像中检测属性设置区域42，并从检测到的属性设置区域42获取属性信息。
图15是示出根据第一实施例的显示控制单元210a的功能的示例性功能框图。在图15中，显示控制单元210a包括图像管理单元2101、识别信息获取单元2102、图像控制单元2103a、运动信息获取单元2104、3D空间生成单元2105、区域设置单元2106、组合单元2107和显示图像获取单元2120。
识别信息获取单元2102对从识别图像读取设备21提供的识别图像41进行解码以获取识别信息。图像管理单元2101从用户图像DB 230获取用户图像和与识别信息相关联的属性信息，将识别信息、用户图像和属性信息提供给图像控制单元2103a，并在显示图像DB231中存储识别信息、用户图像和的属性信息。响应于登记单元201将用户图像存储在用户图像DB 230中，图像管理单元2101获取用户图像和识别信息和与来自用户图像DB 230的用户图像相关联的属性信息，并将所获取的用户图像、识别信息和属性信息提供给图像控制单元2103a。
运动信息获取单元2104获取从运动分析单元220输出的运动信息，并将获取的运动信息提供给图像控制单元2103a。
图像控制单元2103a被提供有由图像管理单元2101获取的用户图像、属性信息和识别信息。例如，图像控制单元2103a基于用户图像和属性信息，生成用于控制用户图像的显示的参数，并将生成的参数应用于用户图像。将应用了参数的用户图像提供给组合单元2107。
例如，当从运动信息获取单元2104向图像控制单元2103a提供运动信息时，图像控制单元2103a响应于运动信息而改变应用于用户图像的参数。当图像控制单元2103a被提供有来自运动信息获取单元2104的运动信息时，例如，图像控制单元2103a从用户图像DB 230获取图标图像，并与在运动信息中包括的坐标信息相关联地将所获取的图标图像提供给组合单元2107。
3D空间生成单元2105生成由上述参照图11A和图11B描述的x轴、y轴和z轴表示的三维图像数据空间。例如，3D空间生成单元2105生成作为RAM 1003上的地址空间的三维图像数据空间。区域设置单元2106根据对于x轴、y轴和z轴预先确定的值来设置三维图像数据空间的限定区域。在限定区域中的图像被显示为图像100。当在限定区域中包括其坐标时，用户图像和图标图像被显示在图像100中。区域设置单元2106将指示限定区域的信息提供给组合单元2107。
基于限定区域，组合单元2107将预先准备的背景图像110和固定对象111以及从图像控制单元2103a提供的用户图像和图标图像与通过从作为沿着z轴的方向的视线观察限定区域而获得的二维图像组合，并输出组合图像作为图像100(参见图11A和图11B)。
背景图像110和固定对象111可以被预先存储在DB 12a中的预定区域中。背景图像110和固定对象111可以被存储在存储装置1006中的预定区域中。
在图像控制单元2103a的控制下，显示图像获取单元2120获取从组合单元2107输出的图像100。例如，图像控制单元2103a指示显示图像获取单元2120根据预定的运动信息获取图像100。显示图像获取单元2120响应于该指令获取图像100，且将所获取的图像100被存储在例如存储装置1006中。
图16是示意性地示出根据第一实施例的用于显示由图像获取设备20获取的图像的处理的示例性流程图。在图16的流程图中的处理之前，用户准备在其上显示识别图像41的介质40和纸张50。用户在纸张50上的手绘区域43中绘制图画45，检查属性设置区域42中的期望属性，将纸张50设置在图像获取设备20上，将介质40放置在放置区域44中，并使图像获取设备20开始图像获取处理。图像获取设备20将所获取的图像发送到PC 10a。
从图像获取设备20发送到PC 10a的图像由PC 10a接收并提供给图像分析单元200a。图像分析单元200a获取所提供的图像(步骤S10)。在下一步骤S11中，图像分析单元200a从所提供的图像中检测手绘区域43和属性设置区域42，并从检测到的区域提取用户图像和属性信息。图像分析单元200a从提供的图像中提取识别图像，且对所提取的识别图像进行解码以获取识别信息。
在下一步骤S12，登记单元201将在步骤S11提取的用户图像和属性信息与识别信息相关联地存储在用户图像DB 230中，并登记用户图像。处理进入步骤S13。在步骤S13中，显示控制单元210a设置用于控制用户图像的显示的参数p。
现在，描述可以在第一实施例中应用的参数p。例如，显示控制单元210a针对每个用户图像、即针对每个用户对象确定以下八种参数p0至p7。
(1)p0：行进方向的最大速度vmax
(2)p1：行进方向的加速度a
(3)p2：水平方向的角加速度的最大值αhmax
(4)p3：垂直方向的角加速度的最大值αvmax
(5)p4：向上角度的随机数宽度的最大值dRumax(最大随机数宽度)
(6)p5：向下角度的最大随机数宽度dRdmax
(7)p6：向右角度的最大随机数宽度dRrmax
(8)p7：向左角度的最大随机数宽度dRlmax
当然，作为参数p0和p1的行进方向上的最大速度vmax和行进方向的加速度a是用于控制在行进方向上的限定空间中的用户对象的速度的参数。作为参数p2和p3的在水平方向上的角加速度的最大值hmax和在垂直方向上的角加速度的最大值vmax是用于在水平方向和垂直方向上旋转用户对象的参数。
作为参数p4和p5的在向上方向和向下方向上的最大随机数宽度dRumax和dRdmax是用于给出相对于用户对象在垂直方向上(即在相对于行进方向的向上方向和向下方向上)的旋转操作的角加速度的范围的参数。由参数p4和p5给出的角加速度由作为参数p3的垂直方向上的角加速度的最大值vmax限制。
作为参数p6和p7的向左方向和向右方向上的最大随机数宽度dRrmax和dRlmax是用于给出相对于用户对象在水平方向上(即，在相对于行进方向的向左方向和向右方向上)的旋转操作的角加速度的范围的参数。
例如，显示控制单元210a基于用户图像和属性信息生成用于确定与用户图像的用户对象的运动相关的性能的参数p0至p7。例如，显示控制单元210a根据与用户图像对应的属性信息来确定参数p0至p7的值，且进一步设置其中可以基于用于用户图像的颜色以及用户图像的形状和尺寸来改变确定的参数p0至p7中的每一个的范围。
在下一步骤S14中，显示控制单元210a设置已经设置了参数p的用户图像的限定区域中的坐标，且将用户图像与背景图像110组合以生成图像100。在以这种方式，用户图像在被定义为限定区域的3D空间中被显示为用户对象。用户对象的初始位置的坐标可以是固定的，也可以根据属性信息随机地确定。
图17是示意性地示出根据第一实施例的当识别图像读取设备21获取识别图像41时执行的处理的示例性流程图。在图17的流程图的处理之前，例如，用户根据图16中的上述流程图，预先将用户图像与识别信息相关联地登记在用户图像DB 230中。
用户在识别图像读取设备21上设置其上显示识别图像41的介质40，且响应于用户的操作指示识别图像读取设备21读取识别图像41。响应于该指令，识别图像读取设备21读取识别图像41，并将读取的识别图像41发送到PC 10a。识别图像读取设备21可以被配置为自动识别和读取该识别图像41。
从识别图像读取设备21发送到PC 10a的识别图像41由PC 10a接收并提供给显示控制单元210a。显示控制单元210a获取所提供的识别图像41(步骤S20)。在下一步骤S21，显示控制单元210a对识别图像41进行解码以获取识别信息，且在用户图像DB 230中搜索与获取的识别信息相关联的用户图像。
在下一步骤S22中，显示控制单元210a基于从用户图像DB 230检索的每个用户图像，类似于上述在步骤S13的处理地确定参数p0至p7，且设置参数每个用户图像的p0到p7。
在下一步骤S23中，显示控制单元210a在已经设置了参数p的用户图像的限定区域中设置坐标，且将用户图像与背景图像110组合以生成图像100。在以这种方式，基于用户图像DB 230中的识别图像41的与识别信息相关联的每个用户图像被显示为在被定义为限定区域的3D空间中的用户对象。
参考图18和图19，更详细地描述了用于从纸张50获取用户图像和每个信息的处理。图18是示出根据第一实施例的图像分析单元200a的操作的示例性流程。图19是用于说明从第一实施例的纸张50提取每个图像的处理的图。在图19中，与上述相同的图2和图4所示的部分用相同的标号示出，并省略详细的说明。
在图18的流程图中，在步骤S40，图像分析单元200a从图像获取单元2001获取从图像获取设备20提供的纸张50的图像。图像获取单元2001提供所获取的图像到用户图像提取单元2002、识别信息获取单元2003和属性信息获取单元2004。在这种情况下，图像获取单元2001识别布置在纸张50的三个角部处的标记511至513(参见图19中的左图)，从而能够校正纸张50的所获取的图像的取向(orientation)。
在步骤S41中，识别信息获取单元2003确定标签图像41是否被包括在纸张50的图像中。当识别信息获取单元2003确定识别图像41被包括在图像中时(在步骤S41处“存在”)，识别信息获取单元2003使处理进入步骤S42，从图像中提取识别图像41。在下一步骤S43，识别信息获取单元2003对所提取的识别图像41进行解码以获取识别信息。该处理进入步骤S45。
另一方面，当识别信息获取单元2003在步骤S41确定不包括识别图像41(在步骤S41处“不存在”)时，识别信息获取单元2003将处理前进到步骤S44。在步骤S44，例如，识别信息获取单元2003将预定的默认识别信息设置为获取的识别信息。处理进入步骤S45。
在步骤S45，属性信息获取单元2004从纸张50的图像中提取属性设置区域42中的图像，且基于属性设置区域42的提取的图像来确定是否指定属性。
例如，如图19的左图所示，六个属性设置部分421至426被布置在属性设置区域42中。属性设置部分421至426用于当通过填充其内部来勾选时指定期望的属性。在图19的例子中，属性设置部分
Figure GDA0001411758030000211
分别用于设置属性“步行”、属性“向前”、属性“飞行”、属性“植物”、属性“建筑物”和属性“游泳”。属性设置部分
Figure GDA0001411758030000212
中设置的属性被称为“属性类型#1”、“属性类型#2”、“属性类型#3”、“属性类型#4”、“属性类型#5”和“属性类型#6”。
属性信息获取单元2004确定是否按预定顺序逐一勾选属性设置部分421至426。当确认任何属性设置部分被勾选(在步骤S45中“存在”)时，属性信息获取单元2004获取指示与被勾选属性设置部分相对应的属性的属性信息(步骤S46)。在图19的例子中，勾选了属性设置部分422，获取示出属性类型#2的属性信息。当获取到属性信息时，处理进行到步骤S48。
当属性信息获取单元2004确认属性设置部分421至426中没有一个被勾选(在步骤S45处“不存在”)时，处理进行到步骤S47，属性信息获取单元2004设置属性信息为例如预先确定的默认值。处理进入步骤S48。
在确认第一次已经勾选了属性设置部分421至426中的任何一个的时候，属性信息获取单元2004暂停对属性设置部分中存在/不存在勾选的确认。因此，即使已经勾选了多于一个的属性设置部分421至426，也仅获取一个属性信息。
在步骤S48中，用户图像提取单元2002从纸张50的图像检测手绘区域43，并在手绘区域43中提取用户图像。用户图像提取单元2002对手绘区域43中的图像进行用户对象提取处理。例如，用户图像提取单元2002对于手绘区域43中的图像进行关于每个像素是白色(纸张50的基本颜色)还是与白色不同的颜色的二值确定，并且提取图画45的一部分作为用户对象。用户图像提取单元2002将包括图画45的提取部分并具有与手绘区域43的基本方向平行的基本方向的最小矩形区域46中的图像设置为用户图像。
在步骤S48中提取用户图像之后，图像分析单元200a请求登记单元201在用户图像DB 230中登记由步骤S40至S48中的处理获取或提取的识别信息、属性信息和用户图像(步骤S49)。
在上述描述中，用户图像提取单元2002的处理、识别信息获取单元2003的处理和属性信息获取单元2004的处理被串行执行，但是执行方法不被限制为这个例子。具体地说，可以并行地执行用户图像提取单元2002、识别信息获取单元2003和属性信息获取单元2004。
图20是示出根据第一实施例的由登记单元201在用户图像DB 230中登记识别信息、属性信息和用户图像的处理的示例性流程图。在步骤S60，登记单元201确定是否已经从图像分析单元200a发出用于在用户图像DB 230中登记识别信息，属性信息和用户图像的指令。当登记单元201确定没有登记指令(在步骤S60处“不存在”)时，登记单元201将处理返回到步骤S60。
另一方面，当登记单元201确定在用户图像DB 230中登记了识别信息、属性信息和用户图像的指令(在步骤S60处“存在”)时，处理进行到步骤S61。在步骤S61，登记单元201从图像分析单元200a接收被请求登记的识别信息、属性信息和用户图像。
在下一步骤S62，登记单元201生成用于管理在步骤S61接收的识别信息、属性信息和用户图像的管理信息。例如，登记单元201基于识别信息生成管理信息。如图21所示，登记单元201生成管理信息，使得属性信息和用户图像与识别信息相关联。用户图像和属性信息在一对一的基础上相互关联。另一方面，识别信息具有与用户图像和属性信息的组的一对多的关系。具体地，每个识别信息可以与用户图像和属性信息的各组相关联。
在下一步骤S63，登记单元201生成用于在用户图像DB 230中存储在步骤S61接收的识别信息、属性信息和用户图像的管理区域。登记单元201基于在步骤S62生成的上述管理信息来生成管理区域。
在该示例中，登记单元201通过使用在计算机的文件***中的分层结构来生成管理区域。参考图22，描述通过使用由登记单元201生成的在文件***中的文件夹结构来生成管理区域的示例。图22示出了根据第一实施例的用户图像DB 230的文件夹结构的显示屏幕的示例。在图22中，显示屏幕300包括显示区域301和302。显示区域301指示文件夹结构，显示区域302指示在显示区域301中指定的文件夹的内容。
在文件夹结构中，特定级别上的文件夹可以包括在特定级别以下的下一级的文件夹，且文件夹的层级从上级的文件夹顺序地形成到较低级别上的文件夹。在图22的显示区域301中，第一级文件夹320(文件夹“数据库(DataBase)”)包括第二级文件夹3211、3212、3213、...、321m、321m+1、321m+2，...(第一区域)。每个第二级文件夹3211、3212...对应于识别信息，且使用识别信息的字符串作为文件夹名称。
第二级文件夹还包括第三级文件夹(第二区域)。例如，在图22中，第二级文件夹321m包括第三级文件夹
Figure GDA0001411758030000231
用户图像和属性信息的组被存储在第三级文件夹3221至3225的每一个中。对于第三级文件夹，指示由图像分析单元200a获取存储在文件夹中的用户图像和属性信息的时间的时间信息被用作文件夹名称。
以这种方式，基于时间信息确定第三级文件夹的文件夹名称，因此保证与相同识别信息相关联的用户图像和属性信息的组的唯一性。使用识别信息确定第二级文件夹的文件夹名称，因此将与第二级文件夹中的那些相同的识别信息相关联的用户图像和属性信息的组添加并存储在文件夹中。
管理区域的这种配置使得能够使用安装在PC 10a上的操作***(OS)的文件***来管理识别信息、用户图像和属性信息，这使得容易地获取用户图像和与指定的识别图像相关联的属性信息的组。
在图22中，在显示区域302中指示第三级文件夹3221的内容。在该示例中，显示区域302指示用于在其中存储用户图像的文件310和用于在其中存储属性信息的文件311存储在第三级文件夹3221中。
图23示出了根据第一实施例的其中存储属性信息的文件311的配置的示例。在该示例中，文件311在其中存储有属性信息312和与属性信息312相关联的识别信息313。
返回参考图20，在登记单元201如上所述在步骤S63中生成用户图像DB 230中的管理区域之后，在下一步骤S64，登记单元201在生成的管理区域中存储用户图像、属性信息和在步骤S61从图像分析单元200a接收的识别信息。
在步骤S64中存储在管理区域中的用户图像、属性信息和识别信息被读取到显示控制单元210a进行显示。显示控制单元210a从用户图像DB 230读取新登记的用户图像、属性信息和识别信息。显示控制单元210a在显示图像DB 231中生成显示队列区域(步骤S65)。对于显示队列区域，可以应用与步骤S63生成的管理区域相同的配置，因此省略对该配置的描述。
显示控制单元210a将从用户图像DB 230读取的用户图像、属性信息和识别信息存储在生成的显示队列区域中(步骤S66)。显示控制单元210a使用存储在显示队列区域中的用户图像以在图像100中显示用户对象。
在下一步骤S67，显示控制单元210a对存储在显示队列区域中的用户图像的数量进行计数。例如，显示控制单元210a计算通过合计第三级文件夹的数量而得到的值作为显示队列区域中存储的用户图像的数量，其中，在第三级文件夹的每个中对于与显示队列区域中的识别信息相对应的每个第二级文件夹存储了用户图像和属性信息的组。在下一步骤S68中，显示控制单元210a确定在步骤S67中计数的用户图像的数量是否已超过预定数量。当显示控制单元210a确定计数的用户图像数量未超过预定数量(步骤S68为“否”)时，处理返回到步骤S60。
另一方面，显示控制单元210a确定计数的用户图像数量已经超过预定数量(步骤S68为“是”)，处理进行到步骤S69，显示控制单元210a删除在显示队列区域中的一个用户图像。例如，显示控制单元210a删除在显示队列区域中的第三级文件夹中的最早生成的文件夹。以这种方式，可以将图像100中显示的用户对象的数量限制为常数。在步骤S69中删除的用户图像的数量不限于一个，且可以删除两个或更多个用户图像。
可以禁止从存储在显示队列区域中的用户图像中指定的用户图像的删除。例如，在显示队列区域中，创建具有预定文件夹名称的第二级文件夹，且要被禁止删除的用户图像和对应于用户图像的属性信息被存储在第二级文件夹中创建的第三级文件夹。例如，服务提供商的标志(logo mark)图像作为用户图像存储在文件夹中。即使当用户图像被顺序地存储在显示队列区域中时，标志图像也不被删除，而是继续显示在图像100中。
根据第一实施例的运动确定处理
接下来，对第一实施例的运动确定进行说明。首先，参照图24A和24B示意性地描述传感器13对对象的检测。图24A和24B示出了根据第一实施例的传感器13的检测范围的示例。图24A示出了在与投影介质14的投影表面垂直的第一方向上观察时的传感器13的检测范围的示例。图24B示出当在平行于投影表面的第二方向上观察时的传感器13的检测范围的示例。在图24A和图24B的例子中，安装传感器13，使其检测表面朝上，即检测表面基本上平行于投影介质14的下端，垂直于投影介质14的投影表面。
参照图24A和图24B，传感器13能够在垂直于第一方向的平面上的角度θ1的范围内并且在垂直于第二方向的平面上的角度θ3的范围内检测对象。在第一实施例中，传感器13的在垂直于第一方向的平面上的检测范围被限制在小于角度θ1的角度θ2的范围内，传感器13的在垂直于第二方向的平面上的检测范围被限制在小于角度θ3的角度θ4的范围内。
例如，角度θ2可以被设置为使得传感器13的检测范围不超过在投影介质14的上端处的投影介质14的宽度。优选地，角度θ4足够小于角度θ3，且例如是允许从的第一方向看到的检测范围的角度被视为平面。
以这种方式，通过将传感器13的检测范围设置为比传感器13的容量的检测范围更窄，防止用户的对显示***1a的非预期运动被传感器13检测到。作为如图24B所示，当垂直于投影表面的方向上的检测范围被限制在非常小的角度θ4时，可以容易地获得与投影表面平行的平面上的坐标。
参考图24A和图24B更具体地描述传感器13对对象的位置检测。在一个示例中，考虑其中检测到对象80a和80b的位置的情况。例如，对象80a、80b是向投影介质14伸出的人的手臂。传感器13所要检测的对象不限于人体。
传感器13可以检测检测范围内的对象，且检测被检测到的对象与传感器13的距离以及对象在平行于传感器13的检测表面的平面中的位置。如上所述，传感器13的检测范围被限制在与投影表面垂直的方向上极窄。因此，如图24B所示，在投影表面的方向上极窄的范围81a、81b中检测对象80a、80b。在这种情况下，可以将范围81a、81b分别视为与投影表面平行的位置，且能够忽略对象80a、80b的取向和角度。因此，即使当对象80a和80b在垂直于投影表面的方向上具有长度时，也可以唯一地确定对象在与投影表面平行的平面中的位置。
例如，传感器13对于被检测的对象80a，确定与传感器13的距离y1和对象80a在垂直于传感器13的检测表面并平行于投影表面的平面中的位置x1。在该示例中，位置x1被确定为与通过传感器13的中心的线的距离，但是确定方法不限于该示例。类似地，传感器13确定对象80b的距离y2和位置x2。
传感器13将距离y1和位置x1的一对发送到PC 10a作为检测结果。类似地，传感器13将距离y2和位置x2的一对发送到PC 10a作为检测结果。PC 10a接收检测结果，并将接收到的检测结果提供给运动分析单元220。运动分析单元220基于所提供的检测结果来确定图像100中的坐标。图25示出了以上述方式确定的图像100中的对象80a和80b的坐标的示例。在图25的例子中，将对象80a的坐标确定为坐标(x10，y10)，将对象80b的坐标确定为坐标(x20，y20)。如上所述，运动分析单元220用作被配置为基于传感器13的检测结果而生成图像100中的坐标的坐标生成单元。
运动分析单元220将如此确定的对象80a和80b的坐标提供给显示控制单元210a。显示控制单元210a基于从运动分析单元220提供的坐标和指示提供坐标的时间的时间信息来确定对象80a和80b的操作(运动)。显示控制单元210a基于所确定的运动来控制图标图像的显示和每个用户对象相对于图像100的显示。
根据第一实施例的用户对象的属性
接下来，对根据第一实施例的为用户对象设置的属性进行描述。
首先，如上所述，在第一实施例中，在图像100中设置区域。图26示出了根据第一实施例的图像100中的区域的设置的示例。在图26的例子中，分别在图像100中设置指示天空区域、陆地区域和水域的区域a、区域b和区域c。在这种情况下，天空区域假设天空，就是空中的空间，陆地区域假设陆地，而水域假设湖泊或海洋。要设置在图像100中的区域不限于天空区域、陆地区域和水域。例如，在存储装置1006中存储指示区域a、区域b和区域c的坐标信息。
接下来，更详细地描述根据第一实施例的对用户对象设置的每个属性。在第一实施例中，为用户图像、即用户对象设置属性。图27仅示出了布置在根据第一实施例的纸张50上的属性设置区域42。在图27的例子中，在属性设置区域42中布置6个属性设置部分
Figure GDA0001411758030000261
在属性设置区域42中设置的属性与基于在纸张50上的手绘区域43中绘制的图画46的用户对象相关联。
在图27中例示的六个属性中，属性“行走”(属性类型#1)是对应于指示人或动物行走的方式的运动的属性，且运动以第一速度(低速)移动，，例如。属性“前进”(属性类型#2)是对应于指示汽车移动的方式的运动的属性，且运动例如以比第一速度高的第二速度(高速)移动。属性“飞行”(属性类型#3)是与指示鸟类飞行的方式对应的属性，且运动以第一速度和第二速度之间的中间的第三速度(中速)移动，例如。属性“植物”(属性类型#4)是对应于指示不移动的植物的运动的属性。属性“建筑”(属性类型#5)是指示不移动的建筑物的属性。属性“游泳”(属性类型#6)是对应于指示鱼在水中游泳的方式的运动的属性，且运动以上述第三速度移动。
在第一实施例中，每个属性与图像100中设置的每个区域相关联。图28示出了根据第一实施例的属性和区域之间的关联的示例。在图28的例子中，属性“飞行”与图像100中的区域a(天空区域)相关联。属性“行走”、前进”、“植物”和“建筑物”中的每一个都与区域b(陆地地区)相关联。属性“游泳”与区域c(水域)相关联。
用户对象在图像100中的布置位置根据为用户对象设置的属性而受到限制。在图28的例子中，例如，已经设置了属性“步行”、“前进”、“植物”和“建筑”中的任何一个的用户对象的布置限于作为陆地区域的区域b。更具体地，设置了属性的用户对象被设置为使得图像范围的下端的坐标z具有值0。对于另一示例，属性“游泳”的用户对象的布置已经被设置为作为水域的区域c。在这种情况下，例如，已经设置了属性“游泳”的用户对象被控制为使得图像范围中的中心处的坐标z的值为0，从而指示用户对象与水相关。
在第一实施例中，属性和图标图像进一步彼此关联。图29示出了根据第一实施例的属性和图标图像之间的关联的示例。在图29的例子中，代表“苹果”、葡萄”，“米饭”、“喷水壶”、“油漆”和“饲料”的图标图像图标#1、图标#2、图标#3、图标#4、图标#5和图标#6(Icon#1,Icon#2,Icon#3,Icon#4,Icon#5,and Icon#6)分别被定义为图标图像。图标图像图标#1与属性类型#1和类型#2相关联。类似地，图标图像图标#2与属性类型#3相关联，图标图像图标#4与属性类型#4相关联，图标图像图标#5与属性类型#5相关联，图标图像#6与属性类型#6相关联。图标图像图标#3与所有属性类型#1到类型#6相关联。
图标图像图标#1至图标#6中的每一个与效果相关联。在图29的示例中，图标图像图标Icon#1、图标#2和图标#6与用于临时增加用户对象的移动速度的效果“加速”相关联，且图标图像图标#4而图标#5与用于暂时放大用户对象的显示尺寸的效果“放大”相关联。图标图像图标#3与效果“加速”和效果“放大”相关联。
图标图像图标#1至图标#6中的每一个例如被存储在用户图像DB 230中。不限于此，图标图像图标#1至图标#6中的每一个可以存储在存储装置1006中的预定区域中。
根据第一实施例的运动确定处理
接下来，对根据第一实施例的运动确定处理进行描述。图30是示出根据第一实施例的显示控制单元210a的运动确定处理的示例性流程图。在第一步骤S80中，显示控制单元210a基于传感器13的检测结果来确定在传感器13的检测范围内是否已经检测到对象。当显示控制单元210a确定没有对象已被检测(步骤S80为“否”)，显示控制单元210a将处理返回到步骤S80。另一方面，当显示控制单元210a确定已经检测到对象(步骤S80为“是”)时，显示控制单元210a将处理前进到步骤S81。
在步骤S81，显示控制单元210a基于传感器13的检测结果获取指示图像100中检测到对象的位置的坐标的坐标信息。在下一步骤S82，显示控制单元210a确定在图像100中设置的哪个区域包括由步骤S81获取的坐标信息所指示的坐标。
在下一步骤S83，显示控制单元210a获取图标图像。在这种情况下，例如，显示控制单元210a从上述图标图像图标#
Figure GDA0001411758030000281
图标#6中随机选择图标图像。不限于此，显示控制单元210a可以按照预定顺序选择图标图像图标Icon#1至图标#6。
在下一步骤S84，显示控制单元210a确定在由步骤S81获取的坐标信息指示的图像100中的坐标处是否已经显示了另一个图标图像。在这种情况下，显示控制单元210a可以利用在步骤S81中获取的坐标信息所指示的坐标的余量进行确定。当显示控制单元210a确定没有显示另一个图标图像(步骤S84为“不存在”)时，显示控制单元210a将处理前进到步骤S88，且基于在步骤S81获取的坐标信息在图像100中显示在步骤S83获取的图标图像。
另一方面，当显示控制单元210a在步骤S84确定另一图标图像已经在坐标处显示(在步骤S84为“存在”)时，显示控制单元210a将处理前进到步骤S85。在步骤S85中，显示控制单元210a确定显示的图标图像是否是用于获取屏幕截图的图标图像112。当显示控制单元210a确定图标图像是图标图像112时(步骤S85为“是”)，显示控制单元210a将处理前进到步骤S91。显示控制单元210a将在该时间点处反映用户对象和图标图像的每个的图像100存储在存储器等中作为屏幕截图图像，且通过图像100获取显示图像。显示控制单元210a完成在图30的流程图中的一系列处理。
当显示控制单元210a在步骤S85确定显示的图标图像不是图标图像112时(步骤S85为“否”)，显示控制单元210a使处理进入步骤S86。在步骤S86，显示控制单元210a等待经过预定时间。预定时间是相当短的时间，例如1秒或更短和几秒。当显示控制单元210a确定没有经过预定时间时(步骤S86为“否”)，显示控制单元210a将处理返回到步骤S86。另一方面，当显示控制单元210a确定经过了预定时间时(步骤S86为“是”)，显示控制单元210a将处理前进到步骤S87。
在步骤S87，显示控制单元210a确定在步骤S80检测到的对象是否已经被连续检测。例如，显示控制单元210a可以基于传感器13的检测结果获取当前检测到的对象的坐标，确定所获取的坐标与在步骤S81获取的坐标之间的差异，且确定当确定的差在预定范围内时对象被连续检测到。以这种方式，显示控制单元210a可以检测由传感器13检测到的对象的运动，且显示控制单元210a用作被配置为检测对象的运动的运动检测单元。当显示控制单元210a确定已经连续检测到对象时(步骤S87为“是”)，显示控制单元210a将处理前进到步骤S89。
在步骤S89，显示控制单元210a移动在步骤S84中确定要显示的图标图像。例如，显示控制单元210a将在步骤S84确定为要显示的图标图像移动到在步骤S87获取的坐标。
另一方面，当显示控制单元210a在步骤S87确定在步骤S80检测到的对象尚未被检测到(步骤S87为“否”)时，处理进行到步骤S90。在步骤S90中，显示控制单元210a删除在步骤S84中确定已经显示的图标图像，且将在步骤S83获取的图标图像显示在由步骤S81获取的坐标信息所指示的坐标处。以这种方式，图标图像被切换。
当在步骤S88、步骤S89和步骤S90的上述处理中的任何一个时，显示控制单元210a使处理进入步骤S92。在步骤S92，显示控制单元210a确定在步骤S88、步骤S89或步骤S90显示的图标图像是否与图像100中显示的每个用户对象接触。
例如，显示控制单元210a基于在步骤S88、步骤S89或步骤S90显示的图标图像的坐标和尺寸来获取指示图像100中的图标图像的范围的坐标。显示控制单元210a基于图像100中已经显示的每个用户对象的位置和尺寸来获取指示图像100中的每个用户对象的范围的坐标。
显示控制单元210a基于获取的图标图像和用户对象的范围的坐标来确定图标图像的范围是否与用户对象的范围重叠。当确定的结果指示图标图像的范围与用户对象的范围重叠作为确定的结果时，显示控制单元210a确定图标图像与用户对象接触(存在接触)。当显示控制单元210a确定不存在接触(步骤S92为“不存在”时)，显示控制单元210a将处理前进到步骤S95。
另一方面，当显示控制单元210a在步骤S92确定存在接触(步骤S92存在“接触”)时，显示控制单元210a将处理前进到步骤S93。在步骤S93中，显示控制单元210a确定为在步骤S92确定为与图标图像接触的用户对象设置的属性是否对应于基于其进行接触确定的图标图像(在步骤S88、步骤S89或步骤S90显示的图标图像)的属性。
例如，为已经确定为与图标图像接触的用户对象设置的属性是属性类型#1，且基于其进行确定的图标图像是图标图像图标#1。在这种情况下，在图29的例子中，由于与图标图像图标#1相关联的属性是属性类型#1和类型#2，所以显示控制单元210a确定为在步骤S92确定为与图标图像接触的用户对象设置的属性对应于基于其进行接触确定的图标图像的属性。
当显示控制单元210a在步骤S93确定为用户对象设置的属性不对应于图标图像的属性(步骤S93为“否”)时，显示控制单元210a完成一系列处理。另一方面，当显示控制单元210a在步骤S93确定为用户对象设置的属性对应于图标图像的属性(步骤S93为“是”)时，显示控制单元210a使处理进入步骤S94。在步骤S94中，例如，显示控制单元210a从DB 12a获取效果图像，且基于与确定为与用户对象接触的图标图像的坐标，在图像100中显示所获取的效果图像(效果)。在显示该效果之后，显示控制单元210a使处理进入步骤S95。
在步骤S95，例如，当显示控制单元210a在步骤S92确定没有接触时，显示控制单元210a改变在图像100中的图标图像附近显示的用户对象的显示。在这种情况下显示控制单元210a选择性地改变已经设置了与图标图像相关联的属性的用户对象的显示。例如，显示控制单元210a改变用户对象的显示，使得用户对象以预定速度向图标图像移动。
例如，当显示控制单元210a在步骤S92确定存在接触时，显示控制单元210a改变与图标图像接触、且已经设置了与图标图像相关联的属性的用户对象的显示。在这种情况下，例如，显示控制单元210a可以通过摆动用户对象来强调地显示用户对象。
图31A和31B示出了根据第一实施例的当在步骤S92确定不存在接触时用户对象在图像100中的运动的示例。例如，如图31A所示，在图像100中，已经设置属性类型#3(飞行)的用户对象901、902、903、...，90x根据图31A中的箭头所指示的设置的相应参数p而原始地在随机方向上移动。
在该状态下，根据图30的流程图中的处理来检测对象，且例如，根据图31B所示的检测结果显示作为图29所示的图标图像图标#3(米饭)的图标图像91。图标图像图标#3对应于所有属性类型#1到类型#6。因此，显示控制单元210a控制每个用户对象901、902、903、...和90x的操作，使得用户对象以如图31B中的箭头所示的预定速度向图标图像91移动。
第一实施例的修改
接下来，对第一实施例的修改进行说明。除了上述第一实施例中的显示控制之外，第一实施例的修改涉及当传感器13在相对长的时段中没有检测到运动时执行的显示控制。
更具体地，在第一实施例的修改中，当传感器13在相对长的时段(例如几分钟或更长)中没有检测到的运动时，在图像100中的每个用户对象根据参数p随机地移动的状态下，使每个用户对象执行预定的操作。以这种方式，可以聚集访问由显示***提供服务的活动场所的用户的视线。
在第一实施例的修改中，可以直接使用根据第一实施例的上述显示***1a，因此省略对每个配置的描述。
图32是示出根据第一实施例的修改的由显示控制单元210a进行的运动确定处理的示例性流程图。在图32中，与上述图30的流程图对应的处理用相同的附图标记示出，并省略详细的说明。
在图32中，在第一步骤S80'中，显示控制单元210a基于传感器13的检测结果来确定在传感器13的检测范围内是否已经检测到对象。当确定已经检测到对象(步骤S80'为“是”)，显示控制单元210a将处理前进到步骤S81。另一方面，当确定没有检测到对象(步骤S80'为“否”)时，显示控制单元210a将处理前进到步骤S800。
在步骤S800中，例如，显示控制单元210a确定由传感器13检测到对象以来是否经过了第一预定时段。当显示控制单元210a确定为没有经过第一预定时段(“否”步骤S800)时，显示控制单元210a将处理返回到步骤S80'。
例如，第一预定时段是这样的时段，即，在该时段中，可以确定访问由显示***1a提供服务的活动场所的用户的视线是否聚集在投影在活动场所中的投影介质14上的图像100上。第一预定时段的示例包括数分钟或更长时间。
图32中的步骤S86'在图30的流程图中的步骤S86的处理中是共同的。用于确定经过的时段是与从步骤S800确定的时段(第一预定时段)相区别的第二预定时段。
当显示控制单元210a在步骤S800确定经过了第一预定时段时(步骤S800为“是”)，显示控制单元210a将处理前进到步骤S801。在步骤S801中，显示控制单元210a控制图像100的显示，使得显示在图像100中的每个用户对象的操作变为预定的操作。
预定操作的示例包括其中在随机方向上移动的用户对象现在在一个方向上移动的操作。预定操作的另一示例是停止每个用户对象的移动并且每个用户对象在此刻以预定方式摆动的操作。预定操作的另一示例是每个用户对象示出预定字符串的图像的操作。
在步骤S801控制每个用户对象的操作之后，显示控制单元210a将处理返回到步骤S80'。当在步骤S801的处理之后、显示控制单元210a在步骤S80'基于传感器13的检测结果确定检测到对象时，例如，显示控制单元210a可以根据参数p将每个用户对象的操作返回为随机运算。
步骤S81之后的处理与图30的上述流程图中的步骤S81之后的处理完全不同，因此省略其说明。
第二实施例
接下来，描述第二实施例。在第二实施例中，获取声音信息，且基于所获取的声音信息来改变显示在图像100中的用户对象。图33示出了根据第二实施例的显示***的示例性配置。在图33中，与上述图1共同的部分用相同的附图标记示出，并省略详细的说明。
在图33中，省略了图1所示的图像获取设备20和识别图像读取设备21的图示。对于图33所示的PC 10d，可以直接应用上面参考图12描述的配置。
在图33中，在显示***1d中，用于收集声音的麦克风15安装在投影介质14的附近，且从麦克风15输出的声音信号被提供给PC 10d。以模拟格式从麦克风15输出的声音信号在通过A/D转换器转换成数字格式声音信号之后被提供给PC 10d。例如，数字格式声音信号被输入到在PC 10d中包括的数据I/F 1007。
除了存储在上述DB 12a中的信息之外，DB 12d还存储与声音相关的信息。例如，DB12d可以彼此相关联地存储声音图案和用户图像。
通过这样的配置，用户预先将用户图像和属性信息与识别信息相关联地存储在DB12d中。用户指定声音图案，且将指定的声音图案与识别信息相关联地存储在DB 12d中。在这种状态下，例如，用户在麦克风15可以收集声音的位置处产生与登记的声音图案相对应的声音。例如，声音图案是给定的节奏图案，可以通过鼓掌来表达。
对应于声音图案的声音由麦克风15收集并转换成声音信号以提供给PC10d。PC10d分析所提供的声音信号以提取声音图案，且在DB 12d中搜索与提取的声音图案匹配的声音图案。结果，当从DB 12d检索到与提取的声音图案匹配的声音图案时，PC 10d获取与检索到的声音图案相关联的识别信息。
当与所获取的识别信息相关联的用户图像的用户对象已经被显示在图像100中时，每个用户对象朝向产生声音的位置、即麦克风15的位置移动。在在这种情况下，例如，如图34所示，选择性地控制存在于相对于与麦克风15的位置相对应的图像100的位置16的、在图像100中的预定范围17中的用户对象，以朝向位置18移动。
当与所获取的识别信息相关联的用户图像的任何用户对象未被显示在图像100中时，PC 10d从DB 12d获取与识别信息相关联的用户图像，并将所获取的用户图像显示在图像100中作为用户对象。在这种情况下，可以预先确定用户对象的外观位置。例如，外观位置可以是图像100中的右端部或左端部。
图35是示出根据第二实施例的PC 10d的功能的示例性功能框图。在图35中，与上述图13共同的部分用相同的附图标记示出，并省略详细的说明。在图35中，通过将语音处理单元240添加到图13所示的PC 10a的配置中来获得PC 10d。通过向图13所示的图像分析单元200、登记单元201和显示控制单元210a添加与声音信息的处理相关的功能来获得图像分析单元200d、登记单元201d和显示控制单元210d。用户图像DB 230也可以在其中存储与声音信息相关联的识别信息或用户图像。
图36是示出根据第二实施例的显示控制单元210d的功能的示例性功能框图。在图36中，与上述图15共同的部分用相同的标号示出，省略详细的说明。在图36中，显示控制单元210d是通过将声音图案检测单元2108添加到图15所示的显示控制单元210a而获得的。图像管理单元2101d和图像控制单元2103d是通过分别向上述图像管理单元2101和图像控制单元2103a添加用于基于声音信息来执行处理的功能而获得的。
从麦克风15输出并转换为数字格式信号的声音信号被提供给语音处理单元240。语音处理单元240对所提供的声音信号执行预定的信号处理，并将结果提供给显示控制单元210d作为声音信息。声音信息被提供给显示控制单元210d中的声音图案检测单元2108。声音图案检测单元2108基于所提供的声音信息来检测声音图案。检测到的声音图案被提供给图像管理单元2101d。图像管理单元2101d基于所提供的声音图案来搜索用户图像DB230，并将识别信息或指示作为搜索结果而获得的用户图像的信息提供给图像控制单元2103d。
图37A和37B示出了根据第二实施例的用于用户来指定声音图案的示例性格式。如图37A所示，在声音图案指定区域420中提供用于指定声音图案的图案指定单元421。在该示例中，通过布置8个复选框来形成图案指定单元421。八个复选框可以对应于八进制节拍，使得空白复选框被视为休止符，且被填充并选中的复选框被视为音符。图37B示出了其中一些复选框被填充的图案指定单元421'的示例。例如，当以按照由图案指定单元421'指示的音符和休止符的给定速度产生声音时，可以生成由图案指定单元421'指定的声音图案(pattern)。
例如，除了属性设置区域42、手绘区域43和放置区域44之外，还将图37A中示出的声音图案指定区域420布置在纸张50上。在这种情况下在声音图案指定区域420中指定的声音图案与用户图像相关联。不限于此，声音图案指定区域420可以布置在与布置有属性设置区域42、手绘区域43和布置区域44的纸张50不同的纸张上。在这种情况下，例如，在声音图案指定区域420中指定的声音图案可以与识别信息相关联。
在下文中，为了描述，将声音图案指定区域420与属性设置区域42、手绘区域43和放置区域44一起布置在纸张50上。换句话说，声音图案与用户图像相关联。
此外，在这种情况下，例如除了纸张50之外还准备了包括声音图案指定区域420的纸张，且与介质40类似地放置在纸张50上。以这种方式，声音图案可以与用户图像相关联。
在上述说明中，直接在声音图案指定区域420中指定声音图案，但是指定方法不限于该示例。例如，可以从预先准备的声音图案中选择期望的声音图案。
在上述描述中，勾选声音图案指定区域420中的复选框以登记声音图案，但是登记方法不限于该示例。例如，可以基于实际由用户生成的声音图案来登记声音图案。例如，由用户通过诸如鼓掌的动作而产生的声音图案由麦克风15收集，并作为声音信号提供给PC10d。PC 10d分析所提供的声音信号以检测声音图案，将检测到的声音图案与从显示在介质40上的识别图像41获取的识别信息相关联，并将声音图案登记在用户图像DB 230中。
在这种情况下，优选地，使用PC 10d等来显示用于提示声音图案的登记的消息和用于指示开始登记(开始记录)的用户界面。以给定的间隔生成点击声音使得更容易登记声音图案。
图38是示意性地示出了根据第二实施例的用于显示由图像获取设备20获取的图像的处理的示例性流程图。在图38中，与上述的图16共同的处理用相同的附图标记示出，并省略详细的说明。
在图38的处理之前，用户准备在其上根据处理识别信息的识别图像41的介质40和纸张50，在纸张50上绘制预定的图画，且在布置在纸张50中的声音图案指定区域420中指定声音图案。之后，用户将纸张50设置在图像获取设备20上，将放置区域44中的介质40放置在纸张50上，并使图像获取设备20开始图像获取处理。图像获取设备20将所获取的图像发送到PC10d。
PC 10d接收从图像获取设备20发送的图像，并将接收到的图像提供给图像分析单元200d。图像分析单元200d获取所提供的图像(步骤S10)。在下一步骤S210中，图像分析单元200b从所提供的图像中检测手绘区域43、属性设置区域42和声音图案指定区域420，且从各检测区域提取用户图像、属性信息和声音图案信息。图像分析单元200d从所提供的图像中提取识别图像，且对所提取的识别图像进行解码以获取识别信息。
在下一步骤S12，登记单元201d将在步骤S210中提取的用户图像、属性信息和声音图案信息与识别信息相关联地存储在用户图像DB 230中，从而登记用户图像。例如，登记单元201d将声音图案信息与用户图像和属性信息一起存储在上面参考图23描述的第三级文件夹中。通过将声音图案信息直接存储在第二级文件夹中，共同声音图案信息可以与存储在每个第三级文件夹中的每个用户图像相关联。
在下一步骤S13中，如上所述，显示控制单元210d设置用于控制用户图像的显示的参数p0至p7。在步骤S14中，显示控制单元210d在已经设置了参数p的用户图像的限定区域中设置坐标，且将用户图像与背景图像110组合以生成图像100。以这种方式，在定义为限定区域的3D空间中显示用户图像作为用户对象。
图39是示意性地示出根据第二实施例的基于声音图案的用户图像显示处理的示例性流程图。例如，在图39的流程图中的处理之前，用户根据图38中的上述流程图预先将用户图像、属性信息和声音图案信息与识别信息相关联地登记到用户图像DB 230中。
例如，用户通过鼓掌向麦克风15产生在纸张50上的声音图案指定区域420中指定的声音图案。从麦克风15输出的声音信号被输入到PC 10d，经由语音处理单元240作为声音信息提供给显示控制单元210d。显示控制单元210d使用声音图案检测单元2108，根据所提供的声音信息来分析声音图案(步骤S200)。例如，声音图案检测单元2108可以基于声音信息对声音信号的电平进行标准化，且对标准化后的电平执行阈值确定以检测声音图案。
在下一步骤S201，显示控制单元210d基于检测到的声音图案搜索用户图像DB230，且从用户图像DB 230获取与声音图案相关联的用户图像。在下一步骤S202，显示控制单元210d类似于图16中的步骤S13的处理，确定在步骤S201获取的用户图像的参数p0至p7，且为各个用户图像设置参数p0至p7。
在下一步骤S203中，显示控制单元210d在已经设置了参数p的用户图像的限定区域中设置坐标，且将用户图像与背景图像110组合以生成图像100。在以这种方式，与声音图案相关联的每个用户图像在被定义为限定区域的3D空间中被显示为用户对象。
在步骤S203中，每个用户对象新出现并显示在图像100中。在这种情况下，可以预先确定用户对象的外观位置。例如，外观位置可以是图像100中的右端部或左端部。
图40是示出在根据第二实施例的在图像100中已经显示与声音图案相关联的用户图像的用户对象时执行的显示处理的示例性流程图。在PC 10d中，显示控制单元210d开始用麦克风15收集声音(步骤S220)。
在下一步骤S221，显示控制单元210d确定在给定时段内是否没有检测到声音。例如，显示控制单元210d使用RAM 1003作为缓冲存储器，在其中存储具有与假设声音图案对应的长度的声音信号，且基于存储的声音信号来确定是否存在声音。当显示控制单元210d确定在给定时段内没有检测到声音时(步骤S221为“是”)，显示控制单元210d将处理返回到步骤S221。
在该时段逐渐变化的情况下，重复执行步骤S221的处理。在缓冲存储器中，始终存储给定时段的声音信号，同时时段一点一点偏移，直到声音收集完成。
当显示控制单元210d确定在给定时段内已经检测到声音(步骤S221为“否”)时，显示控制单元210d使处理进入步骤S222。在步骤S222中，显示控制单元210d获取对应于已经检测到声音的位置的图像100中的坐标。
在图33中的上述示例中，仅布置了一个麦克风15，因此检测到声音的位置对应于麦克风15的位置。不限于此，可以在投影介质14的每个端部处安装一个麦克风以立体声收集声音。当以立体声收集声音时，投影介质14的水平方向上的任何位置都可以是声音检测位置。
在下一步骤S223，显示控制单元210d基于存储在缓冲存储器中的声音信号来分析声音图案。在下一步骤S224中，显示控制单元210d将在步骤S223中分析和获取的声音图案与登记在用户图像DB 230中的声音图案进行比较。在下一步骤S225，显示控制单元210d确定用户图像DB 230具有与在步骤S223获取的声音图案相匹配的声音图案。当显示控制单元210d确定用户图像DB 230没有与在步骤S223获取的声音图案匹配的任何声音图案(步骤S225为“否”)时，显示控制单元210d将处理返回到步骤S221。
另一方面，当显示控制单元210d确定用户图像DB 230具有与在步骤S223获取的声音图案匹配的声音图案(步骤S225为“是”)时，显示控制单元210d将处理前进到步骤S226。在步骤S226，显示控制单元210d从显示队列区域获取与匹配的声音图案相关联的用户图像。在下一步骤S227中，显示控制单元210d向在已经检测到声音的步骤S222获取的坐标移动与从显示队列区域获取的用户图像相对应的用户对象。显示控制单元210d将处理返回到步骤S221。
以这种方式根据声音的检测来控制用户对象的运动使得用户对象的运动具有交互性。
在基于上述麦克风15收集的声音来检测声音图案的情况下，检测方法不限于此。例如，可以使用诸如音乐乐器的乐器来检测声音图案。乐器的示例包括通过向诸如响板之类的打击乐器提供开关而形成的乐器，使得当乐器被敲击时输出信号。从乐器输出的信号提供给PC 10d。PC 10d分析从乐器提供的信号来检测声音图案。在这种情况下，通过在乐器的输出信号中包含关于乐器的位置信息，可以进行基于步骤S227的坐标的控制。关于乐器的位置信息可以预先设置到乐器。传感器13可以检测关于乐器的位置信息。
第二实施例的第一修改
接下来，对第二实施例的第一修改进行说明。在第二实施例的第一修改中，在第二实施例中的通过声音对用户对象的控制与上述第一实施例中的从识别图像41的用户图像的获取相结合。
图41示出了根据第二实施例的第一修改的显示***的示例性配置。在图41中，与上述图1和图33所示相同的部分用相同的附图标记示出，并省略详细的说明。在图41中，省略了图1所示的图像获取设备20和识别图像读取设备21的图示。
在图41中，在显示***1e中，识别图像读取设备16被提供在投影介质14附近，期望地靠近麦克风15。识别图像读取设备16具有与上述识别图像读取设备21相同的功能。识别图像读取设备16获取介质40的图像，从获取的图像中读取显示在介质40上的识别图像41，并将识别图像41提供给PC10e。
识别图像读取设备16可以独立于识别图像读取设备21被提供作为设备，或者可以与识别图像读取设备21共享。对于PC 10e，可以直接应用参考图12上述的PC 10a的配置，且可以直接应用上面参照图35描述的功能。因此，省略对PC 10e的配置和功能的描述。例如，识别图像读取设备16的输出被提供给PC 10e中的显示控制单元(对应于图35中的显示控制单元210d)。
与上述第二实施例中的DB 12d类似，DB 12e可以在其中彼此相关联地存储声音图案和用户图像。更具体地，DB 12e包括用户图像DB 230和显示图像DB 231，且用户图像DB230在其中与识别信息相关联地存储用户图像、属性信息和声音图案信息。
图42是示意性地示出根据第二实施例的第一修改的处理的示例性流程图。在图42的流程图中进行处理之前，用户根据例如上述图38的流程图，在用户图像DB 230中与识别信息相关联地预先登记用户图像、属性信息和声音图案信息。
在步骤S240，PC 10e基于从由识别图像读取设备16读取的介质40的图像获取的识别信息来搜索DB 12e，并指定与识别信息相关联的用户图像。
例如，用户将其中识别图像41被显示在其上的介质40设置在识别图像读取设备16上。响应于来自用户操作的指示，识别图像读取设备16读取介质的图像40，并将读取的图像发送到PC 10e。PC10e解码从识别图像读取设备16发送的图像中包含的识别图像41，并获取识别信息。PC 10e基于所获取的识别信息搜索包含在DB 12e中的用户图像DB 230，并指定与识别信息相关联的用户图像。
接下来，在步骤S241中，PC10e基于从麦克风15提供的声音信号获取声音图案，且基于所获取的声音图案来搜索DB 12e，以指定与声音图案相关联的用户图像。
例如，用户向麦克风15生成通过鼓掌将与用户图像相关联地预先登记的声音图案。从麦克风15输出的声音信号被输入到PC 10e。如上面对于图39中的步骤S201所述，PC10e从输入声音信号中检测声音图案。基于检测到的声音图案，PC 10e搜索包含在DB 12e中的用户图像DB 230来指定与声音图案相关联的用户图像。
在下一步骤S242中，基于步骤S240和步骤S241的处理结果，PC 10e在图像100上显示与识别信息和声音图案共同指定的用户图像作为3D空间中的对象。
例如，PC 10e与相应的属性信息一起从DB 12e中包括的用户图像DB 230获取与识别信息和声音图案共同指定的用户图像。基于属性信息，PC 10e类似于图16中的步骤S13的处理来确定所获取的用户图像的参数p0至p7。PC10e设置用于已经设置了每个参数p的用户图像的限定区域中的坐标，且将用户图像与背景图像110组合以生成图像100。以这种方式，与识别信息和声音图案共同指定的每个用户图像被显示为在定义为限定区域的3D空间中的用户对象。
示意性地描述了第二实施例的第一修改的应用示例。例如，根据第二实施例的第一修改，父母和孩子用户(父母为用户A，孩子为用户B)被假定为使用显示***1e的用户。用户A在识别图像读取设备16上设置显示识别图像41的介质40，并使识别图像读取设备16读取介质40的图像。优选地，识别图像读取设备16被配置为检测到介质40已被设置，且自动开始读取图像。
例如，用户B通过鼓掌生成在麦克风15附近预先登记的声音图案。以这种方式，在图像100上出现基于识别图像41和声音图案的与识别信息共同指定的用户图像相关联的用户对象。
该配置使得作为父母的用户A能够观看作为孩子的用户B，且使得显示***1e能够基于媒介40上的识别图像41来指定与识别信息相关联的用户图像。因此例如，用户在麦克风15前保持有节奏的鼓掌，显示***1e可以指定与节奏相关联并与识别信息相关联的用户图像，并将图像100中的指定的用户图像显示为用户对象。
例如，图像100的一部分(优选的是右端或左端)被预先设置为用户对象的重入区域。为了使已经从图像100退出的用户对象、例如已经从图像100中移出的用户对象再次出现在图像100中，用户A在识别图像读取设备16上设置在其上显示识别图像41的媒介40，且请求用户B执行用预先登记的节奏鼓掌的操作。以这种方式，可以在给予游戏享受的同时改善用户B的节奏感。
第二实施例的第二修改
更优选的是，根据图41所示的第二实施例的第一修改的显示***1e被提供有被配置为在识别图像读取设备16附近呈现操作引导的PC。图43示出了根据第二实施例的第二修改的提供有操作引导PC的显示***的示例配置。在图43中，与上述的图1和图41所示的相同部分用相同的附图标记示出，并省略详细的说明。在图43中，省略了图1所示的图像获取设备20和识别图像读取设备21的图示。
在图43中，通过将PC 70添加到图41中的显示***1e来获得显示***1e'。与PC10e类似，PC 70可以基于从识别图像读取设备16输出的图像来获取识别信息。此外，PC 70可以从包含在DB 12e中的用户图像DB 230获取与识别信息相关联的用户图像、属性信息和声音图案信息的组。
对于PC 70，可以直接应用上面参考图12描述的PC 10a的配置，因此省略对PC 70的配置的描述。
PC 70可以从DB 12e获取与从识别图像读取设备16输出的图像相关联的与识别信息相关联的用户图像，且将所获取的用户图像显示在包括在PC 70中的监视器上。在这种情况下，PC 70可以通过减小所获取的用户图像的尺寸来生成缩略图，且在监视器上显示缩略图的列表。
例如，在纸张50上提供用于在手绘区域43中写入图像的名称的名称写入区域的情况下，写入该名称写入区域的名称信息可以被显示在监视器上。例如，PC 10e从图像获取设备20获取的纸张50的图像中进一步提取在名称写入区域中的图像，并与用户图像、属性信息和声音图案信息一起与识别信息相关联地将提取的图像存储在DB 12e中包含的用户图像DB 230中作为名称信息。PC 10e可以使用通过对名称写入区域中的图像执行字符识别而获得的字符串作为名称信息。PC 70基于从识别图像读取设备16输出的图像从DB 12e获取与识别信息相关联的名称信息，并在监视器上显示名称信息的列表。
PC 70可以从DB 12e获取与由用户操作从上述缩略图或名称信息的列表中指定的缩略图或名称信息相对应的声音图案信息，并将所获取的声音图案信息呈现给用户作为要生成的声音图案的引导。声音图案的引导可以通过显示在监视器上而被呈现给用户作为诸如乐谱的视觉信息，或者可以通过根据声音图案生成声音来呈现给用户作为声音信息。
对于另一示例，用户B的位置可以由传感器13检测，且与图像100中的识别信息相关联的用户图像的用户对象可以根据检测到的位置而移动。在一个示例中，当用户B在图像100(投影介质14)的前方从一侧移动到另一侧时，与识别信息相关联的用户图像的用户对象在根据用户B的移动的一行上移动。可以使用诸如如上所述的提供有开关的响板的乐器。在这种情况下，可以通过使用在乐器内部的陀螺传感器来提供位置检测机构来检测乐器的位置，或者可以附加地提供被配置为检测乐器的位置的传感器。
虽然上述各实施例是本发明的优选实施例，但是本发明不限于此，且可以在不脱离本发明的要点的范围内进行各种修改。
上述实施例是说明性的，并不限制本发明。因此，根据上述教导，许多额外的修改和变化是可能的。例如，本文不同的说明性和示例性实施例的至少一个元件可以在本公开和所附权利要求的范围内彼此组合或彼此替代。此外，实施例的部件的特征，例如数量、位置和形状不限于实施例，因此可以优选地设置。因此，应当理解，在所附权利要求的范围内，本发明的公开可以以与本文具体描述的不同的方式实施。
本文描述的方法步骤，过程或操作不应被解释为必须要求其以所讨论或示出的特定顺序执行，除非被特别地标识为性能顺序或通过上下文清楚地识别。还应当理解，可以采用附加的或替代的步骤。
此外，上述装置、设备或单元中的任一个可以被实现为诸如专用电路或设备的硬件设备，或者作为执行软件程序的处理器的硬件/软件组合。
此外，如上所述，本发明的上述和其它方法中的任一个可以以存储在任何种类的存储介质中的计算机程序的形式来实现。存储介质的示例包括但不限于软盘、硬盘、光盘、磁光盘、磁带、非易失性存储器、半导体存储器、只读存储器(ROM)等。
或者，本发明的上述和其它方法中的任何一个可以由专用集成电路(ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA))来实现，其通过将常规组件电路的适当网络或其组合与一个或多个常规通用微处理器或信号处理器相应地编程。
所描述的实施例的每个功能可以由一个或多个处理电路或电路来实现。处理电路包括编程处理器，因为处理器包括电路。处理电路还包括诸如专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)以及被布置为执行所述功能的常规电路组件。

Claims (12)

1.一种显示装置，包括：
图像获取单元，被配置为获取包括由用户在实体纸张上绘制的图画的图像；
图像提取单元，被配置为从获取的图像中提取第一图像，所述第一图像是在所述实体纸张上绘制的所述图画的图像；
登记单元，被配置为登记指示针对提取的第一图像在所述实体纸张上预先设置的且用于控制在屏幕上移动第一图像的属性的属性信息；
显示控制单元，被配置为控制屏幕上的显示；
坐标生成单元，被配置为基于被配置为检测三维空间中的对象的位置的检测单元的检测结果，生成对象在屏幕中的坐标；以及
运动检测单元，被配置为基于所述坐标来检测三维空间中的对象的运动，其中
所述显示控制单元被配置为当所述运动检测单元检测到运动时，基于与检测到的运动对应的坐标，在所述屏幕上显示第二图像，以及改变具有与所述第二图像的属性相对应的属性的所述第一图像的显示。
2.根据权利要求1所述的显示装置，其中，所述显示控制单元被配置为当所述运动检测单元检测到所述运动时，朝向所述第二图像的位置移动所述第一图像的位置。
3.根据权利要求1所述的显示装置，其中，所述显示控制单元被配置为当在所述屏幕上显示所述第二图像时执行用于强调显示了所述第二图像的强调处理。
4.根据权利要求3所述的显示装置，其中，所述显示控制单元被配置为在所述第二图像附近进一步显示第三图像作为所述强调处理。
5.根据权利要求3所述的显示装置，其中，所述显示控制单元被配置为基于所述坐标来确定所述第二图像的至少一部分是否与所述第一图像重叠，以及当确定所述第二图像的至少一部分与第一图像重叠时，将第一图像的显示改变为强调处理。
6.根据权利要求1所述的显示装置，其中，所述显示控制单元被配置为将所述第一图像布置在具有与所述屏幕内的所述第一图像的属性对应的属性的区域中。
7.根据权利要求1所述的显示装置，还包括显示图像获取单元，被配置为获取所述屏幕上的显示内容作为捕获图像，其中
所述显示控制单元被配置为当所述坐标被包括在屏幕中的预定区域中时，指示所述显示图像获取单元获取所述捕获图像。
8.根据权利要求1所述的显示装置，其中，所述显示控制单元被配置为当在给定时段内未获得所述检测结果时，改变所述第一图像的显示。
9.根据权利要求1、3、4、5、6、7和8中任一项所述的显示装置，其中，所述第一图像是由用户呈现的显示图像，以及所述第二图像是预先存储在存储单元中的图像。
10.一种显示控制方法，包括：
获取包括由用户在实体纸张上绘制的图画的图像；
从获取的图像中提取第一图像，所述第一图像是在所述实体纸张上绘制的所述图画的图像；
登记指示针对提取的第一图像在所述实体纸张上预先设置的且用于控制在屏幕上移动第一图像的属性的属性信息；
控制屏幕上的显示；
基于被配置为检测三维空间中的对象的位置的检测单元的检测结果，生成对象在屏幕中的坐标；以及
基于所述坐标来检测三维空间中对象的运动，其中
所述显示包括在所述屏幕上显示第一图像，以及当所述运动检测检测到运动时，基于与检测到的运动相对应的坐标，在所述屏幕上进一步显示第二图像，以及改变具有与所述第二图像的属性相对应的属性的所述第一图像的显示。
11.一种包含计算机程序的计算机可读记录介质，所述计算机程序使得计算机执行：
获取包括由用户在实体纸张上绘制的图画的图像；
从获取的图像中提取第一图像，所述第一图像是在所述实体纸张上绘制的所述图画的图像；
登记指示针对提取的第一图像在所述实体纸张上预先设置的且用于控制在屏幕上移动第一图像的属性的属性信息；
控制屏幕上的显示；
基于被配置为检测三维空间中的对象的位置的检测单元的检测结果，生成对象在屏幕中的坐标；以及
基于所述坐标来检测三维空间中对象的运动，其中
所述控制包括在所述屏幕上显示第一图像，以及当所述运动检测检测到运动时，基于与检测到的运动相对应的坐标，在所述屏幕上进一步显示第二图像，以及改变具有与所述第二图像的属性相对应的属性的所述第一图像的显示。
12.一种显示***，包括：
图像获取单元，被配置为获取包括由用户在实体纸张上绘制的图画的图像；
图像提取单元，被配置为从获取的图像中提取第一图像，所述第一图像是在所述实体纸张上绘制的所述图画的图像；
登记单元，被配置为登记指示针对提取的第一图像在所述实体纸张上预先设置的且用于控制在屏幕上移动第一图像的属性的属性信息；
存储单元，被配置为在其中存储第二图像；
显示控制单元，被配置为控制屏幕上的显示；
坐标生成单元，被配置为基于被配置为检测三维空间中的对象的位置的检测单元的检测结果，生成对象在屏幕中的坐标；以及
运动检测单元，被配置为基于所述坐标来检测三维空间中对象的运动，其中
所述显示控制单元被配置为在屏幕上显示所述第一图像，以及当所述运动检测单元检测到运动时，基于与检测到的运动对应的坐标，在所述屏幕上进一步显示第二图像，以及改变具有与所述第二图像的属性相对应的属性的所述第一图像的显示。
CN201680016680.3A 2015-03-20 2016-03-07 显示装置、显示控制方法、计算机可读记录介质和显示*** Active CN107533416B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-058418 2015-03-20
JP2015058418 2015-03-20
PCT/JP2016/057043 WO2016152486A1 (ja) 2015-03-20 2016-03-07 表示装置、表示制御方法、表示制御プログラムおよび表示システム

Publications (2)

Publication Number Publication Date
CN107533416A CN107533416A (zh) 2018-01-02
CN107533416B true CN107533416B (zh) 2021-03-16

Family

ID=56978440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680016680.3A Active CN107533416B (zh) 2015-03-20 2016-03-07 显示装置、显示控制方法、计算机可读记录介质和显示***

Country Status (6)

Country Link
US (1) US10049605B2 (zh)
EP (1) EP3273331A4 (zh)
JP (1) JP6521055B2 (zh)
CN (1) CN107533416B (zh)
SG (1) SG11201707278SA (zh)
WO (1) WO2016152486A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11201707278SA (en) * 2015-03-20 2017-10-30 Ricoh Co Ltd Display apparatus, display control method, display control program, and display system
US10802700B2 (en) * 2016-11-25 2020-10-13 Sony Corporation Information processing apparatus and information processing method
JP6857795B2 (ja) * 2017-12-28 2021-04-14 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
JP6590324B2 (ja) 2017-12-28 2019-10-16 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
CN109167930A (zh) * 2018-10-11 2019-01-08 Oppo广东移动通信有限公司 图像显示方法、装置、电子设备和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063231A (zh) * 2011-01-13 2011-05-18 中科芯集成电路股份有限公司 一种基于图像检测的非接触式电子白板***及检测方法
CN103530903A (zh) * 2013-10-28 2014-01-22 智慧城市***服务（中国）有限公司 一种虚拟试衣间的实现方法及实现***
CN103823554A (zh) * 2014-01-12 2014-05-28 青岛科技大学 一种数字化虚实交互***及方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5854634A (en) * 1995-12-26 1998-12-29 Imax Corporation Computer-assisted animation construction system using source poses within a pose transformation space
EP1710751A1 (en) * 2004-01-06 2006-10-11 Sony Corporation Image processing device and method, recording medium, and program
CN101308441B (zh) * 2004-10-12 2010-09-22 日本电信电话株式会社 三维显示控制方法和三维显示控制装置
JP2006185224A (ja) * 2004-12-28 2006-07-13 Fujinon Corp 電子アルバム作成装置
KR100554484B1 (ko) * 2005-05-12 2006-03-03 삼성전자주식회사 동작 인식이 가능한 휴대용 단말기 및 동작 인식 방법
US9216350B2 (en) * 2007-03-26 2015-12-22 Ricoh Company, Ltd. Information processing apparatus, information processing method, information processing program, and storage medium storing information processing program
JP4907483B2 (ja) * 2007-09-28 2012-03-28 パナソニック株式会社 映像表示装置
JP5476685B2 (ja) 2007-11-09 2014-04-23 株式会社リコー 情報処理装置、画像処理装置、情報処理装置の制御方法、情報処理プログラム及び記録媒体
CN101344816B (zh) * 2008-08-15 2010-08-11 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
JP2010122879A (ja) * 2008-11-19 2010-06-03 Sony Ericsson Mobile Communications Ab 端末装置、表示制御方法および表示制御プログラム
WO2011003218A1 (zh) * 2009-07-07 2011-01-13 Han Zheng 一种加速度动作识别***及其方法
JP5827007B2 (ja) * 2010-10-15 2015-12-02 任天堂株式会社 ゲームプログラム、画像処理装置、画像処理システム、および画像処理方法
CN102750067B (zh) * 2011-04-19 2015-04-22 中国科学院软件研究所 一种基于手持设备的大屏幕交互方法
US9367233B2 (en) * 2011-10-31 2016-06-14 Samsung Electronics Co., Ltd. Display apparatus and method thereof
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN102722243A (zh) * 2012-05-23 2012-10-10 苏州佳世达电通有限公司 三维空间操作与显示的方法
KR20130131154A (ko) * 2012-05-23 2013-12-03 삼성전자주식회사 디스플레이 장치, 디스플레이 장치와 연결된 입력 장치 및 그 제어 방법
JP6361146B2 (ja) * 2013-05-09 2018-07-25 株式会社リコー 表示制御プログラム、表示制御方法および表示制御装置、ならびに、表示システム
CN103744518B (zh) * 2014-01-28 2016-09-28 深圳超多维光电子有限公司 立体交互方法及其显示装置和***
JP6558006B2 (ja) * 2015-03-20 2019-08-14 株式会社リコー 画像管理装置、画像管理方法、画像管理プログラムおよび表示システム
SG11201707278SA (en) * 2015-03-20 2017-10-30 Ricoh Co Ltd Display apparatus, display control method, display control program, and display system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063231A (zh) * 2011-01-13 2011-05-18 中科芯集成电路股份有限公司 一种基于图像检测的非接触式电子白板***及检测方法
CN103530903A (zh) * 2013-10-28 2014-01-22 智慧城市***服务（中国）有限公司 一种虚拟试衣间的实现方法及实现***
CN103823554A (zh) * 2014-01-12 2014-05-28 青岛科技大学 一种数字化虚实交互***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Newb: The People"s Nerd:"Newb Plays: Sims 4 (48 hour Demo Play)"";youtube;《URL:https://www.youtube.com/watch?v =SjKI DvKG6Vk》;20150124;视频文件0:0-53:37 *

Also Published As

Publication number Publication date
CN107533416A (zh) 2018-01-02
US20180005555A1 (en) 2018-01-04
SG11201707278SA (en) 2017-10-30
EP3273331A4 (en) 2018-04-18
JPWO2016152486A1 (ja) 2017-12-28
WO2016152486A1 (ja) 2016-09-29
JP6521055B2 (ja) 2019-05-29
US10049605B2 (en) 2018-08-14
EP3273331A1 (en) 2018-01-24

Similar Documents

Publication Publication Date Title
EP3271838B1 (en) Image management device, image management method, image management program, and presentation system
CN107533416B (zh) 显示装置、显示控制方法、计算机可读记录介质和显示***
RU2669717C2 (ru) Система рукописного ввода/вывода, лист рукописного ввода, система ввода информации и лист, обеспечивающий ввод информации
KR100953606B1 (ko) 화상 표시 장치, 화상 표시 방법 및 명령 입력 방법
US20150123966A1 (en) Interactive augmented virtual reality and perceptual computing platform
JP5368585B2 (ja) 情報処理装置、その方法、および、表示装置
AU2015332046A1 (en) Street-level guidance via route path
US10819902B2 (en) Information processing apparatus and non-transitory computer readable medium
JP2004355494A (ja) 表示インタフェース方法および装置
JP4979895B2 (ja) ディスプレイ制御装置、ディスプレイ制御方法、ディスプレイ制御プログラム、およびディスプレイ
TWI385559B (zh) Expand the real world system and its user interface method
KR20140078083A (ko) 증강 현실이 구현된 만화책
KR20100124571A (ko) 증강 현실을 이용한 정보 안내 장치 및 그 방법
US20230377363A1 (en) Machine learning based multipage scanning
KR102635477B1 (ko) 증강현실 기반의 공연 콘텐츠 제공장치 및 방법
JP7396326B2 (ja) 情報処理システム、情報処理装置、情報処理方法およびプログラム
US10444894B2 (en) Developing contextual information from an image
JP7374413B2 (ja) 現実物体に対するクラスタリングの可視化システム、可視化制御装置、可視化方法および可視化制御用プログラム
KR20190077161A (ko) 실감형 가상 콘텐츠 생성 및 제공 시스템
JP2012022418A (ja) ストリームドットを用いた手書き入力シートおよび手書き入出力システム
JP2019186588A (ja) コンテンツ表示システム
JP5478559B2 (ja) ディスプレイ制御装置、ディスプレイ制御方法、ディスプレイ制御プログラム、およびディスプレイ
CN111310435A (zh) 图像文本显示方法、装置、存储介质及终端
Lee Object finder for the visually impaired.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant