CN103201710A - 图像处理***、图像处理方法以及存储图像处理程序的存储介质 - Google Patents

图像处理***、图像处理方法以及存储图像处理程序的存储介质 Download PDF

Info

Publication number
CN103201710A
CN103201710A CN2011800543360A CN201180054336A CN103201710A CN 103201710 A CN103201710 A CN 103201710A CN 2011800543360 A CN2011800543360 A CN 2011800543360A CN 201180054336 A CN201180054336 A CN 201180054336A CN 103201710 A CN103201710 A CN 103201710A
Authority
CN
China
Prior art keywords
image
gesture
personage
image processing
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800543360A
Other languages
English (en)
Inventor
桧山百合子
大坂智之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN103201710A publication Critical patent/CN103201710A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06313Resource planning in a project environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00Combined visual and audible advertising or displaying, e.g. for public address

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种图像处理设备,图像处理设备显示多个人物的图像并且对于正观看图像的人物具有更高操作性。该设备包括:图像显示单元,显示图像;感测单元,感测在图像显示单元的前方聚集的多个人物的图像;手势识别单元,从所述感测单元感测的图像中,识别多个人物中的每个人物针对图像显示单元上显示的图像而执行的手势;以及显示控制单元,基于手势识别单元的识别结果使显示屏幕转变。

Description

图像处理***、图像处理方法以及存储图像处理程序的存储介质
技术领域
本发明涉及向公众提供信息的技术。
背景技术
作为用于向公众提供信息的显示***,已知使用数字标牌的***。例如,专利文献1公开了一种技术,基于关注时间以及到从摄像机感测的图像而获得的屏幕的距离来判定对显示屏幕的关注级别,并且提供适合于正专注于此的人物的信息。
现有技术文献
专利文献1:日本专利待审特开No.2009-176254。
发明内容
技术问题
然而,专利文献1中描述的数字标牌实现了用于为多个人物显示图的机制,但是操作是通过使一个用户触摸屏幕来进行的。即,对于用户而言操作性不高。
本发明的目的是提供解决上述问题的技术。
问题的解决方案
为了实现上述目的,根据本发明的***包括:
图像显示单元,所述图像显示单元显示图像;
感测单元,所述感测单元感测在所述图像显示单元的前方聚集的多个人物的图像;
手势识别单元,所述手势识别单元从所述感测单元感测的所述图像中,识别所述多个人物中的每个人物针对所述图像显示单元上显示的图像而执行的手势;以及
显示控制单元,所述显示控制单元基于所述手势识别单元的识别结果使显示屏幕转变。
为了实现上述目的,一种根据本发明的设备包括:
手势识别单元,所述手势识别单元从感测单元感测的图像中,识别在图像显示单元的前方聚集的多个人物中的每个人物针对所述图像显示单元上显示的图像而执行的手势;以及
显示控制单元,所述显示控制单元基于所述手势识别单元的识别结果使显示屏幕转变。
为了实现上述目的,一种根据本发明的方法,包括:
图像显示步骤,在所述图像显示步骤中,在图像显示单元上显示图像;
感测步骤,在所述感测步骤中,感测在所述图像显示单元的前方聚集的多个人物的图像;
手势识别步骤,在所述手势识别步骤中,从所述感测步骤中感测的所述图像中,识别所述多个人物中的每个人物针对所述图像显示单元上显示的图像而执行的手势;以及
显示控制步骤,在所述显示控制步骤中,基于所述手势识别步骤中的识别结果使显示屏幕转变。
为了实现上述目的,一种根据本发明的存储介质存储使计算机执行以下步骤的程序:
图像显示步骤,在所述图像显示步骤中,在图像显示单元上显示图像;
手势识别步骤,在所述手势识别步骤中,从在所述图像显示单元的前方聚集的多个人物的图像中,识别所述多个人物中的每个人物执行的手势;以及
显示控制步骤,在所述显示控制步骤中,基于所述手势识别步骤中的识别结果使显示屏幕转变。
本发明的有利效果
根据本发明,能够实现一种显示多个人物的图像并且对于正观看图像的人物具有更高操作性的设备。
附图说明
图1是示出了根据本发明第一实施例的信息处理设备的布置的框图;
图2是示出了根据本发明第二实施例的包括信息处理设备的图像处理***的布置的框图;
图3是示出了根据本发明第二实施例的信息处理设备的硬件结构的框图;
图4是示出了根据本发明第二实施例的感测到的手部数据的数据结构的视图;
图5是示出了根据本发明第二实施例的手势DB的视图;
图6A是示出了根据本发明第二实施例的表的结构的视图;
图6B是示出了根据本发明第二实施例的表的结构的视图;
图6C是示出了根据本发明第二实施例的表的结构的视图;
图6D是示出了根据本发明第二实施例的表的结构的视图;
图7是示出了根据本发明第二实施例的信息处理设备的处理序列的流程图;
图8是示出了根据本发明第三实施例的信息处理设备的布置框图;
图9是示出了根据本发明第三实施例的属性判定表的结构的视图;
图10是示出了根据本发明第三实施例的通知程序的结构DB的视图;
图11是示出了根据本发明第三实施例的通知程序选择表的结构的视图;
图12是示出了根据本发明第三实施例的信息处理设备的处理序列的流程图;以及
图13是示出了根据本发明第四实施例的图像处理***的布置的框图。
具体实施方式
现在参照附图详细描述本发明的实施例。注意,以下实施例中描述的构成元件仅是示例,并且本发明的技术范围不限于此。
[第一实施例]
参照图1描述根据本发明第一实施例的图像处理***100。图像处理***100包括:图像显示单元101,显示图像;以及感测单元102,感测在图像显示单元101的前方聚集的多个人物106的图像。图像处理***100还包括:手势识别单元103,从感测单元102感测的图像中,识别多个人物106中的每个人物针对图像显示单元101上显示的图像而执行的手势。图像处理***100还包括:显示控制单元105,基于手势识别单元103的识别结果使图像显示单元的显示屏幕转变。
根据该实施例,能够实现一种显示多个人物的图像并且对于正观看图像的人物具有更高操作性的设备。
[第二实施例]
参照图2至7描述根据本发明第二实施例的图像处理***200。图像处理***200包括同时显示多个人物的图像的显示设备。图像处理***识别图像显示单元的前方的多个人物中的每个人物的停留时间、脸部方向和手部手势,对停留时间、脸部方向和手部手势进行参数化,总体上判定参数,并且计算过路人对显示设备(数字标牌)的整体关注度。
<***布置>
图2是示出了根据第二实施例包括信息处理设备210的图像处理***200的布置的框图。注意,尽管图2示出了独立的信息处理设备210,但是该布置也可以扩展为经由网络连接多个信息处理设备210的***。下文中数据库缩写为DB。
图2中示出的图像处理***200包括信息处理设备210、立体摄像机230、显示设备240和扬声器250。立体摄像机230可以感测公众中的多个人物204,向信息处理设备210发送感测到的图像,并且还在信息处理设备210的控制下关注目标人物。显示设备240根据来自信息处理设备210的通知程序通知宣传或广告消息。在该实施例中,在宣传或广告消息中或宣传或广告消息之前为多个人物204显示包括图像以诱导使用手势进行响应的屏幕。在确认对来自立体摄像机230的图像进行了响应的人物时,输出与使用手势做出响应的人物交互的屏幕。扬声器250输出辅助声音,提示与显示设备240的屏幕或做出响应的人物204使用手势进行交互。
<信息处理设备的功能布置>
信息处理设备210包括输入/输出接口211、图像记录单元212、手部检测单元213、手势识别单元214、手势DB215、通知程序DB216、通知程序执行单元217、以及输出控制单元221。信息处理设备210还包括趋势判定单元219。
注意,信息处理设备210不需要始终是单个设备,并且多个设备可以整体上实现图2中示出的功能。根据本实施例的处理序列说明每个功能部件。
输入/输出接口211实现信息处理设备21与立体摄像机230、显示设备240和扬声器250之间的接口。
首先,通知程序控制单元217执行预定通知程序或初始程序。经由输出控制单元221和输入/输出接口211向显示设备240或扬声器250通知消息。该消息可以包括诱导多个人物204执行手势(例如,挥手运动、石头剪刀布游戏的运动或手语)的内容。通过通知程序执行单元217从通知程序DB 216中选择通知程序。通知程序DB 216存储要基于环境或目标人物的属性选择的多个通知程序。
接着,经由输入/输出接口211向图像记录单元212发送立体摄像机230感测到的多个人物204的图像,并且记录手势判定成为可能的时间内的图像历史。手部检测单元213从立体摄像机230感测到的多个人物204中的图像中检测手部图像。例如基于颜色、形状和位置检测手部图像。可以在检测到人物之后检测人物的手部。备选地,仅可以直接检测手部。
基于手部检测单元213检测到的多个人物204的图像中手部图像的特征(参见图4),手势识别单元214参考手势DB 215并且判定每只手的手势。手势DB 215将手部检测单元213检测到的手部位置、手指位置以及时间顺序手部运动与手势相关联地存储(参见图5)。
将手势识别单元214的识别结果发送到趋势判定单元219,以判定多个人物204整体上执行的趋势手势。趋势判定单元219向通知程序执行单元217传输作为判定结果的趋势。根据多个人物204整体上执行的手势,通知程序执行单元217从通知程序DB 216中读出最优通知程序并执行。经由输出控制单元221和输入/输出接口211从显示设备250和扬声器250输出执行结果。
<信息处理设备中的硬件结构>
图3是示出了根据该实施例的信息处理设备210的硬件结构的框图。参照图3,CPU310是用于算术控制的处理器,并且通过执行程序来实现图2中示出的每个功能部件。ROM 320存储初始数据、程序等的永久数据和程序。通信控制单元330经由网络与外部设备通信。通信控制单元330可以从各种类型的服务器等下载通知程序。通信控制单元330可以经由网络接收从立体摄像机230、显示设备240输出的信号。通信可以是无线或有线的。输入/输出接口211用作至立体摄像机230、显示设备240等的接口,如图2所示。
RAM 340是CPU 310所使用的随机存取存储器,作为临时存储的工作区。在RAM340中分配存储实现实施例所需的数据的区域以及存储通知程序的区域。
RAM 340暂时存储要在显示设备240上显示的屏幕数据341、立体摄像机230感测的图像数据342、以及从立体摄像机230感测的图像数据中检测到的手部的数据343。RAM 340还存储根据每个感测的手部的数据而判定的手势344。
RAM 340还包括点表345,并且计算和暂时保存通过感测多个人物204而获得的手势整体趋势以及用作参考的点,以选择感兴趣的特定人物。
RAM 340还包括要由信息处理设备210执行的通知程序349的执行区域。注意,存储装置350中存储的其他程序也可以加载到RAM 340并由CPU 310执行来实现图2中示出的各个功能部件的功能。存储装置350是非易失性存储数据库、各种类型参数以及要由CPU 310执行的程序的大容量存储设备。存储装置350还存储参照图2描述的手势DB 215和通知程序DB 216。
存储装置350包括由信息处理设备210执行的主信息处理程序354。信息处理程序354包括对感测的多个人物所执行的手势点进行累加的点累加模块355以及控制通知程序的执行的通知程序执行模块356。
注意图3示出了在该实施例中不可缺少的数据和程序,但并非例如OS的通用的数据和程序。
<数据结构>
以下描述信息处理设备210中使用的特性数据的结构。
<感测到的手部的数据结构>
图4是示出了感测到的手部的数据结构343的视图。
图4示出了判定“挥手”或“石头剪刀布游戏”所需的手部数据的示例作为手势。注意,“手语”等也可以通过提取判定所需的手部数据来判定。
图4的上部410示出了判定“挥手”手势所需的数据的示例。向感测到的公众中人物的每只手添加手部ID411,以标识手部。作为手部位置412,这里提取高度。作为移动历史413,在图4中提取“一个方向运动”、“往复运动”和“无运动(间歇运动)”。附图标记414表示移动距离;并且附图标记415表示移动速度。移动距离和移动速度用于判定例如手势是“挥手”手势还是“招手”手势。脸部方向416用于判定人物是否注意到。人物ID417用于标识具有该手部的人物。作为人物的位置418,提取存在具有人物ID的人物的位置。通过人物的位置确定立体摄像机230的聚焦位置。在三维显示中,可以确定显示屏幕朝向人物的位置的方向。可以调整扬声器250的声音内容或方向。注意,尽管用于判定“挥手”手势的数据不包括手指位置数据等,但是可以添加手指位置。
图4的下部420示出了用于判定“石头剪刀布游戏”手势所需的数据的示例。向感测到的公众中的每个人物的手添加手部ID 421,以标识手部。作为手部位置422,这里提取高度。附图标记423指示三维拇指位置;附图标记424指示三维食指位置;附图标记425指示三维中指位置;附图标记426指示三维小指位置。人物ID427用于标识具有该手部的人物。作为人物的位置428,提取存在具有该人物ID的人物的位置。注意,无名指位置不包括在图4中示出的示例中,但是也可以包括在图4中示出的示例中。当在判定中不仅使用手指的数据而且还使用手掌或手背(更具体地,手指接合位置)的数据时,可以更精确地进行判定。图4中示出的每个数据与手部手势DB 215的内容相匹配,从而判定手势。
<手势DB的结构>
图5是示出了根据第二实施例的手势DB 215的结构。对应于图4,图5示出了用于判定上部510上的“挥手”的DB内容以及用于判定下部520上的“石头剪刀布游戏”的DB内容。还分离地提供针对“手语”的数据。
在上部510上的511中存储用于判定每个手势的“手部高度”的范围。移动历史存储在列512中。移动距离范围存储在列513中。移动速度范围存储在列514中。手指或手部移动方向存储在列515中。作为基于元素511至515的判定而获得结果的“手势”存储在516中。例如,将满足第一行的条件的手势判定为“向右指示”手势。将满足第二行的条件的手势判定为“向上指示”手势。将满足第三行的条件的手势判定为“不可判定”手势。为了尽可能精确地判定“方向指示”手势,基于哪种类型的数据有效来添加和改变要提取的手部数据的类型和手部手势DB 215的结构这二者。
用于判定每个手势的“手部高度”的范围存储在下部520的列521中。由于下部520存储用于判定“石头剪刀布游戏”手势的数据,因此“手部高度”范围相同。高度范围之外的手势不被视为“石头剪刀布游戏”。拇指位置存储在列522中,食指位置存储在列523中,中指位置存储在列524中,小指位置存储在列525中。注意,手指位置522至525不是手指的绝对位置而是手指的相对位置。图4中示出的手指位置数据还用于基于比较的相对位置关系来判定“石头剪刀布游戏”手势。尽管图5没有示出详细数值,但是将第一行的手指位置关系判定为“石头”。将第二行的手指位置关系判定为“剪刀”。将第三行的手指位置关系判定为“布”。关于“手语”,与对“石头剪刀布游戏”的判定类似,包括时间顺序历史记录。
<识别结果表的结构>
图6是示出了对手势识别单元214的识别结果加以表示的识别结果表601的结构的视图。如图6A所示,表601示出了作为对应于人物ID的识别结果的手势(在这种情况下,向右指示和向上指示)。
图6B是示出了关注度系数表602的视图,关注度系数表602管理根据环境以及除了手势以外的人物的运动和位置而预定的关注度的系数。这里示出了停留时间表621和脸部方向表622作为用于判定每个人物的关注度的系数表,关注度表示他/她专注于显示设备240的程度。停留时间表621存储系数1,系数1用于针对每个人物评价他/她停留在显示设备240的前方的时间。脸部方向表622存储系数2,系数2用于针对每个人物评价从显示设备240观看的脸部方向。其他参数(例如,从人物到显示设备的距离以及脚部运动)也可以用于判定关注度。
图6C是示出了每个手势的点累加表603的视图。点累加表603表示如何针对作为手势识别单元214识别结果的每个手势(在这种情况下,向右指示、向上指示等)来累加点。
点累加表603存储判定为执行向右指示手势的每个人物ID,对该人物的关注度加以表示的系数1和2、该人物的点以及点累加结果。由于手势本身的基本点定义为10,因此将系数1和2与10相加,以获得每个人物的点。累加结果是通过将ID小于每个人物ID的人物的所有点与每个人物的点相加获得的值。
图6D是示出了仅对使用图6C计算的累加结果加以表示的表604的视图。执行这样的累加使得能够判定由在显示设备240的前方的多个人物整体上执行的趋势手势。在表604的示例中,执行向上指示手势的组的点为高。因此,判定人们具有整体上执行向上指示手势的较强趋势。例如通过向上滑动屏幕根据趋势来控制设备。
如上所述,不仅通过简单的多数判定而且通过对关注度加权来判定组的一致意见。这允许实现更公平的操作或之前从来没有的数字标牌。
<处理序列>
图7是示出了图像处理***200的处理序列的流程图。图3中示出的CPU 310使用RAM 340执行该流程图,从而实现图2中示出的相应功能部件的功能。
在步骤S701中,显示设备240显示图像。显示设备240例如显示诱导公众执行手势的图像。在步骤S703中,立体摄像机230执行感测以获取图像。在步骤S705中,从感测的图像中检测人物。在步骤S707中,检测每个人物的手势。在步骤S709中,基于停留时间和脸部方向判定每个检测到的人物的“关注度”。
处理前进至步骤S711以计算每个人物的点。在步骤S713中,将每个手势的点相加。在步骤S715中,针对所有人物判定手势检测和点相加是否已经结束。重复步骤S705至S713中的处理,直到针对所有手势的点累加结束为止。
当针对所有“手势”点累加结束时,处理前进至步骤S717,以确定最高累加点的手势。在步骤S719中,执行通知程序,以判定数字标牌的前方的组的一致意见。由于每个个人的点保留在点累加表603中,因此能够聚焦在最高点的人物上。在标识这样的人物之后,可以从通知程序DB216中选择仅针对该人物的通知程序并执行。
<效果>
根据上述布置,可以通过数字标牌进行与较多观众的通信。例如,能够在十字路口等处提供的巨型屏幕上显示图像,感测屏幕的前方的观众,以及掌握观众一致意见或与整体观众通信。
备选地,可以在大学的演说或演讲比赛中判定观众的手势和关注度,并且可以改变监视器上显示的图像或演说的内容。基于已经有反响的公众的累加点,可以切换显示或声音以增加表示有兴趣的人物的数目。
[第三实施例]
接着参照图8至12描述本发明的第三实施例。图8是示出了信息处理设备810的布置的框图。第三实施例与第二实施例的不同之处在于,RAM 340包括属性判定表801和通知程序选择表802。第三实施例的不同之处还在于存储装置350存储人物识别DB 817、属性判定模块857和通知程序选择模块858。
除了第二实施例以外,在第三实施例中,还基于来自立体摄像机230的图像判定要根据手势判定为“目标人物”的人物的属性(例如,性别或年龄),并且还选择和执行与属性的通知程序。注意,不仅判定“目标人物”的属性而且还判定服装或行为趋势或者判定他或她是否属于一组,并且根据所判定结果选择通知程序。根据该实施例,能够使通知程序不断地吸引“目标人物”。根据第三实施例的图像处理***和信息处理设备的布置类似于第二实施例,并且不重复其描述。以下描述附加部分。
属性判定表801是用于基于“脸部特征”901、“服装特征”902、“高度”903等判定每个人物具有什么属性类型的表(在这种情况下,性别904或年龄905),如图9所示。
通知程序选择表802是用于根据人物的属性确定要选择哪个通知程序的表。
人物识别DB 817存储每个预定特征的参数以判定人物的属性。即,根据脸部、服装或高度预定点,并且将这些点加起来,来判定是男性还是女性,以及他/她属于哪个年龄组。
属性判定模块858是使用人物识别DB 817判定每个人物或一组人物的属性,并且产生属性判定表801。属性判定模块858判定正执行所感测图像中的手势的每个人物所具有的属性类型(性别、年龄等)或者组所具有的属性类型(夫妇、父母孩子、朋友等)。
通知程序选择模块857从通知程序DB 216中选择与人物或组的属性相对应的通知程序。
图10是示出了通知程序的结构DB216的框图。在图10中,存储用于标识通知程序并用作读出密钥的通知程序ID 1001。可以分别由图10中的通知程序ID“001”和“002”读出通知程序A 1010和通知程序B1020。在图10中示出的示例中,假定通知程序A为“化妆品广告”程序,并且假定通知程序B为“公寓广告”程序。从通知程序DB 216中选择并执行与使用人物识别DB 817识别的“目标人物”的属性相对应的通知程序。
图11是示出了通知程序选择表802的结构的视图。参照图11,附图标记1101表示由手势判定的“目标人物”的人物ID;附图标记1102表示由人物识别DB 817识别的“目标人物”的性别;以及附图标记1103表示“目标人物”的年龄。根据“目标人物”的属性等确定通知程序ID 1104。在图11中示出的示例中,将具有“目标人物”的人物ID(0010)的人物识别为性别“女性”以及“年龄”大约20至30岁。为此,选择并执行图10中示出的化妆品广告的通知程序A。将具有“目标人物”的人物ID(0005)的人识别为性别“男性”和“年龄”大约40至50岁。为此,选择并执行图10中示出的公寓广告的通知程序B。注意,通知程序选择仅是示例,然而,本发明不限于此。
图12是示出了信息处理设备的处理顺序的流程图。通过向图7中示出的流程图增添步骤S1201和S1203来获得图12中示出的流程图。其余步骤与图7中相同,并且这里说明两个步骤。
在步骤S1201中,通过参考人物识别DB817来识别“目标人物”的属性。在步骤S1203中,根据图11中示出的通知程序选择表802从通知程序DB 216中选择通知程序。
根据上述实施例,可以根据已经执行手势的目标人物的属性通知广告。例如,能够与多个人玩石头剪刀布游戏,并且执行与赢家相对应的广告通知。
[第四实施例]
在第二和第三实施例中,已经描述了一个信息处理设备的处理。在第四实施例中,描述一种布置,其中,多个信息处理设备经由网络连接至广告信息服务器,并且执行从广告信息服务器下载的通知程序。根据该实施例,设备可以彼此交换信息。此外,信息可以集中到广告信息服务器,并且可以统一地管理广告/宣传。注意,该实施例的信息处理设备可以具有与第二或第三实施例的信息处理设备相同的功能,信息处理设备的一些功能可以传送至广告信息服务器。当根据环境从广告信息服务器不仅下载信息处理设备的通知程序而且下载操作程序时,实现适合于布置位置的通过手势的控制方法。
不管功能分布如何,根据第四实施例的处理基本上与第二和第三实施例相同。因此,说明信息提供***的布置,并且省略功能的详细描述。
图13是示出了根据该实施例的图像处理***1300的布置的框图。与图2中相同的附图标记表示具有图13中相同功能的构成元件。以下说明不同点。
图13示出了三个信息处理设备1310。不限制信息处理设备的个数。信息处理设备1330经由网络1330连接至广告信息服务器1320。广告信息服务器1320存储要下载的通知程序1321。广告信息服务器1320接收立体摄像机230感测的每个站点的信息,并且选择要下载的通知程序。例如,这使得能够执行整体控制,以使多个显示设备240显示关联手势的诱导图像。
注意,图13示出了信息处理设备1310,各自包括手势判定单元214、手势DB 215、通知程序DB 216和通知程序执行单元217作为特性构成元件。然而,一些功能可以分布到广告信息服务器1320或另一设备。
[其他实施例]
尽管参照实施例示出和描述了本发明,但本发明不限于上述实施例。如本领域普通技术人员所理解的,在不背离权利要求所限定的本发明的精神和范围的前提下,可以进行形式和细节的各种改变和修改。通过以任何形式组合各个实施例中包括的分离特征而形成的***或设备也可以合并到本发明中。
本发明可以应用于包括多个设备或单个设备的***。本发明可以应用于直接或从远程站点向***或设备提供用于实现实施例的功能的控制程序的情况。这里,安装到计算机中由计算机实现本发明功能的控制程序,或存储控制程序或WWW(万维网)服务器以下载控制程序的存储介质也合并到本发明中。
本申请要求2010年11月10日递交的日本专利申请No.2010-251678的利益,其全部内容通过引用合并于此。

Claims (9)

1.一种图像处理***,所述图像处理***包括:
图像显示单元,所述图像显示单元显示图像;
感测单元,所述感测单元感测在所述图像显示单元的前方聚集的多个人物的图像;
手势识别单元,所述手势识别单元从所述感测单元感测的所述图像中,识别所述多个人物中的每个人物针对所述图像显示单元上显示的显示屏幕而执行的手势;以及
显示控制单元,所述显示控制单元基于所述手势识别单元的识别结果使所述显示屏幕转变。
2.根据权利要求1所述的图像处理***,还包括:判定单元,所述判定单元基于所述手势识别单元的所述识别结果,判定所述多个人物执行的手势整体上具有什么趋势,
其中,所述显示控制单元基于所述判定单元的判定结果使所述显示屏幕转变。
3.根据权利要求1所述的图像处理***,还包括:判定单元,所述判定单元基于所述手势识别单元的所述识别结果,判定所述多个人物中的特定人物执行的手势,
其中所述显示控制单元基于所述判定单元的判定结果使所述显示屏幕转变。
4.根据权利要求2所述的图像处理***,其中,所述判定单元针对所述多个人物中的每个人物的手势,根据每个人物的关注度通过加权来判定所述趋势。
5.根据权利要求2所述的图像处理***,其中,所述判定单元针对所述多个人物中的每个人物的手势,根据每个人物的关注度通过加权来判定预定的多组手势内哪组手势倾向于被执行。
6.根据权利要求4或5所述的图像处理***,其中,针对所述多个人物中的每个人物,基于在所述图像显示单元的前方的脸部方向和停留时间计算所述关注度。
7.一种图像处理设备,所述图像处理设备包括:
手势识别单元,所述手势识别单元从感测单元感测的图像中,识别在图像显示单元的前方聚集的多个人物中的每个人物针对所述图像显示单元上显示的图像而执行的手势;以及
显示控制单元,所述显示控制单元基于所述手势识别单元的识别结果使显示屏幕转变。
8.一种图像处理方法,所述图像处理方法包括:
图像显示步骤,在所述图像显示步骤中,在图像显示单元上显示图像;
感测步骤,在所述感测步骤中,感测在所述图像显示单元的前方聚集的多个人物的图像;
手势识别步骤,在所述手势识别步骤中,从所述感测步骤中感测的所述图像中,识别所述多个人物中的每个人物针对所述图像显示单元上显示的图像而执行的手势;以及
显示控制步骤,在所述显示控制步骤中,基于所述手势识别步骤中的识别结果使显示屏幕转变。
9.一种存储介质,存储使计算机执行以下步骤的程序:
图像显示步骤,在所述图像显示步骤中,在图像显示单元上显示图像;
手势识别步骤,在所述手势识别步骤中,从在所述图像显示单元的前方聚集的多个人物的图像中,识别所述多个人物中的每个人物执行的手势;以及
显示控制步骤,在所述显示控制步骤中,基于所述手势识别步骤中的识别结果使显示屏幕转变。
CN2011800543360A 2010-11-10 2011-09-26 图像处理***、图像处理方法以及存储图像处理程序的存储介质 Pending CN103201710A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010251679 2010-11-10
JP2010-251679 2010-11-10
PCT/JP2011/071801 WO2012063560A1 (ja) 2010-11-10 2011-09-26 画像処理システム、画像処理方法、及び画像処理プログラムを記憶した記憶媒体

Publications (1)

Publication Number Publication Date
CN103201710A true CN103201710A (zh) 2013-07-10

Family

ID=46050715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800543360A Pending CN103201710A (zh) 2010-11-10 2011-09-26 图像处理***、图像处理方法以及存储图像处理程序的存储介质

Country Status (4)

Country Link
US (1) US20130241821A1 (zh)
JP (1) JP5527423B2 (zh)
CN (1) CN103201710A (zh)
WO (1) WO2012063560A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605426A (zh) * 2013-12-04 2014-02-26 深圳中兴网信科技有限公司 基于手势识别的信息显示***及其信息显示方法
CN104317385A (zh) * 2014-06-26 2015-01-28 青岛海信电器股份有限公司 一种手势识别方法和***
CN104914988A (zh) * 2014-03-13 2015-09-16 欧姆龙株式会社 手势识别装置以及手势识别装置的控制方法
CN107479695A (zh) * 2017-07-19 2017-12-15 苏州三星电子电脑有限公司 显示装置及其控制方法
CN107592458A (zh) * 2017-09-18 2018-01-16 维沃移动通信有限公司 一种拍摄方法及移动终端
CN109983526A (zh) * 2016-11-14 2019-07-05 索尼公司 信息处理设备、信息处理方法以及记录介质
WO2020019457A1 (zh) * 2018-07-27 2020-01-30 平安科技(深圳)有限公司 用户指令匹配方法、装置、计算机设备及存储介质
CN115280402A (zh) * 2020-03-19 2022-11-01 夏普Nec显示器解决方案株式会社 显示控制***、显示控制方法及程序

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9374618B2 (en) * 2012-09-11 2016-06-21 Intel Corporation Interactive visual advertisement service
CN103699390A (zh) * 2013-12-30 2014-04-02 华为技术有限公司 一种图像缩放方法和终端设备
JP6699406B2 (ja) * 2016-07-05 2020-05-27 株式会社リコー 情報処理装置、プログラム、位置情報作成方法、情報処理システム
EP3267289B1 (en) 2016-07-05 2019-02-27 Ricoh Company, Ltd. Information processing apparatus, position information generation method, and information processing system
CN107390998B (zh) * 2017-08-18 2018-07-06 中山叶浪智能科技有限责任公司 一种虚拟键盘中按键的设置方法及***
JP7155613B2 (ja) * 2018-05-29 2022-10-19 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US10877781B2 (en) * 2018-07-25 2020-12-29 Sony Corporation Information processing apparatus and information processing method
KR102582863B1 (ko) * 2018-09-07 2023-09-27 삼성전자주식회사 사용자 의도 기반 제스처 인식 방법 및 장치
EP3680814A1 (de) * 2019-01-14 2020-07-15 Kaba Gallenschütz GmbH Verfahren zur erkennung von bewegungsabläufen und passiererkennungssystem

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1223391A (zh) * 1997-11-27 1999-07-21 松下电器产业株式会社 控制方法
CA2707993A1 (en) * 2007-12-05 2009-06-11 Almeva Ag Interaction arrangement for interaction between a display screen and a pointer object
JP2009176254A (ja) * 2008-01-28 2009-08-06 Nec Corp 表示システム、表示方法、表示効果測定システム、及び、表示効果測定方法。

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11327753A (ja) * 1997-11-27 1999-11-30 Matsushita Electric Ind Co Ltd 制御方法及びプログラム記録媒体
JP4165095B2 (ja) * 2002-03-15 2008-10-15 オムロン株式会社 情報提供装置および情報提供方法
US9292092B2 (en) * 2007-10-30 2016-03-22 Hewlett-Packard Development Company, L.P. Interactive display system with collaborative gesture detection
JP5229944B2 (ja) * 2008-08-04 2013-07-03 株式会社ブイシンク オンデマンドサイネージシステム
JP2011017883A (ja) * 2009-07-09 2011-01-27 Nec Soft Ltd 訴求対象特定システム、訴求対象特定方法、広告出力システム及び広告出力方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1223391A (zh) * 1997-11-27 1999-07-21 松下电器产业株式会社 控制方法
CA2707993A1 (en) * 2007-12-05 2009-06-11 Almeva Ag Interaction arrangement for interaction between a display screen and a pointer object
JP2009176254A (ja) * 2008-01-28 2009-08-06 Nec Corp 表示システム、表示方法、表示効果測定システム、及び、表示効果測定方法。

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605426A (zh) * 2013-12-04 2014-02-26 深圳中兴网信科技有限公司 基于手势识别的信息显示***及其信息显示方法
CN104914988A (zh) * 2014-03-13 2015-09-16 欧姆龙株式会社 手势识别装置以及手势识别装置的控制方法
CN104317385A (zh) * 2014-06-26 2015-01-28 青岛海信电器股份有限公司 一种手势识别方法和***
US11094228B2 (en) 2016-11-14 2021-08-17 Sony Corporation Information processing device, information processing method, and recording medium
US11594158B2 (en) 2016-11-14 2023-02-28 Sony Group Corporation Information processing device, information processing method, and recording medium
CN109983526A (zh) * 2016-11-14 2019-07-05 索尼公司 信息处理设备、信息处理方法以及记录介质
CN107479695A (zh) * 2017-07-19 2017-12-15 苏州三星电子电脑有限公司 显示装置及其控制方法
CN107479695B (zh) * 2017-07-19 2020-09-25 苏州三星电子电脑有限公司 显示装置及其控制方法
CN107592458B (zh) * 2017-09-18 2020-02-14 维沃移动通信有限公司 一种拍摄方法及移动终端
CN107592458A (zh) * 2017-09-18 2018-01-16 维沃移动通信有限公司 一种拍摄方法及移动终端
WO2020019457A1 (zh) * 2018-07-27 2020-01-30 平安科技(深圳)有限公司 用户指令匹配方法、装置、计算机设备及存储介质
CN115280402A (zh) * 2020-03-19 2022-11-01 夏普Nec显示器解决方案株式会社 显示控制***、显示控制方法及程序
CN115280402B (zh) * 2020-03-19 2024-03-08 夏普Nec显示器解决方案株式会社 显示控制***、显示控制方法及程序

Also Published As

Publication number Publication date
JP5527423B2 (ja) 2014-06-18
WO2012063560A1 (ja) 2012-05-18
JPWO2012063560A1 (ja) 2014-05-12
US20130241821A1 (en) 2013-09-19

Similar Documents

Publication Publication Date Title
CN103201710A (zh) 图像处理***、图像处理方法以及存储图像处理程序的存储介质
US11609607B2 (en) Evolving docking based on detected keyboard positions
JP6028351B2 (ja) 制御装置、電子機器、制御方法、及びプログラム
CN109074164A (zh) 使用视线追踪技术标识场景中的对象
CN102906671A (zh) 手势输入装置及手势输入方法
CN111698564B (zh) 信息推荐方法、装置、设备及存储介质
CN103221968A (zh) 信息通知***、信息通知方法、信息处理设备及其控制方法和控制程序
JP2013196158A (ja) 制御装置、電子機器、制御方法、及びプログラム
WO2022170221A1 (en) Extended reality for productivity
CN110021062A (zh) 一种产品特征的获取方法及终端、存储介质
CN110213307B (zh) 多媒体数据推送方法、装置、存储介质及设备
JP7312465B2 (ja) 情報出力装置、設計支援システム、情報出力方法及び情報出力プログラム
CN117271029A (zh) 控制方法和装置
CN115222432A (zh) 健康度指数的生成方法、装置、设备及存储介质
JP2023068571A (ja) 被写体の動作を解析する動作解析システム、動作解析装置、動作解析方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130710