JP2016048541A - 情報処理システム、情報処理装置及びプログラム - Google Patents

情報処理システム、情報処理装置及びプログラム Download PDF

Info

Publication number
JP2016048541A
JP2016048541A JP2015117736A JP2015117736A JP2016048541A JP 2016048541 A JP2016048541 A JP 2016048541A JP 2015117736 A JP2015117736 A JP 2015117736A JP 2015117736 A JP2015117736 A JP 2015117736A JP 2016048541 A JP2016048541 A JP 2016048541A
Authority
JP
Japan
Prior art keywords
user
image
unit
output
output image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015117736A
Other languages
English (en)
Inventor
紘史 山口
Hiroshi Yamaguchi
紘史 山口
文代 小島
Fumiyo Kojima
文代 小島
柳下 高弘
Takahiro Yagishita
高弘 柳下
加藤 雅也
Masaya Kato
雅也 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015117736A priority Critical patent/JP2016048541A/ja
Priority to US14/742,831 priority patent/US10241565B2/en
Publication of JP2016048541A publication Critical patent/JP2016048541A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/06Remotely controlled electronic signs other than labels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】コンテンツに興味を持ったユーザに対して、インタラクティブ性とともに高い操作性を有する操作方法を提供できる情報処理システム、情報処理装置及びプログラムを提供する。
【解決手段】出力画像を出力する出力部と、ユーザを撮像する撮像部と、撮像部により撮像されたユーザの撮像画像に基づいて、ユーザに関する特性を特定する特性特定部21と、特性特定部21によって特定されたユーザに関する特性と、撮像部により撮像されたユーザの撮像画像とに基づいて、出力部によって出力された出力画像に対するユーザの指示動作を認識する指示動作認識部27と、指示動作認識部27によって認識された指示動作とに基づいて、出力部による出力画像の出力を制御する制御部28と、を備える。
【選択図】図3

Description

本発明は、情報処理システム、情報処理装置及びプログラムに関する。
近年、コンテンツの大型画像投影を用いることでコンテンツに対してユーザの興味を引き付けることを目的としたコミュニケーションツールの普及が進んでおり、例えば、デジタルサイネージ、販促ツール、案内・相談ツール等に利用されている(例えば、特許文献1参照)。
しかしながら、上述したような従来技術においては、コンテンツに興味を持ったユーザがコンテンツに対して行う操作は従来のリモコン等を用いて行われることが主流であり、インタラクティブ性に欠けている。
本発明は、上記事情に鑑みてなされたものであり、コンテンツに興味を持ったユーザに対して、インタラクティブ性とともに高い操作性を有する操作方法を提供できる情報処理システム、情報処理装置及びプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の一態様にかかる情報処理システムは、出力画像を出力する出力部と、ユーザを撮像する撮像部と、前記撮像部により撮像された前記ユーザの撮像画像に基づいて、前記ユーザに関する特性を特定する特性特定部と、前記特性特定部によって特定された前記ユーザに関する特性と、前記撮像部により撮像された前記ユーザの撮像画像とに基づいて、前記出力部によって出力された出力画像に対する前記ユーザの指示動作を認識する指示動作認識部と、前記指示動作認識部によって認識された前記指示動作に基づいて、前記出力部による前記出力画像の出力を制御する制御部と、を備える。
本発明によれば、コンテンツに興味を持ったユーザに対して、インタラクティブ性とともに高い操作性を有する操作方法を提供できる機会を増やすことが可能という効果を奏する。
図1は、本実施形態の情報処理システムの構成の一例を示す模式図である。 図2は、本実施形態の制御装置のハードウェア構成の一例を示すブロック図である。 図3は、本実施形態の制御装置の構成の一例を示すブロック図である。 図4は、本実施形態の特性情報の一例を示す図である。 図5は、本実施形態の画像サイズの一例を示す図である。 図6は、本実施形態の操作範囲のサイズの一例を示す図である。 図7は、本実施形態の出力画像の一例を示す図である。 図8は、本実施形態のマップ画像情報の一例を示す図である。 図9は、本実施形態のアイコン画像情報の一例を示す図である。 図10は、本実施形態の出力画像の一例を示す図である。 図11は、本実施形態の出力画像の一例を示す図である。 図12は、本実施形態のカーソル情報の一例を示す図である。 図13は、本実施形態のバー情報の一例を示す図である。 図14は、本実施形態の球体画像に切り替えられた出力画像の一例を示す図である。 図15は、図14の球体画像を拡大させた画像を示す図である。 図16は、図14の球体画像を縮小させた画像を示す図である。 図17は、本実施形態の情報処理システムで行われる処理の手順の流れの一例を示すフローチャートである。 図18は、変形例1の情報処理システムの構成の一例を示す模式図である。 図19は、変形例1の認証情報の一例を示す図である。 図20は、変形例7の情報処理システムの構成の一例を示す模式図である。 図21は、変形例7の制御装置の構成の一例を示すブロック図である。 図22は、変形例7の出力画像の一例を示す図である。 図23は、変形例7の出力画像の一例を示す図である。 図24は、変形例7の出力画像の一例を示す図である。 図25は、変形例7の出力画像の一例を示す図である。 図26は、変形例7の出力画像の一例を示す図である。 図27は、変形例7の出力画像の一例を示す図である。 図28は、変形例7の出力画像の一例を示す図である。 図29は、変形例7の出力画像の一例を示す図である。 図30は、変形例8の制御装置の構成の一例を示すブロック図である。 図31は、変形例8の出力画像の一例を示す図である。
以下、添付図面を参照しながら、本発明にかかる情報処理システム、情報処理装置及びプログラムの実施形態を詳細に説明する。
図1は、本実施形態の情報処理システム1の構成の一例を示す模式図である。図1に示すように、情報処理システム1は、撮像装置10(撮像部の一例)と、制御装置20(情報処理装置の一例)と、投影装置30−1、30−2(出力部の一例)と、投影媒体40とを、備える。
撮像装置10は、ユーザを撮像するものであり、例えば、深度カメラなどが挙げられる。撮像装置10は、動画を撮像するものであってもよいし、静止画を順次撮像するものであってもよい。
制御装置20は、出力画像を生成したり、撮像装置10により撮像されたユーザの画像を解析してユーザの特性を特定するとともに、ユーザの指示動作(以下、「ジェスチャ」と称する)を認識し、ユーザの特性とジェスチャとに基づく操作を出力画像上で実行したりするものであり、例えば、コンピュータなどが挙げられる。
投影装置30−1、30−2は、制御装置20により生成された出力画像を投影媒体40に投影したり、操作実行後の出力画像を投影媒体40に投影したりするものであり、例えば、投影装置30−1はリアプロジェクタなどが挙げられ、投影装置30−2はフロントプロジェクタなどが挙げられる。なお、投影装置30−1、30−2の双方を使用する必要はなく、いずれか一方でよい。以下、投影装置30−1、30−2を区別する必要がない場合、投影装置30と称する。
投影媒体40は、出力画像が投影される媒体であり、例えば、スクリーンなどが挙げられる。本実施形態では、投影媒体40は、200インチ程度の大型のスクリーンを想定しているが、これに限定されるものではない。但し、少なくとも標準の人間よりも大きいことが好ましい。
図2は、本実施形態の制御装置20のハードウェア構成の一例を示すブロック図である。図2に示すように、制御装置20は、CPUやGPUなどの処理装置201と、ROMやRAMなどの主記憶装置203と、HDDやSSDなどの補助記憶装置205と、ディスプレイなどの表示装置207と、マウス、キーボード、又はタッチパネルなどの入力装置209と、通信インタフェースである通信装置211と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。なお、補助記憶装置205、表示装置207、入力装置209、及び通信装置211は、内蔵されていても外付けであってもどちらでもよい。
図3は、本実施形態の制御装置20の構成の一例を示すブロック図である。図3に示すように、制御装置20は、特性特定部21と、特性情報記憶部22と、操作者認識部23と、出力画像生成部24と、画像情報記憶部25と、シンボル情報記憶部26と、指示動作認識部27と、制御部28と、画像サイズ情報記憶部61と、操作範囲特定部62と、パラメータ算出部63とを、含む。
特性特定部21、操作者認識部23、出力画像生成部24、指示動作認識部27、制御部28、操作範囲特定部62、及びパラメータ算出部63は、例えば、処理装置201にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、IC(Integrated Circuit)などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。
特性情報記憶部22、画像情報記憶部25、シンボル情報記憶部26、及び画像サイズ情報記憶部61は、例えば、補助記憶装置205により実現できる。
特性特定部21は、撮像装置10により撮像されたユーザの撮像画像に基づいて、当該ユーザに関する特性を特定し、特性情報記憶部22に記憶する(図4参照)。
ここで、ユーザの特性とは、例えば、ユーザの体格(性別、身長、重心、腕長)、利き腕、及び性格などが挙げられる。ユーザの体格は、撮像装置10により撮像された撮像画像から、ユーザの各部位間(身長、頭、肩幅、つま先、肩から手など)の距離や、胸の座標位置(骨格、両肩幅、各肩〜肘〜手までの長さ、上体の重心など)を分析することで、認識できる。本実施形態では、撮像画像の中心の(x,y)座標が原点(0,0)である場合を例に取り説明するが、これに限定されるものではない。利き腕は、撮像装置10により撮像された撮像画像から、最初に動かした腕や動かす頻度が高い腕を分析することで、認識できる。性格は、撮像装置10により撮像された撮像画像から、腕を動かす速度を分析することで、認識できる。例えば、腕を動かす速度が閾値以上であれば「せっかち」、腕を動かす速度が閾値未満であれば「おっとり」と認識できる。
操作者認識部23は、撮像装置10により撮像された撮像画像に基づいて、操作者となるユーザを認識する。本実施形態では、操作者認識部23は、撮像装置10により撮像された撮像画像から、ユーザの各部位間(身長、頭、肩幅、つま先、肩から手など)の距離や、胸の座標位置(骨格、両肩幅、各肩〜肘〜手までの長さ、上体の重心など)を分析し、撮像装置10から所定距離内(例えば、数m以内)に位置し、操作体勢をとっているユーザを、操作者として認識する。前述の通り、本実施形態では、撮像画像の中心の(x,y)座標が原点(0,0)である場合を例に取り説明するが、これに限定されるものではない。操作体勢は、例えば、いずれかの腕と頭との高さが一定距離内(いずれかの腕と頭とのY座標の差が閾値A以下)、かつ、当該腕と頭との奥行が一定距離以上(当該腕と頭とのZ座標の差が閾値B以上)などが挙げられる。ここで、例えば、右腕のみが頭とのY座標の差が閾値A以下、かつ、右腕のみと頭とのZ座標の差が閾値B以上である場合、右腕のみが操作体勢となり、右手に対応するアイコンが操作可能となり、操作体勢となっていない左腕の左手に対応するアイコンが操作可能とはならない。なお、閾値Aは、頭のY座標に基づき決定される。身長と手の長さは比例するはずなので、頭のY座標が小さいほど、閾値Aも小さくする。
なお、複数のユーザが操作者となる条件を満たしている場合には、操作者認識部23は、撮像装置10との距離が近い方のユーザを操作者として認識すればよい。
画像サイズ情報記憶部61は、投影媒体40に投影される出力画像のサイズを示すサイズ情報を記憶する。投影媒体40に投影される出力画像のサイズは、投影媒体40に対する投影装置30の投影距離に応じて定まる。このため、例えば、情報処理システム1の管理者などにより、投影距離に応じた出力画像のサイズを示すサイズ情報が画像サイズ情報記憶部61に予め記憶(登録)されている。
本実施形態では、図5に示すように、画像サイズが、縦2000mm、横4000mmであり、中心の(x,y)座標が原点(0,0)である場合を例に取り説明するが、これに限定されるものではない。
操作範囲特定部62は、操作者認識部23により認識された操作者となるユーザの操作範囲のサイズを特定する。操作範囲は、ユーザの手が届く範囲である。操作範囲の横のサイズは、例えば、左腕の長さ+肩幅+右腕の長さとすればよい。操作範囲の縦のサイズは、例えば、左腕の長さ×2としてもよいし、右腕の長さ×2としてもよいし、左腕の長さ+右腕の長さなどとしてもよい。また、操作範囲のx座標、y座標の原点は、例えば、それぞれ、(左肩のx座標+右肩のx座標)/2の位置、(左肩のy座標+右肩のy座標)/2の位置とすればよい。なお、左腕の長さ、肩幅、右腕の長さ、左肩の座標、及び右肩の座標は、操作者認識部23により認識されているので、これらを用いればよい。
本実施形態では、図6に示すように、操作範囲のサイズが、縦1500mm、横2000mmであり、操作範囲の中心の(x,y)座標が原点(0,0)である場合を例に取り説明するが、これに限定されるものではない。
パラメータ算出部63は、画像サイズ情報記憶部61に記憶されている画像サイズ情報が示す出力画像のサイズと、操作範囲特定部62により特定された操作範囲のサイズと、に基づいて、出力画像上に配置されるカーソルの位置を特定するためのパラメータを算出する。図5及び図6に示す例の場合、x軸方向のパラメータPxは、4000/2000=2となり、y軸方向のパラメータPyは、2000/1500=1.25となる。
ここでは、操作者となるユーザが出力画像のx軸方向の中心(x=0)に位置すると仮定してパラメータを算出する例について説明したが、操作者となるユーザの出力画像のx軸方向上の位置に応じてパラメータを算出するようにしてもよい。例えば、ユーザが出力画像のx座標“1000”に位置する場合、x軸右方向のパラメータPRxは、|(2000−1000)/1000|=1となり、x軸左方向のパラメータPLxは、|(−2000−1000)/1000|=3となり、y軸方向のパラメータPyは、2000/1500=1.25となる。
この場合、撮像装置10は、ユーザとともに投影媒体40に投影された出力画像が映る撮像画像を撮像し、操作者認識部23は、ユーザの重心のx座標が撮像画像上の出力画像のx軸方向のどこに位置するかを認識することで、ユーザの出力画像のx軸方向上の位置を特定すればよい。
出力画像生成部24は、出力画像を生成し、生成した出力画像を投影装置30に投影させる。本実施形態では、出力画像が、フロアマップのマップ画像(第1の画像の一例)と、フロアマップが示す部屋に対応するアイコン画像(1以上の第2の画像の一例)を当該部屋に関連付けた画像(図7参照)である場合を例に取り説明するが、これに限定されるものではない。なお、図7に示す出力画像は、情報処理システム1の初期画面として投影される画像である。
また本実施形態では、アイコン画像は、360度全天球型カメラで撮像した球体画像のアイコン画像であり、後述の指示動作認識部27及び制御部28によりアイコン画像の選択操作が行われると、出力画像が、当該アイコン画像の球体画像に切り替わる。
ここで、画像情報記憶部25について説明する。画像情報記憶部25は、前述したマップ画像に関するマップ画像情報とアイコン画像に関するアイコン画像情報とを対応付けて記憶する。
図8は、本実施形態のマップ画像情報の一例を示す図であり、図9は、本実施形態のアイコン画像情報の一例を示す図である。図8及び図9に示す例では、マップ画像情報でマップ画像とアイコン画像とを対応付けている。例えば、フロアA図のマップ画像情報の場合、「入り口」、「会議室」、「応接室」、及び「待合室」の各アイコン画像が対応付けられている。
ここで、マップ画像は、座標情報を有しており、アイコン画像も、球体画像を撮像した場所の座標情報を有している。このため、フロアマップ(マップ画像)が示す部屋の座標情報とアイコン画像の座標情報とを対応付けることで、フロアマップが示す部屋とアイコン画像を関連付けられる。
なお、マップ画像情報及びアイコン画像情報は、管理者が画像情報記憶部25に登録してもよいし、ユーザが画像情報記憶部25に登録(アップデート)してもよい。
なお本実施形態では、出力画像生成部24は、アイコン画像をマップ画像に関連付ける際に、マップ画像が示すフロアマップの空間上に、アイコン画像が浮遊しているように配置する。なお、アイコン画像の浮遊のさせ方(座標、移動方向、幅、及びタイミングなど)は、アイコン画像情報で定義されている。また、出力画像生成部24は、アイコン画像情報で定義されている評価や登録日、或いは、アイコン画像の参照回数に基づいて、アイコン画像の画質、大きさ、形状、色、及び浮遊のさせ方などを決定してもよい。例えば、アイコン画像の評価が、アイコン画像情報で定義されている評価1よりも高ければ、当該アイコン画像を大きく表示したり、登録日と現在の日付との差が小さいほどアイコン画像を大きく表示したりしてもよい。
また出力画像生成部24は、操作者認識部23により操作者となるユーザが認識されると、ユーザの各手の位置に対応する出力画像上の位置にカーソルを配置し、当該各カーソルを配置した出力画像を投影装置30に投影させる(図10、図11参照)。具体的には、出力画像生成部24は、操作者認識部23により認識されたユーザの手の座標それぞれにパラメータ算出部63により算出されたパラメータPx及びパラメータPyを乗じた座標上の位置に対応する出力画像上の位置にカーソルを配置する。なお、ユーザの出力画像のx軸方向上の位置も考慮してパラメータを算出している場合、右手の座標については、パラメータPRx及びパラメータPyを乗じ、左手の座標については、パラメータPLx及びパラメータPyを乗じればよい。本実施形態では、右手に対応するカーソルの色を青色、左手に対応するカーソルの色をピンク色として説明するが、これに限定されるものではない。また、認識されたユーザのアイコンが出力画像の右下に配置され、当該ユーザのうち操作者となるユーザには、操作者であることを表す矢印が配置される。
なお、図10に示す例では、ユーザの右腕は、操作体勢であるため、右手に対応するアイコンは濃色で表され、操作可能であることが表されているが、ユーザの左腕は、操作体勢でないため、左手に対応するアイコンは薄色で表され、操作可能でないことが表されている。
また、図11に示す例では、ユーザの両腕とも、操作体勢であるため、各手に対応するアイコンは濃色で表され、操作可能であることが表されている。なお、この場合、ピンチ操作が可能であるため、両カーソルを結ぶバーも出力画像上に配置されている。
ここで、シンボル情報記憶部26について説明する。シンボル情報記憶部26は、前述したカーソルに関するカーソル情報とバーに関するバー情報とを記憶する。
図12は、本実施形態のカーソル情報の一例を示す図であり、図13は、本実施形態のバー情報の一例を示す図である。本実施形態では、図12及び図13に示すように、カーソル情報やバー情報が複数用意されており、出力画像生成部24は、特性特定部21により取得された特性情報に基づいて、カーソル情報やバー情報を取得し、カーソルやバーを出力画像上に配置する。
例えば、カーソル情報やバー情報は、特性情報が示す体格(身長や腕長)や性格と対応付けられており、出力画像生成部24は、特性情報が示す体格(身長や腕長)や性格に応じたカーソル情報やバー情報を取得し、カーソルやバーを出力画像上に配置する。例えば、体格が大きかったり、性格が「せっかち」な場合、移動速さが速めに設定されたカーソル情報や、伸縮速さが速めに設定されたり、サイズが大きめに設定されたバー情報が対応付き、体格が小さかったり、性格が「おっとり」な場合、移動速さが遅めに設定されたカーソル情報や、伸縮速さが遅めに設定されたり、サイズが小さめに設定されたバー情報が対応付く。
指示動作認識部27は、撮像装置10により撮像されたユーザの撮像画像に基づいて、投影装置30が投影した出力画像に対するユーザのジェスチャを認識する。本実施形態のジェスチャとしては、例えば、操作可能な状態である腕を上下左右に動かすジェスチャや、両腕が操作可能な状態で両腕の間隔を狭めたり広げたりするジェスチャが挙げられる。前者は、投影装置30が投影した出力画像上でカーソルのスクロール操作を実行するためのジェスチャであり、後者は、投影装置30が投影した出力画像上でピンチ操作(拡大・縮小操作)を実行するためのジェスチャである。
制御部28は、特性特定部21により取得された特性情報と指示動作認識部27により認識されたジェスチャとに基づいて、投影装置30による出力画像の出力を制御する。
例えば、図10に示す状態で、指示動作認識部27によりスクロール操作を実行するためのジェスチャが認識されれば、制御部28は、出力画像上でカーソルをジェスチャで指示された方向へスクロールする操作を実行する。例えば、ジェスチャが操作可能な状態である腕を右に動かすジェスチャであれば、制御部28は、出力画像上でカーソルを右方向へスクロールする操作を実行する。
この際、制御部28は、出力画像生成部24により取得されたカーソル情報の移動速さでカーソルを移動させるとともに、パラメータ算出部63により算出されたパラメータに基づく距離移動させる。本実施形態では、出力画像は大型のスクリーンに投影されるため、子供などのように小柄なユーザの場合、一度のジェスチャでカーソルを目的の場所まで移動させることができないことが想定されるが、このように、パラメータにより移動させる距離にマージンを持たせることで、どのようなユーザであっても一度のジェスチャでカーソルを目的の場所まで移動させることができ、高い操作性を実現できる。
そして、出力画像生成部24は、制御部28による操作実行後の出力画像を生成し(に更新し)、投影装置30に投影させる。
なお本実施形態では、カーソルをスクロールさせることで、マップ画像が示すフロアマップを2次元空間又は3次元空間で画像中心(Current Location)を基点に回転させることができる。また本実施形態では、カーソルをアイコン画像に一定時間合わせる(選択する)ことで、出力画像を、当該アイコン画像の球体画像に切り替えることができる。
図14は、本実施形態の球体画像に切り替えられた出力画像の一例を示す図である。図14に示す例では、マップ画像に変わり、選択されたアイコン画像の球体画像が配置され、選択されたアイコン画像の位置にマップ画像のアイコン画像が配置されている。この場合、カーソルをマップ画像のアイコン画像に一定時間合わせる(選択する)ことで、元の画像に戻る。
また例えば、図11に示す状態で、指示動作認識部27によりピンチ操作を実行するためのジェスチャが認識されれば、制御部28は、出力画像上でピンチ操作(拡大又は縮小操作)を実行する。例えば、両腕が操作可能な状態で両腕の間隔を狭めれば、制御部28は、バーを狭める方向にマップ画像を縮小させる操作を実行し、両腕が操作可能な状態で両腕の間隔を広げれば、制御部28は、バーを広げる方向にマップ画像を拡大させる操作を実行する。
この際、制御部28は、出力画像生成部24により取得されたバー情報の伸縮速さで縮小又は拡大を行うとともに、パラメータ算出部63により算出されたパラメータに基づく縮小・拡大を行う。本実施形態では、出力画像は大型のスクリーンに投影されるため、子供などのように小柄なユーザの場合、一度のジェスチャでマップ画像を目的の大きさまで変倍させることができないことが想定されるが、このように、パラメータにより縮小率や拡大率にマージンを持たせることで、どのようなユーザであっても一度のジェスチャでマップ画像を目的の大きさまで変倍させることができ、高い操作性を実現できる。
このように、スクロール操作やピンチ操作を行うことで、マップ画像が示すフロアマップの各部屋、場所、位置の各々の詳細情報を判別することができる。
なお、球体画像においてもマップ画像と同様にスクロール操作やピンチ操作は同様に実行できる。図15は、図14の球体画像上で拡大操作を行い、球体画像を拡大させた画像を示す図であり、図16は、図14の球体画像上で縮小操作を行い、球体画像を縮小させた画像を示す図である。
図17は、本実施形態の情報処理システムで行われる処理の手順の流れの一例を示すシーケンス図である。
まず、制御装置20の出力画像生成部24は、フロアマップのマップ画像と、フロアマップが示す部屋に対応するアイコン画像を当該部屋に関連付けた出力画像を生成する(ステップS100)。
続いて、投影装置30は、制御装置20の出力画像生成部24によって生成された出力画像を投影媒体40に投影する(ステップS101)。
続いて、撮像装置10は、ユーザを撮像する(ステップS102)。
続いて、制御装置20の特性特定部21は、撮像装置10により撮像された撮像画像に基づいて、ユーザの特性情報を認識する(ステップS103)。
続いて、制御装置20の操作者認識部23は、撮像装置10により撮像された撮像画像に基づいて、操作者となるユーザを認識する(ステップS104)。
続いて、制御装置20の操作範囲特定部62は、制御装置20の操作者認識部23により認識された操作者となるユーザの操作範囲のサイズを特定する(ステップS105)。
続いて、制御装置20のパラメータ算出部63は、制御装置20の画像サイズ情報記憶部61に既に記憶されている画像サイズ情報が示す出力画像のサイズと、制御装置20の操作範囲特定部62により特定された操作範囲のサイズと、に基づいて、出力画像上に配置されるカーソルの位置を特定するためのパラメータを算出する(ステップS106)。
続いて、制御装置20の出力画像生成部24は、パラメータ算出部63により算出されたパラメータを考慮したユーザの各手の位置に対応する出力画像上の位置にカーソルを配置するとともに、制御装置20の操作認識部23により認識されたユーザが操作者であることを表すアイコンや操作者であることを表す矢印を配置して、出力画像を更新する(ステップS107)。
続いて、投影装置30は、制御装置20の出力画像生成部24によって更新された出力画像を投影媒体40に投影する(ステップS108)。
ここで、ユーザは出力画像に対する操作を目的とするジェスチャを行うと、撮像装置10は、ユーザによって行われたジェスチャを撮像する(ステップS109)。
続いて、制御装置20の指示動作認識部27は、撮像装置10により撮像された撮像画像に基づいて、ユーザのジェスチャを認識する(ステップS110)。
続いて、制御装置20の制御部28は、制御装置20の特性特定部21により取得された特性情報と、制御装置20の指示動作認識部27により認識されたジェスチャとに基づく操作を、投影装置30によって投影された出力画像上で実行する(ステップS111)。
続いて、制御装置20の出力画像生成部24は、制御装置20の制御部28による操作実行後の出力画像に更新する(ステップS112)。
続いて、投影装置30は、制御装置20の出力画像生成部24によって更新された出力画像を投影媒体40に投影する(ステップS113)。
以降、操作可能な状態が終了するまで、ステップS109〜S113の処理が繰り返される。
以上のように本実施形態によれば、出力画像をジェスチャで操作するため、インタラクティブ性及び操作性を高めることができ、ユーザの興味をより引きつけることが可能となる。
特に本実施形態では、ユーザのジェスチャだけでなく特性も考慮して操作を行うため、操作性をより高めることができ、ユーザの興味をより引きつけることが可能となる。
特に本実施形態では、出力画像は、大型のスクリーンに投影されるとともに、ジェスチャで操作するため、ユーザに臨場感を感じさせることができ、ユーザの興味をより引きつけることが可能となる。
特に本実施形態では、出力画像として球体画像を大型のスクリーンに投影するため、ユーザに臨場感をより感じさせることができ、ユーザの興味をより引きつけることが可能となる。
特に本実施形態では、フロアマップの各部屋と球体画像(アイコン画像)とが関連付けられているため、ユーザにあたかもその部屋から見た景色の画像を投影でき、ユーザに臨場感をより感じさせることができ、ユーザの興味をより引きつけることが可能である。
(変形例1)
上記実施形態において、特性特定部21がユーザの特性情報を取得する際に、ユーザ認証を行うようにしてもよい。図18は、変形例1の情報処理システム1’の構成の一例を示す模式図である。図18に示すように、情報処理システム1’は、RFID(Radio Frequency IDentifier)リーダ50−1と、RFIDタグ50−2とを、更に備える。RFIDリーダ50−1は、ユーザが保持するRFIDタグ50−2から情報を読み取る。この場合、認証情報を記憶したRFIDタグ50−2をユーザに所持させておき、特性特定部21は、RFIDリーダ50−1を介してRFIDタグ50−2から認証情報を取得し、特性情報記憶部22に記憶すればよい。図19は、変形例1の認証情報の一例を示す図である。この場合、ユーザによるアイコン画像情報などの操作は、図19に示す権限に従って行われる。
また、認証されたユーザとアイコン画像情報とを対応付けておき、出力画像生成部24は、出力画像として、フロアマップのマップ画像と、認証されたユーザに対応付けられたアイコン画像情報のアイコン画像とを対応付けた画像を生成してもよい。なお、出力画像生成部24は、特性情報にユーザの趣向を含めておき、ユーザの趣向にあった色や形状が設定されたカーソル情報やバー情報を取得し、カーソルやバーを出力画像上に配置する。
(変形例2)
上記実施形態において、特性情報記憶部22、画像情報記憶部25、及びシンボル情報記憶部26は、制御装置20が備えるのではなく、クラウドや外部装置上に設けてもよい。
(変形例3)
上記実施形態では、投影装置30が出力画像を投影する例について説明したが、これに限定されず、ディスプレイなどの表示装置が出力画像を表示してもよい。この場合も、表示装置は、大型であることが好ましい。
(変形例4)
上記実施形態において、アイコン画像等の輝度値(RGB値)と、これらの周辺の背景画像の輝度値(RGB値)とが近い場合、アイコン画像等が識別しにくくなるため、アイコン画像等を縁取り、影をつけるようにしてもよい。例えば、アイコン画像等の輝度値(RGB値)と、これらの周辺の背景画像の輝度値(RGB値)との差が閾値未満の場合、出力画像生成部24は、アイコン画像等を縁取り、影をつければよい。
例えば、アイコン画像と背景画像であれば、以下のようにすればよい。
・背景色:黒系、表示パターン:街並み アイコン周囲:枠線a、白、太さ1
・背景色:緑系、表示パターン:木々、山々 アイコン周囲:枠線b、白、太さ2
・背景色:赤系、表示パターン:紅葉、夕日 アイコン周囲:枠線c、白、太さ3
・背景色:白系、表示パターン:雲、雪 アイコン周囲:枠線d、黒、太さ1
また例えば、カーソル又はバーと背景画像であれば、以下のようにすればよい。
・背景色:黒系、表示パターン:街並み カーソル、バー:枠線a、薄青×薄赤
・背景色:緑系、表示パターン:木々、山々 カーソル、バー:枠線b、薄青×薄赤
・背景色:赤系、表示パターン:紅葉、夕日 カーソル、バー:枠線c、青×赤
・背景色:白系、表示パターン:雲、雪 カーソル、バー:枠線d、青×赤
また例えば、カーソル又はバーと操作者のアイコンであれば、以下のようにすればよい。なお、透過率は、高いほど薄く見える。
・検知結果:76〜100% カーソル、バー:透過率0%、 操作者のアイコン:矩形(枠線)+塗りつぶしパターンa
・検知結果:51〜75% カーソル、バー:透過率25%、 操作者のアイコン:矩形(枠線)+塗りつぶしパターンb
・検知結果:26〜50% カーソル、バー:透過率50%、 操作者のアイコン:矩形(枠線)+塗りつぶしパターンc
・検知結果:0〜25% カーソル、バー:透過率75%、 操作者のアイコン:矩形(枠線)
(変形例5)
上記実施形態において、出力画像上にアイコン画像を配置する際に、特性情報の利き腕の情報を利用して、利き腕側に集約して配置してもよい。
(変形例6)
上記実施形態では、マップ画像がフロアマップであり、アイコン画像がフロアマップの部屋からの風景である場合を例にとり説明したが、これに限定されるものではない。
例えば、マップ画像を、オリンピックなどのイベントが開催されている会場マップとし、アイコン画像(球体画像)を、会場マップ内の競技が行われている各施設から見た競技の模様などとしてもよい。この場合、施設で実際に行われている競技の中継画像(TV放送、ネット配信等)がアイコン画像(球体画像)として表示されることが好ましい。
また例えば、マップ画像を、住宅のレイアウト画像とし、アイコン画像(球体画像)を、各部屋に家具を配置した画像としたり、マップ画像を、チャペルのレイアウト画像とし、アイコン画像(球体画像)を、チャペルからの季節ごとの風景の画像としたりしてもよい。
(変形例7)
変形例7では、ユーザを行先へ誘導する例について説明する。以下では、上記実施形態との相違点の説明を主に行い、上記実施形態と同様の機能を有する構成要素については、上記実施形態と同様の名称・符号を付し、その説明を省略する。
図20は、変形例7の情報処理システム1001の構成の一例を示す模式図である。図20に示すように、情報処理システム1001は、RFIDアンテナ50−3、予約管理サーバ1003、予約DB1004、及びタグDB1005を更に備える点、及び制御装置1020が上記実施形態と相違する。なお、本変形例においてはRFIDを用いてRFIDタグ識別情報の送受信を行う構成を一例として説明するが、RFIDに限定する必要はなく、他の無線送受信システム(例えば、NFC等)も適用可能である。
制御装置1020と予約管理サーバ1003とは、ネットワーク1002を介して接続されている。ネットワーク1002としては、例えば、インターネットやLAN(Local Area Network)などが挙げられる。
RFIDアンテナ50−3は、投影媒体40に設置されており、RFIDタグ50−2からRFIDタグ50−2を識別するRFIDタグ識別情報を受信する。
RFIDリーダ50−1は、RFIDアンテナ50−3と有線又は無線で接続されており、RFIDアンテナ50−3から、RFIDアンテナ50−3が受信したRFIDタグ識別情報を受信し、所定のデータ変換を施し、制御装置1020に送信する。
なおRFIDタグ50−2は、RFIDアンテナ50−3から所定の周波数帯の電波を受信し、その応答としてRFIDタグ識別情報を送信する受動タグ(パッシブタグ)であってもよいし、RFIDタグ識別情報を所定の電波で発信し、RFIDアンテナ50−3がその電波を受信してRFIDタグ識別情報を受信する能動タグ(アクティブタグ)であってもよいし、両機能を有するタグであってもよい。
なお変形例7のRFIDに関する構成を図1で示した上記実施形態に採用してもよい。
図21は、変形例7の制御装置1020の構成の一例を示すブロック図である。図21に示すように、制御装置1020は、ユーザ識別情報取得部1029及び行先情報取得部1030を更に備える点、及び出力画像生成部1024(出力画像更新部の一例)が上記実施形態と相違する。
ユーザ識別情報取得部1029は、RFIDリーダ50−1から所定のデータ変換が施されたRFIDタグ識別情報を、RFIDタグ50−2を所持するユーザのユーザ識別情報として取得する。
行先情報取得部1030は、ユーザ識別情報取得部1029により取得されたユーザ識別情報に基づいて、フロアマップのマップ画像が示すマップ上でのユーザの行先を示す行先情報を取得する。具体的には、行先情報取得部1030は、ユーザ識別情報を用いて、予約管理サーバ1003から、行先情報を取得する。
ここで、予約管理サーバ1003、予約DB1004、及びタグDB1005について説明する。
予約DB1004は、データベースとして機能する装置であり、マップ画像が示すマップ上の部屋の予約情報を記憶する。予約情報としては、部屋ID、予約日時情報、使用状況情報(使用中、未使用、片付中、及び未予約など)、予約者情報、及び訪問者情報などが挙げられる。
タグDB1005は、データベースとして機能する装置であり、RFIDタグ情報を記憶する。RFIDタグ情報としては、タグID、タグ管理情報(使用開始、使用回数、など)、ユーザを識別する情報(ユーザID、氏名など)などが挙げられる。
予約管理サーバ1003は、予約DB1004及びタグDB1005を管理し、マップ画像が示すマップ上の部屋の予約管理(予約状況や部屋の使用可否の管理)を行う。具体的には、予約管理サーバ1003は、制御装置1020から、ユーザ識別情報(RFIDタグ識別情報)が送信されると、タグDB1005で管理されている情報であること(詳細には、ユーザ識別情報がタグDB1005で管理されているタグIDと一致すること)を確認する。そして予約管理サーバ1003は、確認できると、ユーザ識別情報が訪問者情報として記憶されている予約情報の部屋IDを予約DB1004から取得し、行先情報として制御装置1020に返却する。
出力画像生成部1024は、出力画像上に、行先情報が示す行先を誘導する誘導情報を重畳し、誘導情報が重畳された出力画像を投影装置30に投影させる。誘導情報は、行先情報に対応付けられて制御装置1020が補助記憶装置205などで管理しておけばよい。誘導情報は、投影媒体40の位置から行先情報が示す行先までの道順を案内する画像や行先情報が示す行先の部屋番号を強調表示した画像などが挙げられる。
例えば、図22に示す出力画像が元々投影されている状態で、行先情報取得部1030により部屋Gを示す行先情報が取得されたとする。この場合、出力画像生成部1024は、投影媒体40の位置から部屋Gまでの道順を案内する画像や部屋番号である「G」を強調表示した画像を図22に示す出力画像に重畳し、図23に示す出力画像を投影させる。なお、図23に示す画像では、「G」を強調表示した画像は、他の部屋の部屋番号であるアルファベットよりも大きく、アニメーションで上下するように表示される。なお、他の部屋の部屋番号であるアルファベットをグレーダウンするなど目立たなくするようにしてもよい。
なお、上述した処理は、RFIDアンテナ50−3によりRFIDタグ50−2のRFIDタグ識別情報が受信されている間、一定間隔で繰り返し行われる。
以上のように変形例7によれば、ユーザを行先へ誘導できる。
なお、変形例7において出力画像の内容を以下のように変形させてもよい。例えば、ユーザ識別情報取得部1029が、一定時間以上、同一のユーザ識別情報を取得し続けている場合、ユーザは、投影媒体40の前で立ち止まっており、行先がわからない可能性があると判断できる。ここで、撮像装置10により撮像された画像も用いてユーザが立ち止まっているかを判断してもよいし、これらの情報を予約管理サーバ1003に送り、予約管理サーバ1003でこのような判断を行ってもよい。
出力画像生成部1024は、ユーザが一定時間以上、投影媒体40の前で立ち止まっており、行先がわからない可能性があると判断した場合、図23に示す出力画像を、図24に示すように、投影媒体40の位置から部屋Gまでの範囲を拡大表示したり、図25に示すように、テキスト情報を更に重畳したりしてもよい。
また、変形例7において出力画像の内容を以下のように変形させてもよい。予約管理サーバ1003では、部屋の使用状況も判断できるため、行先情報として取得した部屋IDが示す部屋が使用中の場合、その情報も制御装置1020に送る。この場合、出力画像生成部1024は、図23に示す出力画像ではなく、図26に示すように、部屋Gがまだ使用できないことを示すアイコン画像を更に重畳したり、図27に示すように、部屋Gがまだ使用できないことを示すテキスト情報を更に重畳したりしてもよい。
なお、予約管理サーバ1003が管理する使用状況情報の更新は、部屋のスイッチなどとして使用されるRFIDタグ(カードキー)のRFIDタグ識別情報を用いて行えばよい。例えば、部屋Gが使用中である場合、ユーザには、現在部屋Gで使用されているRFIDタグと異なるRFIDタグ(追番のRFIDタグ)が投影媒体40の前(受付)で渡されることになる。従って、予約管理サーバ1003が制御装置1020を介してこのRFIDタグのRFIDタグ識別情報を受信した場合、部屋Gはまだ使用中であると管理できる。なお、現在部屋Gで使用されているRFIDタグが投影媒体40の前(受付)で返却されれば、予約管理サーバ1003が制御装置1020を介してこのRFIDタグのRFIDタグ識別情報を受信することで、部屋Gは未使用中であると管理できる。
なお、変形例7において出力画像の内容を以下のように変形させてもよい。例えば、投影媒体40の前にユーザが複数おり、RFIDアンテナ50−3により複数のRFIDタグ50−2のRFIDタグ識別情報が受信され、この結果、複数の行先情報が取得されたとする。ここでは、複数の行先情報は、部屋Gを示す行先情報と部屋Cを示す行先情報であるとする。
この場合、出力画像生成部1024は、図28に示す部屋Gへ誘導する出力画像と図29に示す部屋Cへ誘導する出力画像とを生成し、交互に投影させればよい。また、ユーザ同士の相対的な位置を特定(右側のユーザと左側のユーザとに区分すること)し、左右で領域を分割し、右領域に右側のユーザの行き先を投影し、左領域に左側のユーザの行き先を投影しても良い。
(変形例8)
変形例8では、出力画像の異なる態様について説明する。以下では、上記実施形態との相違点の説明を主に行い、上記実施形態と同様の機能を有する構成要素については、上記実施形態と同様の名称・符号を付し、その説明を省略する。
図30は、変形例8の制御装置2020の構成の一例を示すブロック図である。図30に示すように、制御装置2020は、算出部2029を更に備える点、及び出力画像生成部2024(出力画像更新部の一例)が上記実施形態と相違する。
算出部2029は、特性特定部21により特定された特性に基づいて、ユーザの基準を示すユーザ基準情報を算出し、当該ユーザ基準情報に基づいて、フロアマップのマップ画像の基準を示す第1の画像基準情報を算出する。具体的には、算出部2029は、特性特定部21により特定された特性(操作者の頭や胴位の高さ、前後、左右)から、ユーザの軸を示すユーザ基準情報を算出する。
出力画像生成部2024は、出力画像上に、ユーザ基準情報に基づいてユーザを示すユーザ画像を配置し、第1の画像基準情報に基づいて、マップ画像及び1以上のアイコン画像を再配置し、ユーザ画像、マップ画像、及び1以上のアイコン画像が配置された出力画像を投影装置30に投影させる。
具体的には、出力画像生成部2024は、図31に示すように、ユーザ基準情報が示す軸2101の位置が中心となるようにユーザ画像2100を配置する。ユーザ画像は、撮像装置10により撮像された画像を基に生成すればよい。なお、RFIDタグ50−2から取得された情報(例えば、社員情報など)を更に用いてユーザ画像を生成してもよい。このようにすれば、性別、国籍、年齢、及び体型等に応じたユーザ画像を生成できる。
次に、出力画像生成部2024は、図31に示すように、第1の画像基準情報が示す軸2111の位置が中心となるようにマップ画像2110を配置する。最後に、出力画像生成部2024は、図31に示すように、第1の画像基準情報が示す軸2111に基づいて、1以上のアイコン画像2120を配置する。
このようにすれば、ユーザの視線に合わせて、各画像を連動させて配置した画像を表示できる。
(プログラム構成)
本実施形態及び変形例の制御装置20、1020、2020で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、CD−R、メモリカード、DVD(Digital Versatile Disk)、フレキシブルディスク(FD)等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。
また、本実施形態及び変形例の制御装置20、1020、2020で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、本実施形態及び変形例の制御装置20、1020、2020で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、本実施形態及び変形例の制御装置20、1020、2020で実行されるプログラムを、ROM等に予め組み込んで提供するようにしてもよい。
本実施形態及び変形例の制御装置20、1020、2020で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、CPUがHDDからプログラムをRAM上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。
1、1001 情報処理システム
10 撮像装置
20、1020、2020 制御装置
21 特性特定部
22 特性情報記憶部
23 操作者認識部
24、1024、2024 出力画像生成部
25 画像情報記憶部
26 シンボル情報記憶部
27 指示動作認識部
28 制御部
30−1、30−2(30) 投影装置
40 投影媒体
50−1 RFIDリーダ
50−2 RFIDタグ
50−3 RFIDアンテナ
61 画像サイズ情報記憶部
62 操作範囲特定部
63 パラメータ算出部
201 処理装置
203 主記憶装置
205 補助記憶装置
207 表示装置
209 入力装置
211 通信装置
1029 ユーザ識別情報取得部
1030 行先情報取得部
2029 算出部
特開2011−086213号公報

Claims (19)

  1. 出力画像を出力する出力部と、
    ユーザを撮像する撮像部と、
    前記撮像部により撮像された前記ユーザの撮像画像に基づいて、前記ユーザに関する特性を特定する特性特定部と、
    前記特性特定部によって特定された前記ユーザに関する特性と、前記撮像部により撮像された前記ユーザの撮像画像とに基づいて、前記出力部によって出力された出力画像に対する前記ユーザの指示動作を認識する指示動作認識部と、
    前記指示動作認識部によって認識された前記指示動作に基づいて、前記出力部による前記出力画像の出力を制御する制御部と、
    を備える情報処理システム。
  2. 前記特性特定部によって特定された前記ユーザに関する特性に基づいて、前記ユーザの指示範囲のサイズを特定する指示範囲特定部を更に備え、
    前記指示動作認識部は、前記出力部によって出力された前記出力画像に対する前記ユーザの手の位置を認識し、
    前記制御部は、前記指示範囲特定部によって特定された前記ユーザの指示範囲のサイズと、前記出力画像のサイズとに基づいて、前記指示動作認識部によって認識された前記ユーザの手の位置に対応するカーソルを反映させた出力画像を出力する請求項1に記載の情報処理システム。
  3. 前記特性特定部は、前記ユーザに関する特性として、前記ユーザの体格に関する体格情報を特定し、
    前記指示範囲特定部は、前記特性特定部によって特定された前記ユーザの体格情報に基づいて、前記ユーザの指示範囲のサイズとして、前記ユーザの手が届く範囲を特定する請求項2に記載の情報処理システム。
  4. 前記指示範囲特定部によって特定された前記ユーザの指示範囲のサイズと、前記出力画像のサイズとに基づいて、前記出力画像上に配置される前記ユーザの手の位置に対応するカーソルの位置を特定するためのパラメータを算出するパラメータ算出部を更に備え、
    前記制御部は、前記パラメータ算出部によって算出されたパラメータと、前記指示動作認識部によって認識された前記ユーザの手の位置とに基づいて、前記ユーザの手の位置に対応するカーソルを反映させた出力画像を出力する請求項2に記載の情報処理システム。
  5. 前記特性は、前記ユーザの体格及び性格の少なくともいずれかである請求項1〜4のいずれか1つに記載の情報処理システム。
  6. 前記出力画像には、第1の画像、当該第1の画像に関連付けられた1以上の第2の画像、及びカーソルが配置されており、
    前記指示動作は、前記ユーザの一方の腕を動かす動作であり、
    前記制御部は、前記出力画像上の前記カーソルを、前記腕を動かした方向に、前記ユーザの体格及び性格の少なくともいずれかに応じた速度で移動させる操作を実行する請求項5に記載の情報処理システム。
  7. 前記操作は、前記第1の画像を移動又は回転させる操作である請求項6に記載の情報処理システム。
  8. 前記操作は、前記1以上の第2の画像のいずれかに前記カーソルを合わせることで、当該第2の画像を選択する操作であり、
    前記出力部は、前記出力画像を、前記選択された第2の画像に基づく画像に切り替える請求項6又は7に記載の情報処理システム。
  9. 前記第2の画像に基づく画像は、球体画像である請求項8に記載の情報処理システム。
  10. 前記出力画像には、第1の画像、及び当該第1の画像に関連付けられた1以上の第2の画像が配置されており、
    前記指示動作は、前記ユーザの両腕の間隔を狭める又は広げる動作であり、
    前記制御部は、前記出力画像上の前記第1の画像を、前記腕を狭めた又は広げた方向に、前記ユーザの体格及び性格の少なくともいずれかに応じた速度で縮小又は拡大させる操作を実行する請求項5に記載の情報処理システム。
  11. 前記出力画像には、第1の画像、及び当該第1の画像に関連付けられた1以上の第2の画像が配置されており、
    前記指示動作は、前記ユーザの両腕の間隔を狭める又は広げる動作であり、
    前記制御部は、前記ユーザの体格が閾値未満の場合、前記出力画像上の前記第1の画像を、前記腕を狭めた又は広げた方向に、通常よりも大きい縮小率又は拡大率で縮小又は拡大させる操作を実行する請求項10に記載の情報処理システム。
  12. 前記出力部は、前記出力画像を投影媒体に投影する請求項1〜11のいずれか1つに記載の情報処理システム。
  13. 前記出力画像には、マップを示す第1の画像が配置されており、
    前記ユーザを識別するユーザ識別情報を取得するユーザ識別情報取得部と、
    前記ユーザ識別情報に基づいて、前記第1の画像が示すマップ上での前記ユーザの行先を示す行先情報を取得する行先情報取得部と、
    前記出力画像上に、前記行先情報が示す行先を誘導する誘導情報を重畳する出力画像更新部と、を更に備え、
    前記出力部は、前記誘導情報が重畳された出力画像を出力する請求項1〜12のいずれか1つに記載の情報処理システム。
  14. 前記出力画像には、マップを示す第1の画像、当該第1の画像に関連付けられた1以上の第2の画像が配置されており、
    前記特性に基づいて、前記ユーザの基準を示すユーザ基準情報を算出し、当該ユーザ基準情報に基づいて、前記第1の画像の基準を示す第1の画像基準情報を算出する算出部を更に備え、
    前記出力画像更新部は、前記出力画像上に、前記ユーザ基準情報に基づいて前記ユーザを示すユーザ画像を配置し、前記第1の画像基準情報に基づいて前記第1の画像及び前記1以上の第2の画像を再配置し、
    前記出力部は、前記ユーザ画像、前記第1の画像、及び前記1以上の第2の画像が配置された出力画像を出力する請求項13に記載の情報処理システム。
  15. 撮像部により撮像されたユーザの撮像画像に基づいて、前記ユーザに関する特性を特定する特性特定部と、
    前記特性特定部によって特定された前記ユーザに関する特性と、前記撮像部により撮像された前記ユーザの撮像画像とに基づいて、出力部によって出力された出力画像に対する前記ユーザの指示動作を認識する指示動作認識部と、
    前記指示動作認識部によって認識された前記指示動作に基づいて、前記出力部による前記出力画像の出力を制御する制御部と、
    を備える情報処理装置。
  16. 前記特性特定部によって特定された前記ユーザに関する特性に基づいて、前記ユーザの指示範囲のサイズを特定する指示範囲特定部を更に備え、
    前記指示動作認識部は、前記出力部によって出力された前記出力画像に対する前記ユーザの手の位置を認識し、
    前記制御部は、前記指示範囲特定部によって特定された前記ユーザの指示範囲のサイズと、前記出力画像のサイズとに基づいて、前記指示動作認識部によって認識された前記ユーザの手の位置に対応するカーソルを反映させた出力画像を出力する請求項15に記載の情報処理装置。
  17. 前記特性特定部は、前記ユーザに関する特性として、前記ユーザの体格に関する体格情報を特定し、
    前記指示範囲特定部は、前記特性特定部によって特定された前記ユーザの体格情報に基づいて、前記ユーザの指示範囲のサイズとして、前記ユーザの手が届く範囲を特定する請求項16に記載の情報処理装置。
  18. 前記指示範囲特定部によって特定された前記ユーザの指示範囲のサイズと、前記出力画像のサイズとに基づいて、前記出力画像上に配置される前記ユーザの手の位置に対応するカーソルの位置を特定するためのパラメータを算出するパラメータ算出部を更に備え、
    前記制御部は、前記パラメータ算出部によって算出されたパラメータと、前記指示動作認識部によって認識された前記ユーザの手の位置とに基づいて、前記ユーザの手の位置に対応するカーソルを反映させた出力画像を出力する請求項16に記載の情報処理装置。
  19. 撮像部により撮像されたユーザの撮像画像に基づいて、前記ユーザに関する特性を特定する特性特定部と、
    前記特性特定部によって特定された前記ユーザに関する特性と、前記撮像部により撮像された前記ユーザの撮像画像とに基づいて、出力部によって出力された出力画像に対する前記ユーザの指示動作を認識する指示動作認識部と、
    前記指示動作認識部によって認識された前記指示動作に基づいて、前記出力部による前記出力画像の出力を制御する制御部と、
    してコンピュータを機能させるためのプログラム。
JP2015117736A 2014-06-19 2015-06-10 情報処理システム、情報処理装置及びプログラム Pending JP2016048541A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015117736A JP2016048541A (ja) 2014-06-19 2015-06-10 情報処理システム、情報処理装置及びプログラム
US14/742,831 US10241565B2 (en) 2014-06-19 2015-06-18 Apparatus, system, and method of controlling display, and recording medium

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014126732 2014-06-19
JP2014126732 2014-06-19
JP2014176544 2014-08-29
JP2014176544 2014-08-29
JP2015117736A JP2016048541A (ja) 2014-06-19 2015-06-10 情報処理システム、情報処理装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2016048541A true JP2016048541A (ja) 2016-04-07

Family

ID=54869588

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015117736A Pending JP2016048541A (ja) 2014-06-19 2015-06-10 情報処理システム、情報処理装置及びプログラム

Country Status (2)

Country Link
US (1) US10241565B2 (ja)
JP (1) JP2016048541A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019521452A (ja) * 2016-07-22 2019-07-25 グーグル エルエルシー 仮想現実ユーザインターフェイスのためのユーザの動きの範囲の検出

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6070211B2 (ja) * 2013-01-22 2017-02-01 株式会社リコー 情報処理装置、システム、画像投影装置、情報処理方法およびプログラム
JP6381215B2 (ja) * 2014-01-29 2018-08-29 キヤノン株式会社 画像処理装置、画像処理方法、表示装置、表示装置の制御方法、及び、プログラム
US9633497B2 (en) * 2014-09-05 2017-04-25 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Systems and methods for medical monitoring device gesture control lockout
US11347316B2 (en) 2015-01-28 2022-05-31 Medtronic, Inc. Systems and methods for mitigating gesture input error
US10613637B2 (en) * 2015-01-28 2020-04-07 Medtronic, Inc. Systems and methods for mitigating gesture input error
JP6703747B2 (ja) 2015-09-18 2020-06-03 株式会社リコー 情報表示装置、情報提供システム、移動体装置、情報表示方法及びプログラム
US20170161529A1 (en) * 2015-12-03 2017-06-08 Checkpoint Systems, Inc. Object recognition encoder
US20170287352A1 (en) * 2016-03-29 2017-10-05 Joseph Vadala Implementing a business method for training user(s) in disc personality styles
JP6870447B2 (ja) 2016-05-20 2021-05-12 株式会社リコー Hud装置、車両装置、情報表示方法。
JP6834537B2 (ja) 2017-01-30 2021-02-24 株式会社リコー 表示装置、移動体装置、表示装置の製造方法及び表示方法。
US10097719B2 (en) * 2016-11-17 2018-10-09 Fuji Xerox Co., Ltd. Printer and mobile information processing apparatus
US10204455B2 (en) * 2016-12-31 2019-02-12 Intel Corporation Collision prevention for virtual reality systems
US10653957B2 (en) * 2017-12-06 2020-05-19 Universal City Studios Llc Interactive video game system
US10752172B2 (en) * 2018-03-19 2020-08-25 Honda Motor Co., Ltd. System and method to control a vehicle interface for human perception optimization
JP7222285B2 (ja) 2019-03-20 2023-02-15 株式会社リコー 表示制御装置、表示装置、表示システム、移動体、プログラム、画像生成方法
US11178267B1 (en) * 2020-06-03 2021-11-16 Micron Technology, Inc. Managing accessibility features for mobile device
US11641451B2 (en) * 2021-04-30 2023-05-02 Zoom Video Communications, Inc. Virtual receptionist via videoconferencing

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4876571A (en) 1987-04-11 1989-10-24 Ricoh Company, Ltd. Copying machine having a bar code reader
JP2693485B2 (ja) 1987-10-16 1997-12-24 株式会社リコー カラー複写機のカラー調整装置
JP3122290B2 (ja) 1993-09-01 2001-01-09 技術研究組合新情報処理開発機構 ジェスチャ動画像認識方法
JPH10255052A (ja) 1997-03-14 1998-09-25 Atr Chinou Eizo Tsushin Kenkyusho:Kk ジェスチャインタフェース装置
JP3837505B2 (ja) 2002-05-20 2006-10-25 独立行政法人産業技術総合研究所 ジェスチャ認識による制御装置のジェスチャの登録方法
US9101279B2 (en) * 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
JP4951050B2 (ja) 2009-10-19 2012-06-13 ヤフー株式会社 サイネージ検索サーバ、方法及びプログラム
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
JP5793900B2 (ja) 2011-03-14 2015-10-14 株式会社リコー 画像投影装置、機能設定方法、および機能設定プログラム
JP5817374B2 (ja) 2011-09-16 2015-11-18 株式会社リコー 画像処理装置、画像処理方法およびプログラム
US20130162665A1 (en) * 2011-12-21 2013-06-27 James D. Lynch Image view in mapping
JP6135239B2 (ja) 2012-05-18 2017-05-31 株式会社リコー 画像処理装置、画像処理プログラム、画像処理方法
US8965696B2 (en) * 2012-06-05 2015-02-24 Apple Inc. Providing navigation instructions while operating navigation application in background
US9886795B2 (en) * 2012-09-05 2018-02-06 Here Global B.V. Method and apparatus for transitioning from a partial map view to an augmented reality view
JP6070211B2 (ja) 2013-01-22 2017-02-01 株式会社リコー 情報処理装置、システム、画像投影装置、情報処理方法およびプログラム
JP6075122B2 (ja) 2013-03-05 2017-02-08 株式会社リコー システム、画像投影装置、情報処理装置、情報処理方法およびプログラム
JP6524620B2 (ja) 2013-09-11 2019-06-05 株式会社リコー 情報処理システム、情報処理装置、情報処理方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019521452A (ja) * 2016-07-22 2019-07-25 グーグル エルエルシー 仮想現実ユーザインターフェイスのためのユーザの動きの範囲の検出

Also Published As

Publication number Publication date
US10241565B2 (en) 2019-03-26
US20150370318A1 (en) 2015-12-24

Similar Documents

Publication Publication Date Title
JP2016048541A (ja) 情報処理システム、情報処理装置及びプログラム
CN111417028B (zh) 信息处理方法、装置、存储介质及电子设备
US9898844B2 (en) Augmented reality content adapted to changes in real world space geometry
US9286722B2 (en) Information processing apparatus, display control method, and program
JP6627861B2 (ja) 画像処理システムおよび画像処理方法、並びにプログラム
US20150185825A1 (en) Assigning a virtual user interface to a physical object
JP6348741B2 (ja) 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
US20160012612A1 (en) Display control method and system
US9794495B1 (en) Multiple streaming camera navigation interface system
KR20140136943A (ko) 정보 처리 장치, 정보 처리 시스템, 및 정보 처리 방법
US20180240213A1 (en) Information processing system, information processing method, and program
US20150172634A1 (en) Dynamic POV Composite 3D Video System
JP6517255B2 (ja) キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム、記録媒体及びキャラクタ画像生成システム
CN110070556A (zh) 使用深度传感器的结构建模
CN111527468A (zh) 一种隔空交互方法、装置和设备
CN112581571B (zh) 虚拟形象模型的控制方法、装置、电子设备及存储介质
CN113918070A (zh) 同步显示方法、装置、可读存储介质及电子设备
JP6413521B2 (ja) 表示制御方法、情報処理プログラム、及び情報処理装置
CN111913560A (zh) 虚拟内容的显示方法、装置、***、终端设备及存储介质
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6982203B2 (ja) キャラクタ画像生成装置、キャラクタ画像生成方法及びプログラム
CN108874141A (zh) 一种体感浏览方法和装置
WO2023174008A1 (zh) 基于虚拟现实的操控方法、装置及电子设备
JP7386583B1 (ja) プログラム、情報処理装置及び方法
US20230419596A1 (en) Image processing apparatus, image processing method, and program