JP7119384B2 - 情報処理装置、情報処理システム及びプログラム - Google Patents

情報処理装置、情報処理システム及びプログラム Download PDF

Info

Publication number
JP7119384B2
JP7119384B2 JP2018009007A JP2018009007A JP7119384B2 JP 7119384 B2 JP7119384 B2 JP 7119384B2 JP 2018009007 A JP2018009007 A JP 2018009007A JP 2018009007 A JP2018009007 A JP 2018009007A JP 7119384 B2 JP7119384 B2 JP 7119384B2
Authority
JP
Japan
Prior art keywords
image
aerial image
person
aerial
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018009007A
Other languages
English (en)
Other versions
JP2019128723A (ja
Inventor
賢吾 得地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2018009007A priority Critical patent/JP7119384B2/ja
Priority to US16/051,557 priority patent/US11415938B2/en
Publication of JP2019128723A publication Critical patent/JP2019128723A/ja
Application granted granted Critical
Publication of JP7119384B2 publication Critical patent/JP7119384B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H1/2205Reconstruction geometries or arrangements using downstream optical component
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/60Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images involving reflecting prisms and mirrors only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0261Targeted advertisements based on user location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0276Advertisement creation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H2001/2223Particular relationship between light source, hologram and observer
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00Electro-optic or electronic components relating to digital holography
    • G03H2226/05Means for tracking the observer

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報処理装置、情報処理システム及びプログラムに関する。
光を空気中で交差させ、光の交点に像を形成する技術がある。この種の技術によって表示される像は、空中画像とも呼ばれる。
特開2017‐62709号公報
先行技術では、空中画像を視認する人の位置が予め定められている。
本発明は、ユーザの移動の方向に応じて空中に形成される像の視認性を高める。
請求項1に記載の発明は、空気中に形成される像に対するユーザの移動の方向を検知する検知手段と、検知された方向に応じて前記像の形成を制御する制御手段とを有し、前記制御手段は、接近する方向が異なる複数のユーザと正対する位置に形成される複数の前記像の間に、各ユーザによる前記像の視認性を高める他の像を形成する情報処理装置である。
請求項2に記載の発明は、前記他の像は、全体が均一な色又はパターンの画像である、請求項1に記載の情報処理装置である。
請求項3に記載の発明は、前記他の画像は、前記像のコントラストを高める画像である、請求項に記載の情報処理装置である。
請求項4に記載の発明は、前記制御手段は、ユーザが予め定めた範囲よりも内側にいる場合に、前記像を形成する方向の変更を実行する、請求項に記載の情報処理装置である。
請求項5に記載の発明は、前記制御手段は、ユーザの移動に追従して各ユーザに対応する前記像を形成する向きを変更する、請求項に記載の情報処理装置である。
請求項6に記載の発明は、前記制御手段は、ユーザの移動に追従して各ユーザに対応する前記像の表示の内容を変化させる、請求項に記載の情報処理装置である。
請求項7に記載の発明は、空気中に像を形成する像形成手段と、前記像に対するユーザの移動の方向を検知する検知手段と、検知された方向に応じて前記像の形成を制御する制御手段とを有し、前記制御手段は、接近する方向が異なる複数のユーザと正対する位置に複数の前記像を形成する場合に、当該複数の前記像の間に、各ユーザによる前記像の視認性を高める他の像を形成する情報処理システムである。
請求項に記載の発明は、コンピュータ、空気中に形成される像に対するユーザの移動の方向を検知する機能と、検知された方向に応じて前記像の形成を制御する機能と、を実現させるためのプログラムであり、前記制御する機能は、接近する方向が異なる複数のユーザと正対する位置に複数の前記像を形成する場合に、当該複数の前記像の間に、各ユーザによる前記像の視認性を高める他の像を形成するプログラムである。
請求項1記載の発明によれば、複数の像の干渉を低減して視認性を高めることができる。
請求項2記載の発明によれば、複数の像の干渉を低減して視認性を高めることができる。
請求項記載の発明によれば、複数の像の干渉を低減して視認性を高めることができる。
請求項4記載の発明によれば、像の近くにいるユーザの視認性を高めることができる。
請求項5記載の発明によれば、ユーザがどこに移動してもユーザの視認性を高めることができる。
請求項6記載の発明によれば、ユーザの注意を引き続けることができる。
請求項7記載の発明によれば、複数の像の干渉を低減して視認性を高めることができる。
請求項記載の発明によれば、複数の像の干渉を低減して視認性を高めることができる。
実施の形態1に係る空中画像形成システムの概略構成を説明する図である。 表示デバイスから出力される光を専用の光学プレートを透過させることで空中画像を形成する空中画像形成装置の原理図である。(A)は各部材と空中画像との位置関係を示し、(B)は光学プレートの断面構造の一部を示す。 空中画像として3次元像を形成する空中画像形成装置の原理図である。 2面コーナーリフレクタを構成する微小な四角い穴を平面内に等間隔に配列した構造のマイクロミラーアレイを用いて空中画像を形成する空中画像形成装置の原理図である。(A)は各部材と空中画像との位置関係を示し、(B)はマイクロミラーアレイの一部分を拡大した図である。 ビームスプリッタと再帰反射シートを使用する空中画像形成装置の原理図である。 空中画像をプラズマ発光体の集合として形成する空中画像形成装置の原理図である。 実施の形態1に係る像制御装置のハードウェア構成の一例を説明する図である。 実施の形態1に係る像制御装置の機能構成の一例を説明する図である。 実施の形態1に係る像形成制御部が実行する処理動作の概要を説明するフローチャートである。 人に対して空中画像が正対するように空中画像の形成を制御する例を説明する図である。(A)は人が方向1に移動する場合、(B)は人が方向2に移動する場合、(C)は人が方向3に移動する場合における空中画像の位置を表している。 人に対して空中画像が正対するように空中画像の形成を制御する他の例を説明する図である。(A)は人が方向2に移動する場合、(B)は人が方向4に移動する場合における空中画像の位置を表している。 人が空中画像から離れた位置を一方向に横切る場合における空中画像の形成例を説明する図である。(A)は時点T1における空中画像と人の位置の関係を示し、(B)は時点T2における空中画像と人の位置の関係を示し、(C)は時点T3における空中画像と人の位置の関係を示す。 実施の形態2に係る空中画像形成システムの概略構成を説明する図である。 実施の形態2に係る像制御装置の機能構成の一例を説明する図である。 実施の形態2に係る像形成制御部が実行する処理動作の概要を説明するフローチャートである。 実施の形態2における空中画像の形成の手法を説明する図である。 実施の形態3に係る空中画像形成システムの概略構成を説明する図である。 実施の形態3に係る像制御装置の機能構成の一例を説明する図である。 像形成制御部が実行する処理動作の概要を説明するフローチャートである。 実施の形態3における空中画像の形成の手法を説明する図である。 実施の形態4に係る空中画像形成システムの概略構成を説明する図である。 実施の形態4に係る像制御装置の機能構成の一例を説明する図である。 像形成制御部が実行する処理動作の概要を説明するフローチャートである。 実施の形態4における空中画像の形成例の1つを説明する図である。 実施の形態4における空中画像の他の形成例を説明する図である。(A)は空中画像が形成されている空間を上空側から見た様子を表し、(B)は人の位置から空中画像を見た様子を表している。 実施の形態4における空中画像の他の形成例を説明する図である。(A)は2人が2つの空中画像を挟んで対面する位置にある状態を表し、(B)は空中画像が形成されている空間を上空側から見た様子を表している。 視認性を高めるための対策例を説明する図である。(A)は空中画像が形成されている空間を上空側から見た様子を表し、(B)は各人からの見え方を表している。 空中画像の視認性を高める第3の空中画像の他の配置例を説明する図である。(A)は2つの空中画像の中間に複数の空中画像を配置する例を示し、(B)は背景として視認される植木と空中画像との間に空中画像を配置する例を示す。 実施の形態5に係る空中画像形成システムの概略構成を説明する図である。 人が移動して2枚目の空中画像の位置に移動した状態での内容の変更を説明する図である。 人が移動して3枚目の空中画像の位置に移動した状態での内容の変更を説明する図である。 人の移動に伴い、各空中画像で再生される動画像の内容を説明する図である。 空中画像の視認性を高める他の表示の例を説明する図である。 実施の形態6に係る空中画像形成システムの概略構成を説明する図である。 実施の形態6に係る像制御装置の機能構成の一例を説明する図である。 実施の形態6に係る処理動作の概要を説明するフローチャートである。 空中画像が文書である場合における出力の実行例を説明する図である。 空中画像が立体物である場合における出力の実行例を説明する図である。 空中画像が文書とも立体物とも認定できない場合における出力の実行例を説明する図である。 空中画像の出力が用紙への印刷である場合の動作例を説明する図である。
以下、図面を参照して、本発明の実施の形態を説明する。
<実施の形態1>
<空中画像形成システムの概略構成>
図1は、実施の形態1に係る空中画像形成システム1Aの概略構成を説明する図である。空中画像形成システム1Aは、情報処理システムの一例である。
本実施の形態において、空中画像10とは、物体からの反射光と同等の光の状態を再現するように空気中に形成される像をいう。
空中画像10は、空気中に浮かぶように形成されるので、人は、空中画像10を通り抜けることも可能である。
空中画像10には、例えば案内用の画面や広告用の画面が表示される。また例えば、空中画像10には、人20の操作に応じて表示の内容が変化する操作用の画面が表示される。言うまでもなく、これらの画面は一例である。
なお、空中画像10には、静止画像だけでなく、動画像が表示されることもある。
また、各実施の形態では、矩形形状の全体を空中画像10として表現するが、空中画像10の外縁を規定する形状は矩形に限らず、任意でよい。例えば物体(オブジェクト)の像が形成される空間を、空中画像10が形成される空間の全てとしてもよい。例えば操作用のボタンの像、人の像、動物の像、製品の像、果物の像なども、ここでの空中画像10の一例である。図1では、空中画像10が平面形状であるが、曲面、球体、立方体などの立体的な形状でもよい。
現在のところ、空中画像10は、予め指定された位置に指定された角度で形成される。このため、人20は、形成された空中画像10に合わせて位置する必要がある。
本実施の形態では、この関係を逆転し、人20の位置に応じて空中画像10を形成する位置や角度を調整する。また、本実施の形態では、必要に応じて、表示の内容や表示の仕方も変更する。
図1に示す空中画像形成システム1Aは、空気中に空中画像10を形成する空中画像形成装置31と、空中画像形成装置31を制御する像制御装置32Aと、人20の位置を検知する位置検知センサ33とを有している。
ここで、空中画像形成装置31は像形成手段の一例であり、像制御装置32Aは制御手段の一例である。なお、像制御装置32Aは情報処理装置の一例でもある。また、位置検知センサ33は検知手段の一例である。
像制御装置32Aは、人20が移動する方向(例えば方向1、方向2、方向3)に基づいて空中画像10の形成を制御し、空中画像10の視認性を高めるようにする。換言すると、像制御装置32Aは、人20の移動に応じて空中画像10を形成する位置や向きを制御し、視認性が低下しないようにする。
ここで、像制御装置32Aは、位置検知センサ33から出力される信号に基づいて人20の位置を取得し、特定された人20の位置の履歴を通じて人20が接近する方向を取得する。人20の位置は、厳密な座標点として特定される必要はなく、おおよその位置を特定できればよい。
なお、像制御装置32Aは、特定の人20に対して、おもて面が表示されるように空中画像10の形成を制御する。
ここで、おもて面とは、例えば文字が正しい向きとして視認される面や顔の左右が正しい向きで観察される面をいう。また、空中画像10が立体像の場合には、正面に定めた面が観察される方向をおもて面という。
位置検知センサ33は、空中画像10の周囲を移動する人20を検知できるように配置される。なお、通路の角を曲がった先に空中画像10が形成される場合もあるので、位置検知センサ33を設置する場所は、空中画像10を直線的に視認できる空間に限らない。また、位置検知センサ33の数は1つに限らず複数でもよい。
位置検知センサ33には、例えばサーモパイル型の赤外線センサ、集電型の赤外線センサ、赤外線等を横切る物体の有無を検知する方式のセンサ(いわゆる光センサ)、音の反応により物体を検知する音波センサ、床面やマットに加わる重みを検知するセンサ、空中画像10の周辺を移動する人20を撮像する撮像カメラ等を用途や設置する空間に応じて採用すればよい。
なお、位置検知センサ33には、人20までの距離を測定する機能が備えられていてもよい。また、位置検知センサ33とは別に、人20までの距離を測定するセンサが用意されていてもよい。
距離の測定には、例えば対象物での光の反射により距離を測定する光学式、20kHz以上の超音波を使用する超音波式、2台の撮像カメラを用いてステレオ撮影した2枚の画像から視差を利用して距離を求める方式、1台の撮像カメラを用いて距離に応じたボケと色ズレが発生する画像を撮影し、ボケと色ズレを画像処理して距離を検出する方式等を用いてもよい。
<空中画像形成装置の例>
図2~図6を用いて、空中画像10の形成原理を説明する。以下に説明する原理は、いずれも既知である。
図2は、表示デバイス41から出力される光を専用の光学プレート42を透過させることで空中画像10を形成する空中画像形成装置31Aの原理図である。(A)は各部材と空中画像10との位置関係を示し、(B)は光学プレート42の断面構造の一部を示す。ここでの表示デバイス41と光学プレート42は、光学部品の一例である。
光学プレート42は、壁面を鏡として使用する短冊状のガラス42Aを配列したプレートと、ガラス42Aに対して直交する向きに短冊状のガラス42Bを配列したプレートを上下に重ねた構造を有する。
光学プレート42は、表示デバイス41から出力される光を短冊状のガラス42A及び42Bで2回反射して空気中で結像させることで、表示デバイス41に表示されている画像を空気中に再現する。なお、表示デバイス41と光学プレート42の距離と、光学プレート42と空中画像10の距離は同じである。また、表示デバイス41に表示される画像の寸法と空中画像10の寸法は同じである。
図3は、空中画像10として3次元像を形成する空中画像形成装置31Bの原理図である。空中画像形成装置31Bは、実際の物体43の表面で反射された光をリング型の光学プレート42を2回透過させることで3次元像(空中画像10)を空気中に再現する。なお、光学プレート42を直列に配置する必要はない。
図4は、2面コーナーリフレクタを構成する微小な四角い穴44Aを平面内に等間隔に配列した構造のマイクロミラーアレイ44を用いて空中画像10を形成する空中画像形成装置31Cの原理図である。(A)は各部材と空中画像10との位置関係を示し、(B)はマイクロミラーアレイ44の一部分を拡大した図である。1つの穴44Aは、例えば100μm角で形成される。ここでのマイクロミラーアレイ44は、光学部品の一例である。
図5は、ビームスプリッタ46と再帰反射シート47を使用する空中画像形成装置31Dの原理図である。ここで、ビームスプリッタ46は、表示デバイス45の表示面に対して45°の角度で配置されている。また、再帰反射シート47は、ビームスプリッタ46による表示画像の反射方向に、表示デバイス45の表示面に対して90°の角度に配置されている。表示デバイス45、ビームスプリッタ46、再帰反射シート47は、光学部品の一例である。
空中画像形成装置31Dの場合、表示デバイス45から出力される光は、ビームスプリッタ46によって再帰反射シート47の方向に反射され、次に再帰反射シート47で再帰反射され、ビームスプリッタ46を透過して空中で結像される。光が結像する位置に空中画像10が形成される。
図6は、空中画像10をプラズマ発光体の集合として形成する空中画像形成装置31Eの原理図である。
空中画像形成装置31Eの場合、赤外パルスレーザ48がパルス状のレーザ光を出力し、XYZスキャナ49がパルス状のレーザ光を空気中で集光する。このとき、焦点近傍の気体が瞬間的にプラズマ化し、発光する。パルス周波数は、例えば100Hz以下であり、パルス発光時間は、例えばナノ秒オーダである。ここでの赤外パルスレーザ48とXYZスキャナ49は、光学部品の一例である。
<像制御装置32Aの構成>
図7は、実施の形態1に係る像制御装置32Aのハードウェア構成の一例を説明する図である。
像制御装置32Aは、ファームウェアやアプリケーションプログラムの実行を通じて各種の機能を提供するCPU(Central Processing Unit)51と、ファームウェアやBIOS(Basic Input Output System)を格納する記憶領域であるROM(Read Only Memory)52と、プログラムの実行領域であるRAM(Random Access Memory)53とを有している。ここでのCPU51、ROM52、RAM53は、いわゆるコンピュータの一例である。
また、像制御装置32Aは、アプリケーションプログラム等のデータを格納する記憶装置54を有している。記憶装置54は、例えば書き換え可能な不揮発性の記憶媒体を情報の格納に使用する。
また、像制御装置32Aは、通信インタフェース(通信IF)55を使用して空中画像形成装置31を制御し、空中画像10の形成を変化させる。ここでの制御には、空中画像10を形成する位置や寸法等が含まれる。ここでの位置には、二次元的な位置だけでなく、3次元的な位置も含む。
なお、像制御装置32Aは、インタフェース(IF)56を使用して位置検知センサ33と通信する。
ここで、CPU51と各部はバス57を通じて接続されている。
図8は、実施の形態1に係る像制御装置32A(図7参照)の機能構成の一例を説明する図である。
図8に示す機能構成は、CPU51(図7参照)によるプログラムの実行を通じて実現される。
CPU51は、空中画像10(図1参照)が形成されている空間内における人20(図1参照)の位置を検知する位置検知部60と、検知された人20の位置の履歴から人20が移動する方向を検知する移動方向検知部61と、検知された方向に応じて空中画像10の形成を制御する像形成制御部62として機能する。
ここで、位置検知部60は、位置検知センサ33から入力される情報に基づいて人20の位置を検知する。位置は、空間内の座標に限らず、予め定めた範囲を単位として与えても、空中画像10に対する方向や距離として与えてもよい。人20の位置は、2次元を基本とするが、階段や段差などの高低差が移動経路に現れる場合には3次元で与えられてもよい。
移動方向検知部61は、位置検知部60によって検知された位置の情報の履歴などに基づいて、空中画像10に対する移動の方向を検知する。なお、位置検知センサ33が撮像カメラである場合には、画像データを処理して人20が移動する方向を検知してもよい。
人20が移動する方向には、例えば空中画像10に接近する方向、空中画像10の前方を横切る方向、空中画像10から遠ざかる方向が含まれる。
なお、人20が立ち止まっている場合には、立ち止まるまでに検知された移動の方向を使用してもよい。また、移動する方向は、データ処理によって予測される方向でもよい。
像形成制御部62は、空中画像10が形成される空間の情報(3次元)と、人20の位置(2次元)の情報を有している。
空中画像10が形成される位置の情報は、初期位置から累積された制御の履歴に基づいて推定してもよいし、空中画像形成装置31との通信を通じて推定してもよいし、他のセンサ類から与えられてもよい。
本実施の形態における像形成制御部62は、人20の位置や移動の方向に応じて、空中画像10を形成する位置を移動させるように制御する。本実施の形態の場合、移動には、例えば直線的な移動、回転による移動、直線的な移動の組み合わせ、回転による移動の組み合わせ、直線的な移動と回転による移動の組み合わせ等を使用する。
<像形成制御部の処理動作>
図9は、実施の形態1に係る像形成制御部62(図8参照)が実行する処理動作の概要を説明するフローチャートである。概要であるので、細部については、個別の使用の形態に応じて異なる。
まず、像形成制御部62は、人を検知したか否かを判定する(ステップ1)。
ステップ1で否定結果が得られた場合、像形成制御部62は、人が検知されるまで判定を繰り返す。
ステップ1で肯定結果が得られた場合、像形成制御部62は、人の位置を特定する(ステップ2)。人の位置は、空間内の座標として特定してもよいし、人を検知した位置検知センサ33が取り付けられている位置として特定してもよいし、検知の単位である複数の範囲のうちのいずれかとして特定してもよい。
次に、像形成制御部62は、特定された人の位置の情報に基づいて移動の方向を特定する(ステップ3)。
ここでの特定は、厳密な意味での特定を必要としない。
続いて、像形成制御部62は、特定された移動の方向に応じて空中画像の向きや内容を変更する(ステップ4)。
なお、空中画像を移動させる方向と移動させる距離は、例えば空中画像が形成される位置と人の位置との関係、視認に際して推奨される距離等に基づいて決定される。また、空中画像が立体像である場合には、空中画像の厚みも考慮に入れる。
空中画像の移動には、例えば平行移動や回転移動がある。これらの移動では、空中画像の寸法は保たれる。ここで、平行移動とは、移動の前後で表示面の傾きを変えずに実行される直線的な移動である。回転移動とは、予め定めた仮想的な軸を中心とした回転を伴う移動である。
例えば図2に示す手法で空中画像を形成している場合、不図示の移動機構を用いて、表示デバイス41(図2参照)と光学プレート42(図2参照)を一体的に一方向に移動させることで空中画像を平行に移動できる。ここでの移動機構には、例えば一軸アクチュエータを使用する。また、表示デバイス41と光学プレート42は、案内機構に沿って移動される。移動の距離や移動後の位置は、不図示の位置検出センサによって検知する。
なお、図3や図4に示す手法で空中画像10を形成する場合、実物の位置を移動させればよい。また、図5に示す手法で空中画像10を形成する場合、表示デバイス45(図5参照)の位置を表示面と平行に移動させればよい。また、図6に示す手法で空中画像10を形成する場合、赤外パルスレーザ48(図6参照)とXYZスキャナ49(図6参照)を一体的に平行移動させればよい。
また、図2に示す手法で空中画像10を形成している場合、不図示の回転機構を用いて、表示デバイス41と光学プレート42を一体的に回転移動させることで、空中画像10を回転させることができる。ここでの回転機構には、例えばモータを使用する。ここで、表示デバイス41(図2参照)と光学プレート42(図2参照)は、回転軸の周りに一体的に回転移動される。また、回転の角度や回転の向きは、不図示の位置検出センサによって検知する。因みに、空中画像10に与える回転の向きによっては、光学プレート42だけを回転させることも可能である。
図3や図4に示す手法で空中画像10を形成する場合、実物を回転させればよい。また、図5に示す手法で空中画像10を形成する場合には、表示デバイス45(図5参照)を回転させればよい。また、図6に示す手法で空中画像10を形成する場合には、赤外パルスレーザ48(図6参照)とXYZスキャナ49(図6参照)を一体的に回転移動させる方法を用いてもよいし、XYZスキャナ49に与える座標を、回転後の座標に変更してもよい。
<空中画像10の移動例>
<移動例1>
ここでは、人20が空中画像10に近づいてくる場合について説明する。
図10は、人20に対して空中画像10が正対するように空中画像10の形成を制御する例を説明する図である。(A)は人20が方向1に移動する場合、(B)は人20が方向2に移動する場合、(C)は人20が方向3に移動する場合における空中画像10の位置を表している。
ここで、方向1は、方向2に対して反時計回りに45°の方向である。方向3は、方向2に対して時計回りに45°の方向である。
いずれの方向に移動する場合にも、人20と正対するように空中画像10が形成されるので、空中画像10の位置が固定される場合に比して、人20による空中画像10の視認性が高くなる。換言すると、視認性の低下が回避される。
図11は、人20に対して空中画像10が正対するように空中画像10の形成を制御する他の例を説明する図である。(A)は人20が方向2に移動する場合、(B)は人20が方向4に移動する場合における空中画像10の位置を表している。
ここで、方向4は、方向2の反対である。従って、人20が方向4から空中画像10に接近する場合には、おもて面が方向2から接近する場合と入れ替わっている。このため、人20が接近してくる方向に関わらず、人20は、正しい向きで空中画像10を視認することができる。
<移動例2>
ここでは、空中画像10の前方を人20が横切るように移動する場合について説明する。
図12は、人20が空中画像10から離れた位置を一方向に横切る場合における空中画像10の形成例を説明する図である。(A)は時点T1における空中画像10と人20の位置の関係を示し、(B)は時点T2における空中画像10と人20の位置の関係を示し、(C)は時点T3における空中画像10と人20の位置の関係を示す。
この移動例では、人20の移動に応じて、空中画像10のおもて面の向き(法線の方向)を追従させることで、人20による空中画像10の視認性を高めている。具体的には、仮想的に設定した回転軸を中心として空中画像10のおもて面の向きを回転させている。
本実施の形態では、空中画像10の短辺を与える上辺の中点と下辺の中点を通る線を回転軸とする。すなわち、空中画像10はXY平面内で回転される。
このため、空中画像10は、時点T1の人20の位置からも、時点T2の人20の位置からも、時点T3の人20の位置からも正対するように視認される。このため、移動の間中、人20による空中画像10の視認が容易な状態に維持される。
なお、回転軸を中心とした回転の間、空中画像10の内容は変化させてもよいし、変化させなくてもよい。図12の例では、人20の移動に応じて表示の内容を変化させる例を表している。
例えば時点T1の位置からは「AAAA/AAAA/AAAA/AAAA」(ここで/は改行を意味する。以下同じ。)を内容とする空中画像10が視認されているが、時点T2の位置からは「BBBB/BBBB/BBBB/BBBB」を内容とする空中画像10が視認され、時点T3の位置からは「CCCC/CCCC/CCCC/CCCC」を内容とする空中画像10が視認されている。
表示の内容の切り替わりは、ある時点を境に切り替えられる。人20の移動に応じて空中画像10の表示の内容が変化することで多様な表現が可能になる。
<実施の形態2>
<空中画像形成システムの概略構成>
図13は、実施の形態2に係る空中画像形成システム1Bの概略構成を説明する図である。空中画像形成システム1Bは、情報処理システムの一例である。
図13には、図1との対応部分に対応する符号を付して示している。
本実施の形態では、空中画像10の周囲に、複数名の人20A~20Cが位置する場合における像制御装置32Bの動作について説明する。なお、図13に示す人20A~20Cは、それぞれ異なる方向に移動している。
本実施の形態における空中画像形成システム1Bは、空気中に空中画像10を形成する空中画像形成装置31と、空中画像形成装置31を制御する像制御装置32Bと、人20の位置を検知する位置検知センサ33とを有している。
図13では、人20Aが他の誰よりも空中画像10の近くに位置している。ここでは、人20Aと空中画像10との距離をLAで表し、人20Bと空中画像10との距離をLBで表し、人20Cと空中画像10との距離をLCで表している。
本実施の形態における像制御装置32Bは、図7に示すハードウェア構成を有している。なお、像制御装置32Bは、制御手段の一例であると共に情報処理装置の一例でもある。
図14は、実施の形態2に係る像制御装置32B(図13参照)の機能構成の一例を説明する図である。
図14には、図8との対応部分に対応する符号を付して示している。
図14に示す機能構成は、CPU51によるプログラムの実行を通じて実現される。
本実施の形態の場合、位置検知部60と移動方向検知部61との間に、対象者特定部64が配置されている点で実施の形態1と相違し、その他の点は実施の形態1と共通する。
ここでの対象者特定部64は、検知された複数の人20A~20Cのうち移動方向を検知する対象者を特定する処理を実行する。この実施の形態の場合、対象者特定部64は、検知された複数名の中で他者よりも空中画像10に近い1名を対象者として特定する。図13の例では、人20Aが対象者である。
なお、対象者が複数名いる場合、対象者特定部64は、複数名のうちの1人を予め定めた規則に従い決定する。
例えば複数の対象者のうちの一方が空中画像10に接近するように移動しているのに対し、他方が空中画像10から遠ざかるように移動している場合、対象者特定部64は、接近するように移動している対象者を選択する。経験的には、空中画像10に近づく人の方が遠ざかる人よりも空中画像10に対する関心が高いためである。
また例えば撮像カメラを利用できる場合には、対象者のうちで空中画像10に顔を向けている人を優先する。空中画像10の制御は視認性を高めることを目的としているので、空中画像10を見ていない人に空中画像10の向きを合わせる必要はないためである。
もっとも、空中画像10に対する距離がより近い人が検知されても、対象者を即座に切り替えなくてもよい。例えば予め定めた時間長(例えば15秒)の広告や案内の表示が終わる前に対象者が切り替わると、それまで空中画像10を注視していた人の視認性が損なわれ兼ねないためである。
なお、対象者特定部64は、移動方向検知部61と像形成制御部62の間に配置してもよい。この場合、対象者特定部64は、複数名について検知された位置と移動の方向の情報に基づいて対象者を特定する。
図15は、実施の形態2に係る像形成制御部62(図14参照)が実行する処理動作の概要を説明するフローチャートである。概要であるので、細部については、個別の使用の形態に応じて異なる。
まず、像形成制御部62は、人を検知したか否かを判定する(ステップ11)。
ステップ11で否定結果が得られた場合、像形成制御部62は、人が検知されるまで判定を繰り返す。
ステップ11で肯定結果が得られた場合、像形成制御部62は、人の位置を特定する(ステップ12)。
次に、像形成制御部62は、他者よりも空中画像に近い人を特定する(ステップ13)。検知されている人が1名の場合には、この処理は不要である。
続いて、像形成制御部62は、特定された人の位置の情報に基づいて移動の方向を特定する(ステップ14)。
この後、像形成制御部62は、特定された移動の方向に応じて空中画像の向きや内容を変更する(ステップ15)。
図16は、実施の形態2における空中画像10の形成の手法を説明する図である。
図16では、空中画像10が形成されている空間を上空側から見た様子を表している。図16の例では、3名の人20A~20Cが空中画像10の周囲に存在している。3名のうち人20Aが他の2名よりも空中画像10に近い。このため、空中画像10は、人20Aと正対する向きに形成されている。
<実施の形態3>
<空中画像形成システムの概略構成>
図17は、実施の形態3に係る空中画像形成システム1Cの概略構成を説明する図である。空中画像形成システム1Cは、情報処理システムの一例である。
図17には、図1との対応部分に対応する符号を付して示している。
本実施の形態では、検知された人20が空中画像10の周囲に設定された範囲34の内側に位置するか外側に位置するかに応じて、空中画像10の向きや内容に対する制御が変更される場合について説明する。
図17の場合、範囲34は、円形状である。図17の場合、円の中心と空中画像10の中心とは概略一致している。ここでは、空中画像10の中心を、平面状である空中画像10の短辺を2分する点として定義する。もっとも、範囲34の形状は、楕円形状でも矩形形状でもよく、多角形などの他の形状でもよい。
また、図17の場合、範囲34を規定する円の中心と空中画像10の中心とが概略一致しているので、範囲34は中心からいずれの方向にも均等であるが、範囲34は特定の方向に広く他の方向に狭くてもよい。例えば特定の方向から接近する人20に対しては、他の方向から接近する人20よりも遠くの位置から視認性を高めたい場合には、想定する方向について範囲34を広く設定する。
本実施の形態における空中画像形成システム1Cは、空気中に空中画像10を形成する空中画像形成装置31と、空中画像形成装置31を制御する像制御装置32Cと、人20の位置を検知する位置検知センサ33とを有している。
この実施の形態における像制御装置32Cには、予め設定された範囲34の情報が保存されている。
本実施の形態における像制御装置32Cも、図7に示すハードウェア構成を有している。なお、像制御装置32Cは、制御手段の一例であると共に情報処理装置の一例でもある。
図18は、実施の形態3に係る像制御装置32C(図17参照)の機能構成の一例を説明する図である。
図18には、図8との対応部分に対応する符号を付して示している。
図18に示す機能構成は、CPU51によるプログラムの実行を通じて実現される。
本実施の形態の場合、位置検知部60と移動方向検知部61との間に、範囲内判定部65が配置されている点で実施の形態1と相違し、その他の点は実施の形態1と共通する。
ここでの範囲内判定部65は、検知された人の位置が予め設定された範囲34(図17参照)の内側であるか否かを判定する処理を実行する。この実施の形態の場合、検知された人の位置が範囲34の外側である場合、移動方向検知部61と像形成制御部62の処理を実行しない。
なお、範囲内判定部65は、移動方向検知部61と像形成制御部62の間に配置してもよい。
図19は、像形成制御部62(図18参照)が実行する処理動作の概要を説明するフローチャートである。概要であるので、細部については、個別の使用の形態に応じて異なる。
まず、像形成制御部62は、人を検知したか否かを判定する(ステップ21)。
ステップ21で否定結果が得られた場合、像形成制御部62は、人が検知されるまで判定を繰り返す。
ステップ21で肯定結果が得られた場合、像形成制御部62は、人の位置を特定する(ステップ22)。
次に、像形成制御部62は、特定された人の位置は範囲34(図17参照)の内側か否かを判定する(ステップ23)。
ステップ23で否定結果が得られた場合、像形成制御部62は、後続する処理を実行せず、一連の処理を終了する。
一方、ステップ23で肯定結果が得られた場合、像形成制御部62は、特定された人の位置の情報に基づいて移動の方向を特定する(ステップ24)。
この後、像形成制御部62は、特定された移動の方向に応じて空中画像の向きや内容を変更する(ステップ25)。
図20は、実施の形態3における空中画像10の形成の手法を説明する図である。
図20では、空中画像10が形成されている空間を上空側から見た様子を表している。図20の例では、3名の人20A~20Cが空中画像10の周囲に存在している。3名のうち人20Aが範囲34の内側に位置しており、人20Bと人20Cは範囲34の外側に位置している。
この例の場合、範囲34は楕円形状であり、空中画像10の表示面に対して人20Aの方向に広く、人20Cの方向に狭くなっている。このため、空中画像10との距離は人20Cの方が近いにも関わらず、人20Aと正対するように空中画像10が形成されている。
<実施の形態4>
<空中画像形成システムの概略構成>
図21は、実施の形態4に係る空中画像形成システム1Dの概略構成を説明する図である。空中画像形成システム1Dは、情報処理システムの一例である。
図21には、図1との対応部分に対応する符号を付して示している。
本実施の形態では、2台の空中画像形成装置311及び312を使用して2つの空中画像10A及び10Bを形成する場合について説明する。
図21では、2名の人20A及び20Bがそれぞれ異なる方向から空中画像10A及び10Bに接近する場合を想定している。
本実施の形態における空中画像形成システム1Dは、空気中に空中画像10Aを形成する空中画像形成装置311と、空気中に空中画像10Bを形成する空中画像形成装置312と、空中画像形成装置311及び312を制御する像制御装置32Dと、人20A及び20Bの位置を検知する位置検知センサ33とを有している。
本実施の形態における像制御装置32Dも、図7に示すハードウェア構成を有している。なお、像制御装置32Dは、制御手段の一例であると共に情報処理装置の一例でもある。
図22は、実施の形態4に係る像制御装置32D(図21参照)の機能構成の一例を説明する図である。
図22には、図14との対応部分に対応する符号を付して示している。
図22に示す機能構成は、CPU51によるプログラムの実行を通じて実現される。
本実施の形態に係る像制御装置32Dは、位置検知部60と、対象者特定部64A及び64Bと、移動方向検知部61A及び61Bと、像形成制御部62A及び62Bとして機能する。
ここで、対象者特定部64A、移動方向検知部61A、像形成制御部62Aは、空中画像10A用の機能であり、対象者特定部64B、移動方向検知部61B、像形成制御部62Bは、空中画像10B用の機能である。
対象者特定部64Aと対象者特定部64Bは、互いに特定された対象者の情報を受け渡しし、情報を共有している。なお、位置検知部60で検知された人が1名の場合には、空中画像10A用の対象者と空中画像10B用の対象者とは一致する。
また、位置検知部60で検知された人が2名以上の場合には、空中画像10A用の対象者と空中画像10B用の対象者とが異なるように特定する。
もっとも、位置検知部60で検知された人が2名以上の場合でも、空中画像10Aの対象者と空中画像10Bの対象者とを同一人とすることは可能である。例えば空中画像10A及び10Bに視線を向けているのが1名の場合などである。
図23は、像形成制御部62A及び62B(図22参照)が実行する処理動作の概要を説明するフローチャートである。概要であるので、細部については、個別の使用の形態に応じて異なる。
まず、像形成制御部62A及び62Bは、人を検知したか否かを判定する(ステップ31)。
ステップ31で否定結果が得られた場合、像形成制御部62A及び62Bは、人が検知されるまで判定を繰り返す。
ステップ31で肯定結果が得られた場合、像形成制御部62A及び62Bは、人の位置を特定する(ステップ32)。
次に、像形成制御部62A及び62Bは、空中画像10Aに対応づける人と空中画像10Bに対応付ける人を特定する(ステップ33)。実施の形態2の場合のように、他者よりも空中画像に近い人を対象者として特定してもよいし、予め定めた条件を満たすことを条件としてもよい。なお、検知されている人が1名の場合には、この処理は不要である。
続いて、像形成制御部62A及び62Bは、特定された各人について移動の方向を特定する(ステップ34)。
この後、像形成制御部62A及び62Bは、特定された移動の方向に応じて空中画像10A及び10Bのそれぞれについて向きや内容を変更する(ステップ35)。
<空中画像10の形成例>
<形成例1>
図24は、実施の形態4における空中画像10A及び10Bの形成例の1つを説明する図である。
図24では、空中画像10A及び10Bが形成されている空間を上空側から見た様子を表している。図24の例では、空中画像10A及び10Bの周囲に人20A及び20Bが存在している。このうち、人20Aは、人20Bよりも空中画像10Aに近く、人20Bは、人20Aよりも空中画像Bに近い。このため、空中画像10Aは、X軸の方向に移動する人20Aと正対する向きに形成され、空中画像10Bは、Y軸の方向に移動する人20Bと正対する向きに形成されている。
図25は、実施の形態4における空中画像10A及び10Bの他の形成例を説明する図である。(A)は空中画像10A及び10Bが形成されている空間を上空側から見た様子を表し、(B)は人20Aの位置から空中画像10A及び10Bを見た様子を表している。
図25の例では、空中画像10Aと空中画像10Bが並んで形成され、2つの表示面を合わせて1枚の絵を構成するように形成されている。2つの表示面に1枚の絵を描画することで、人20Aが視認できる面積が2倍となり、視認性を高めることができる。
<形成例2>
図26は、実施の形態4における空中画像10A及び10Bの他の形成例を説明する図である。(A)は人20Aと人20Bが空中画像10A及び10Bを挟んで対面する位置にある状態を表し、(B)は空中画像10A及び10Bが形成されている空間を上空側から見た様子を表している。
人20Aと人20Bが対面する位置にある場合、空中画像10Aと空中画像10Bも対面する位置に形成される。
ただし、空中画像10Aと空中画像10Bとの距離や表示の内容によっては、一方の画像に他方の画像が重なって視認性が低下する可能性がある。
例えば人20Aの位置から見ると、手前側に位置する空中画像10Aの内容に、背景側に位置する空中画像10Bの内容が重なって視認される。例えば人20Bの位置から見ると、手前側に位置する空中画像10Bの内容に、背景側に位置する空中画像10Aの内容が重なって視認される。
図27は、視認性を高めるための対策例を説明する図である。(A)は空中画像10A及び10Bが形成されている空間を上空側から見た様子を表し、(B)は人20A及び人20Bからの見え方を表している。
図27では、空中画像20Aと空中画像20Bとの間に、第3の空中画像20Cを形成して、空中画像20Aと空中画像20Bの視認性を高める手法を表している。
ここでの空中画像20Cは、その形成によって空中画像20Aと空中画像20Bの視認性が高まるのであれば任意である。例えば空中画像20Cには、全体が均一な色やパターンの画像を使用する。ここでの色は、手前側に位置する空中画像10A及び10Bの視認性を高める色であれば任意である。例えば空中画像10A及び10Bの表示に用いられている色調に対して補色(反対色)の関係にある色が望ましい。
また、空中画像20Cには、空中画像20A及び20Bのコントラストを高める画像を使用してもよい。ここで、コントラストを高める画像にも、例えば空中画像20A及び20Bの色調に対して補色(反対色)の関係にある色調の画像が望ましい。
空中画像10Cの配置により、空中画像10A及び10Bのいずれについても視認性が向上される。
なお、図27では、空中画像10Cの寸法が、空中画像10A及び10Bよりも大きい場合を示している。空中画像10Cの寸法が大きいことで、空中画像10A及び10Bの位置関係にズレがあっても、一方側から見た他方側を空中画像10Cで隠すことができる。
また、空中画像10Cの寸法が空中画像10A及び10Bの寸法よりも大きいことで、額縁のような視覚効果が生じ、空中画像10A及び10Bの視認性を高められる。
図28は、空中画像10A及び10Bの視認性を高める第3の空中画像10Cの他の配置例を説明する図である。(A)は空中画像10A及び10Bの中間に複数の空中画像10Cを配置する例を示し、(B)は背景として視認される植木21と空中画像10Aとの間に空中画像10Cを配置する例を示す。
(A)に示す例は、天井や床面等が空中画像10A及び10Bの背景として視認される場合への対策である。このため、(A)に示す例では、空中画像10Cを天井側と床面側にも配置している。なお、背景として壁が視認されることへの対策として、両側に2枚の空中画像10Cを配置してもよい。
(B)に示す例は、空中画像10Aの視認性を低下させる原因が、空間内に実在する物体(ここでは植木21)である場合に、空中画像10Aの背後に第3の空中画像10Cを配置する例を表している。
<実施の形態5>
<空中画像形成システムの概略構成>
図29は、実施の形態5に係る空中画像形成システム1Eの概略構成を説明する図である。空中画像形成システム1Eは、情報処理システムの一例である。
図29には、図1との対応部分に対応する符号を付して示している。
本実施の形態では、3つの空中画像10A~10Cが配置される場合に、人20Aの移動に追従して表示の内容が変化する場合を説明する。
この実施の形態は、実施の形態1~3で説明した制御の応用例である。例えばステップ4(図9参照)、ステップ15(図15参照)、ステップ25(図19参照)で実行される空中画像10A~10Cの表示の内容を変更する。
図29に示す例では、3つの空中画像10A~10Cが天井側から見てコ字状に配置されている。空中画像10A~10Cの形成には、空中画像形成装置311~313が使用される。
図29の場合、3つの空中画像10A~10Cのそれぞれには、「AAAA/AAAA/AAAA/AAAA」を内容とする静止画面が表示されている。
図29では、人20が、空中画像10Aに対面している。
また、図29では、人20による視認性を高めるために、空中画像10Bと空中画像10Cの輝度を低下させた様子を表現している。もっとも、人20と対面している空中画像10Aの輝度を、空中画像10B及び10Cの輝度よりも高めてもよい。
図30は、人20が移動して2枚目の空中画像10Bの位置に移動した状態での内容の変更を説明する図である。
図30では、空中画像10Bの内容が「BBBB/BBBB/BBBB/BBBB」の静止画像に切り替わっている。
なお、空中画像10Cの内容は初期の状態と同じであるが、空中画像10Bの内容に合わせて変更してもよい。
図31は、人20が移動して3枚目の空中画像10Cの位置に移動した状態での内容の変更を説明する図である。
図31では、空中画像10Bの内容が「CCCC/CCCC/CCCC/CCCC」の静止画像に切り替わっている。
このように、空中画像10Bの表示は、人20の移動に伴って、「AAAA/AAAA/AAAA/AAAA」から「BBBB/BBBB/BBBB/BBBB」に切り替わり、空中画像10Cの表示は、人20の移動に伴って、「BBBB/BBBB/BBBB/BBBB」から「CCCC/CCCC/CCCC/CCCC」に切り替わる。
換言すると、空中画像形成システム1Eは、人20の移動に伴い、視認の対象である空中画像10A~10Cの視認性を順次高めるように制御する。
ところで、空中画像10A~10Cに表示する内容は、静止画像に限らない。
図32は、人20の移動に伴い、各空中画像10A~10Cで再生される動画像の内容を説明する図である。(A)は、空中画像10A~10Cの位置関係と人20の移動の経路を表し、(B)~(D)は、人20の移動の速度に応じた表示の内容の切り替わりの時点を説明する図である。
因みに、記号のSは、移動が開始される地点を示し、記号のEは、移動が終了する地点を示す。記号のP1は、空中画像10Aと空中画像10Bの境界を示し、記号のP2は、空中画像10Bと空中画像10Cの境界を示す。
(B)に示す例は、人20が、空中画像10Aと空中画像10Bの前を短時間で移動した場合である。このため、空中画像10Aと空中画像10Bに表示される動画像は、全編30秒のうち始めの10秒程度である。
(C)に示す例は、人20が、空中画像10A~10Cの前に均等に位置する場合である。このため、空中画像10A~10Cのそれぞれに表示される動画像は、いずれも10秒程度である。
(D)に示す例は、人20が、空中画像10Aと空中画像10Bの前をゆっくり移動した場合である。このため、空中画像10Cに表示される動画像は、全編30秒のうちの終わりの5秒程度である。
動画像を表示する場合も、人20と対面する位置の空中画像の視認性を高めるように、各空中画像の輝度が制御されることが望ましい。
図33は、空中画像10A~10Cの視認性を高める他の表示の例を説明する図である。
図33に示す例での制御は、3つの空中画像10A~10Cが横方向に配置されている以外は、図29~図32を用いて説明した制御と同様である。
<実施の形態6>
<空中画像形成システムの概略構成>
本実施の形態では、前述した空中画像形成システムに、空中画像の出力を受け付ける機能を付加する場合について説明する。
図34は、実施の形態6に係る空中画像形成システム1Fの概略構成を説明する図である。空中画像形成システム1Fは、情報処理システムの一例である。
図34には、図1との対応部分に対応する符号を付して示している。
空中画像形成システム1Fは、空気中に空中画像10を形成する空中画像形成装置31と、空中画像形成装置31を制御する像制御装置32Fと、人20の位置を検知する位置検知センサ33と、3次元像形成装置35と、画像形成装置36とを有している。
ここでの像制御装置32Fは、図7に示すハードウェア構成を有している。なお、像制御装置32Fは、制御手段の一例であると共に情報処理装置の一例でもある。
3次元像形成装置35は、液状の樹脂に紫外線などを照射し少しずつ硬化させていく光造形方式、熱で融解した樹脂を少しずつ積み重ねていくFDM(Fused Deposition Modeling)方式(いわゆる熱溶解積層法)、粉末の樹脂に接着剤を吹きつけていく粉末固着方式などの手法で、立体物を形成する装置である。
画像形成装置36は、用紙などの記録材に画像を形成する装置である。画像形成装置36には、レーザ方式やインクジェット方式で用紙に画像を印刷する印刷装置がある。
図35は、実施の形態6に係る像制御装置32F(図34参照)の機能構成の一例を説明する図である。
図35には、図8との対応部分に対応する符号を付して示している。
図35に示す機能構成は、CPU51によるプログラムの実行を通じて実現される。
本実施の形態に係る像制御装置32Fは、位置検知部60と、移動方向検知部61と、像形成制御部62と、空中画像に対する出力の指示を受け付ける出力受付部66と、出力の指示の対象となった空中画像の種類を認識する対象認識部67と、認識の結果に基づいて出力を制御する出力制御部68として機能する。
このうち、本実施の形態に特有な機能は、出力受付部66と、対象認識部67と、出力制御部68である。
出力受付部66は、人20(図34参照)による空中画像10(図34参照)の出力の指示を受け付ける機能部である。出力の指示の受け付けは、例えば人20のジェスチャーを撮像した画像の認識により行う。もっとも、出力の指示の受け付けには、人20の視線の検知によって行ってもよいし、音声の解析によって行ってもよいし、コントローラ等の機器からの信号の受信によって行ってもよい。
対象認識部67は、出力の対象となった空中画像10の種別を認識する処理を実行する機能部である。本実施の形態では、空中画像10の種別として、文書、立体物、そのいずれにも属さない(すなわちその他)の3種類を想定する。空中画像10の種別によって、出力の形態のおおよその特定が可能になる。
例えば2次元の情報で規定される文書の場合、電子ファイルとしての出力や紙への印刷の蓋然性が高い。
例えば3次元の情報で規定される立体物の場合、3次元での造形や特定の方向についての外周面を連続的に用紙に印刷する蓋然性が高い。
なお、種別の認識は、人20によって認識される形態に着目してもよいし、空中画像10の形成に用いられるデータの構造に着目してもよい。後者の場合、例えば空中画像10として視認される形式が2次元であっても、対応するデータが3次元データの場合には立体物であると認識する。
因みに、3次元データには、例えば3次元の形状を三角形の集合体として表現するSTL(Standard Triangulated Language)に準拠したデータ、3次元の形状を正規格子(ボクセル)の集合体として表現するデータ、CAD(Computer Aided Design)データがある。
出力制御部68は、認識された結果や人による追加の指示に基づいて出力の形式を特定し、特定された形式による出力を制御する機能部である。
図36は、実施の形態6に係る処理動作の概要を説明するフローチャートである。概要であるので、細部については、個別の使用の形態に応じて異なる。
出力受付部66(図35参照)は、人による出力の指示があったか否かを判定する(ステップ41)。
ステップ41で否定結果が得られた場合、出力受付部66は、処理を終了する。もっとも、出力受付部66は、肯定結果が得られるまで判定を繰り返してもよい。
ステップ41で肯定結果が得られた場合、対象認識部67は、空中画像が文書か否かを判定する(ステップ42)。対象認識部67は、空中画像形成装置31(図34参照)との通信を通じ、空中画像の形成に用いているデータの情報を取得する。
例えば空中画像の形成に2次元データが用いられている場合、対象認識部67は、空中画像は文書であると認定する。すなわち、ステップ42で肯定結果を得る。
ステップ42で肯定結果が得られた場合、対象認識部67は、文書用の確認画面を提示する(ステップ43)。本実施の形態の場合、確認画面は、空中画像として形成されるが、情報処理装置に設けられている表示デバイスに表示してもよい。
図37は、空中画像10が文書である場合における出力の実行例を説明する図である。図37では、複数ページの存在が2次元的に表現されている。
空中画像10が文書の場合、確認画面W1には候補が提示される。すなわち、電子ファイルとしての出力と用紙への印刷との2種類が、選択の候補として提示される。候補を選択する手法は様々であるが、例えば候補が表示されている領域を指や手で指定する。
電子ファイルとしての出力が選択された場合、対象認識部67は、電子ファイル100としての出力を指示する。電子ファイル100の生成は、像制御装置32F(図34参照)が実行してもよいし、空中画像形成装置31(図34参照)が実行してもよいし、空中画像形成装置31に2次元データを与えている不図示の情報処理装置(例えばコンピュータ)が実行してもよい。
用紙への印刷が選択された場合、対象認識部67は、用紙101への画像の印刷を指示する。
なお、出力の形式が事前に設定されている場合、対象認識部67は、確認画面W1を表示することなく、電子ファイル100の出力又は用紙101への画像の印刷を指示してもよい。
なお、確認画面W1に希望する候補が存在しない場合、対象認識部67は、さらに別の確認画面W2を通じて別の候補を提示する。図37では、3次元での出力やパノラマ画像としての印刷が候補として提示されている。
図36の説明に戻る。
ステップ43で提示された確認画面に対する指示を受け付けると、出力制御部68は、出力の実行を指示する(ステップ44)。
一方、ステップ42で否定結果が得られた場合、対象認識部67は、空中画像が立体物か否かを判定する(ステップ45)。
ステップ45で肯定結果が得られた場合、対象認識部67は、立体用の確認画面を提示する(ステップ46)。
図38は、空中画像10が立体物である場合における出力の実行例を説明する図である。
空中画像10が立体物の場合、確認画面W3には立体物の出力を確認する文面が提示される。
ここで、YESが選択された場合、対象認識部67は、立体物110の形成を指示する。すなわち、ステップ44(図36参照)の処理に移行する。この場合、3次元像形成装置35が、対応する方式に基づいて立体物を形成する。一方、NOが選択された場合、対象認識部67は、別の確認画面W4を通じ、別の候補を提示する。図38では、電子ファイルとしての出力や用紙への印刷が候補として提示されている。
図36の説明に戻る。
ステップ46で提示された確認画面に対する指示を受け付けると、出力制御部68は、出力の実行を指示する(ステップ44)。
ステップ45で否定結果が得られた場合、対象認識部67は、その他用の確認画面を提示する(ステップ47)。
その他とは、例えば空中画像10に2次元データと3次元データが混在するような場合をいう。
図39は、空中画像10が文書とも立体物とも認定できない場合における出力の実行例を説明する図である。
空中画像10が文書とも立体物とも認定できない場合、確認画面W5には候補が提示される。すなわち、電子ファイルとしての出力と、用紙への印刷と、立体物の出力との3種類が選択の候補として提示される。
図36の説明に戻る。
ステップ47で提示された確認画面に対する指示を受け付けると、出力制御部68は、出力の実行を指示する(ステップ44)。
図40は、空中画像10A及び10Bの出力が用紙101への印刷である場合の動作例を説明する図である。
図40では、空中画像10A及び10Bの視認性を高めるための第3の空中画像10Cが、空中画像10Aと空中画像10Bの中間に形成されている場合における用紙101への印刷例を表している。
図40には、空中画像10Cを用いない(無しの)印刷と、空中画像10Cを用いる(有りの)印刷の2種類を例示している。
空中画像10C無しの印刷が選択された場合、空中画像10Aと空中画像10Bに対応する画像が2枚の用紙101に印刷される。
一方、空中画像10C有りの印刷が選択された場合、図40の例では、空中画像10Cが、空中画像10Aや空中画像10Bに対する縁取り102として印刷している。額縁として印刷されることで、その内側に印刷される空中画像10Aや空中画像10Bが目立ち易くなる。
この実施の形態に係る技術は、空気中に形成される空中画像の種類を認識する認識手段と、認識された種類に応じた空中画像の出力の形態を特定する特定手段とに要約される。
前述した対象認識部66(図35参照)は、ここでの認識手段及び特定手段の一例である。
この技術を用いれば、空気中に形成された空中画像の種類に応じた形式による出力が簡便に実現される。なお、空中画像の種類は、空気中で視認される形態で認識してもよいし、空中画像の形成に使用されたデータの構造に基づいて認識してもよい。
<他の実施形態>
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
前述の実施の形態1~5においては、空中画像10が専ら平面状に形成される場合について説明しているが、実施の形態6において説明したように空中画像10が立体的に形成される場合にも応用が可能である。
1A、1B、1C、1D、1E、1F…空中画像形成システム、10…空中画像、31、31A、31B、31C、31D、31E、311、312、313…空中画像形成装置、32A、32B、32C、32D、32E、32F…像制御装置、33…位置検知センサ、34…範囲、35…3次元像形成装置、36…画像形成装置

Claims (8)

  1. 空気中に形成される像に対するユーザの移動の方向を検知する検知手段と、
    検知された方向に応じて前記像の形成を制御する制御手段と
    を有し、
    前記制御手段は、接近する方向が異なる複数のユーザと正対する位置に形成される複数の前記像の間に、各ユーザによる前記像の視認性を高める他の像を形成する情報処理装置。
  2. 前記他の像は、全体が均一な色又はパターンの画像である、請求項に記載の情報処理装置。
  3. 前記他の画像は、前記像のコントラストを高める画像である、請求項に記載の情報処理装置。
  4. 前記制御手段は、ユーザが予め定めた範囲よりも内側にいる場合に、前記像を形成する方向の変更を実行する、請求項に記載の情報処理装置。
  5. 前記制御手段は、ユーザの移動に追従して各ユーザに対応する前記像を形成する向きを変更する、請求項に記載の情報処理装置。
  6. 前記制御手段は、ユーザの移動に追従して各ユーザに対応する前記像の表示の内容を変化させる、請求項に記載の情報処理装置。
  7. 空気中に像を形成する像形成手段と、
    前記像に対するユーザの移動の方向を検知する検知手段と、
    検知された方向に応じて前記像の形成を制御する制御手段と
    を有し、
    前記制御手段は、接近する方向が異なる複数のユーザと正対する位置に複数の前記像を形成する場合に、当該複数の前記像の間に、各ユーザによる前記像の視認性を高める他の像を形成する情報処理システム。
  8. コンピュータ
    空気中に形成される像に対するユーザの移動の方向を検知する機能と、
    検知された方向に応じて前記像の形成を制御する機能と、
    を実現させるためのプログラムであり、
    前記制御する機能は、接近する方向が異なる複数のユーザと正対する位置に複数の前記像を形成する場合に、当該複数の前記像の間に、各ユーザによる前記像の視認性を高める他の像を形成するプログラム。
JP2018009007A 2018-01-23 2018-01-23 情報処理装置、情報処理システム及びプログラム Active JP7119384B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018009007A JP7119384B2 (ja) 2018-01-23 2018-01-23 情報処理装置、情報処理システム及びプログラム
US16/051,557 US11415938B2 (en) 2018-01-23 2018-08-01 Information processing apparatus, information processing system, and non-transitory computer readable medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018009007A JP7119384B2 (ja) 2018-01-23 2018-01-23 情報処理装置、情報処理システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2019128723A JP2019128723A (ja) 2019-08-01
JP7119384B2 true JP7119384B2 (ja) 2022-08-17

Family

ID=67299929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018009007A Active JP7119384B2 (ja) 2018-01-23 2018-01-23 情報処理装置、情報処理システム及びプログラム

Country Status (2)

Country Link
US (1) US11415938B2 (ja)
JP (1) JP7119384B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021144260A (ja) * 2018-06-15 2021-09-24 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
JP7447507B2 (ja) * 2020-01-27 2024-03-12 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7380253B2 (ja) * 2020-01-27 2023-11-15 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002123237A (ja) 2000-10-16 2002-04-26 Sharp Corp 画像表示装置
JP2009532745A (ja) 2006-04-06 2009-09-10 スリーエム イノベイティブ プロパティズ カンパニー 浮動する合成画像を有するシーティング
JP2011068456A (ja) 2009-09-25 2011-04-07 Mitsubishi Electric Building Techno Service Co Ltd 乗客コンベア
JP2012221249A (ja) 2011-04-08 2012-11-12 Sony Corp 表示制御装置、表示制御方法、およびプログラム
JP2013069332A (ja) 2012-12-14 2013-04-18 Canon Inc 情報処理装置及び情報処理方法
US20140168210A1 (en) 2012-01-20 2014-06-19 Nicholas Sheppard Bromer Mirror array display system
US20150138613A1 (en) 2013-11-06 2015-05-21 Electronics And Telecommunications Research Institute Apparatus and method for displaying pseudo-hologram image based on pupil tracking
WO2016047173A1 (ja) 2014-09-24 2016-03-31 オリンパス株式会社 医療システム
WO2017141511A1 (ja) 2016-02-17 2017-08-24 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5635736B2 (ja) * 2009-02-19 2014-12-03 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US8854424B2 (en) * 2011-06-08 2014-10-07 City University Of Hong Kong Generating an aerial display of three-dimensional images from a single two-dimensional image or a sequence of two-dimensional images
JP2013109421A (ja) 2011-11-17 2013-06-06 Toshiba Corp 電子機器、電子機器の制御方法、電子機器の制御プログラム
JP5696908B2 (ja) 2013-02-15 2015-04-08 コニカミノルタ株式会社 操作表示システム
KR102126503B1 (ko) * 2013-11-26 2020-06-25 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US9489724B2 (en) * 2014-03-31 2016-11-08 The Boeing Company Three-dimensional stereoscopic projection on complex surfaces
KR101611484B1 (ko) * 2014-08-20 2016-04-12 울산대학교 산학협력단 의료영상의 제공방법
JP2017062709A (ja) 2015-09-25 2017-03-30 新光商事株式会社 ジェスチャー操作装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002123237A (ja) 2000-10-16 2002-04-26 Sharp Corp 画像表示装置
JP2009532745A (ja) 2006-04-06 2009-09-10 スリーエム イノベイティブ プロパティズ カンパニー 浮動する合成画像を有するシーティング
JP2011068456A (ja) 2009-09-25 2011-04-07 Mitsubishi Electric Building Techno Service Co Ltd 乗客コンベア
JP2012221249A (ja) 2011-04-08 2012-11-12 Sony Corp 表示制御装置、表示制御方法、およびプログラム
US20140168210A1 (en) 2012-01-20 2014-06-19 Nicholas Sheppard Bromer Mirror array display system
JP2013069332A (ja) 2012-12-14 2013-04-18 Canon Inc 情報処理装置及び情報処理方法
US20150138613A1 (en) 2013-11-06 2015-05-21 Electronics And Telecommunications Research Institute Apparatus and method for displaying pseudo-hologram image based on pupil tracking
WO2016047173A1 (ja) 2014-09-24 2016-03-31 オリンパス株式会社 医療システム
WO2017141511A1 (ja) 2016-02-17 2017-08-24 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP2019128723A (ja) 2019-08-01
US20190227491A1 (en) 2019-07-25
US11415938B2 (en) 2022-08-16

Similar Documents

Publication Publication Date Title
EP2144448B1 (en) Floating Image Interaction Device
US11385720B2 (en) Picture selection method of projection touch
JP7119384B2 (ja) 情報処理装置、情報処理システム及びプログラム
US9805509B2 (en) Method and system for constructing a virtual image anchored onto a real-world object
WO2018067333A1 (en) System and method for projecting graphical objects
TW201214245A (en) Touch system using optical components to image multiple fields of view on an image sensor
US11048363B2 (en) Floating display device and method for a floating display device to indicate touch position
JP7040041B2 (ja) 情報処理装置、情報処理システム及びプログラム
JP5016443B2 (ja) カメラ設置シミュレータプログラム
JP7135324B2 (ja) 情報処理装置、情報処理システム及びプログラム
KR20230026503A (ko) 사회적 거리두기를 사용한 증강 현실 경험들
WO2022138297A1 (ja) 空間浮遊映像表示装置
RU2604430C2 (ru) Взаимодействие с трехмерным виртуальным динамическим отображением
JP2021140833A (ja) 情報処理装置、画像形成装置、プログラム、および、システム
KR101698779B1 (ko) 마이크로 미러 어레이 및 그 제조 방법, 그리고 이러한 마이크로 미러 어레이를 포함하는 플로팅 디스플레이
EP4364396A1 (en) Augmented reality eyewear with x-ray effect
JP6895846B2 (ja) 表示装置
JP6233941B1 (ja) 非接触式の三次元タッチパネル、非接触式の三次元タッチパネルシステム、非接触式の三次元タッチパネルの制御方法、プログラム及び記録媒体
JP2021071944A (ja) 画像表示装置
EP2643812B1 (en) Method for displaying an item on a display unit
WO2023248381A1 (ja) 映像表示システム、映像制御方法、及び映像制御プログラム
JP7505112B2 (ja) ウェアラブル端末装置、プログラムおよび報知方法
WO2020240835A1 (ja) 空中映像表示装置
JPH11174375A (ja) 3次元画像表示装置
JP2013047899A (ja) 入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220718

R150 Certificate of patent or registration of utility model

Ref document number: 7119384

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150