JP7040041B2 - 情報処理装置、情報処理システム及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理システム及びプログラムに関する。

光を空気中で交差させ、光の交点に像を形成する技術がある。この種の技術によって表示される像は、空中画像とも呼ばれる。

特開２０１７‐６２７０９号公報

空中画像を作業で利用する機会が増えると考えられる。

本発明は、空中画像の見え方を調整する手段を提案する。

請求項１に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段を有し、前記制御手段は、手前側から奥行き方向に差し込まれる物体の予め定めた寸法より小さい部位と前記像との重なりの検知を通じ、指示の対象である当該像を特定する、情報処理装置である。
請求項２に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段を有し、前記制御手段は、手前側から奥行き方向に差し込まれる物体の一部と前記像との重なりにより形成される面積がより小さい当該像を操作の対象として特定する、情報処理装置である。
請求項３に記載の発明は、前記制御手段は、ユーザの指示に応じ、前記像の並びの順番を変更する、請求項１又は２に記載の情報処理装置である。
請求項４に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段を有し、前記制御手段は、ユーザが指示した１つ又は複数の前記像が削除された場合、残る当該像の奥行き方向の位置を調整する、情報処理装置である。
請求項５に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段を有し、前記制御手段は、ユーザが指示した１つ又は複数の前記像が削除された場合、残る当該像に含まれる物体の表示を拡大する、情報処理装置である。
請求項６に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段を有し、前記制御手段は、前記像が１つ又は複数挿入された場合、奥行き方向の配置の間隔を狭める、情報処理装置である。
請求項７に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段を有し、前記制御手段は、前記像が１つ又は複数挿入された場合、各像に含まれる物体の表示を縮小する、情報処理装置である。
請求項８に記載の発明は、空気中に像を形成する１つ又は複数の像形成手段と、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段と、を有し、前記制御手段は、手前側から奥行き方向に差し込まれる物体の予め定めた寸法より小さい部位と空気中に形成される像との重なりの検知を通じ、指示の対象である当該像を特定する、情報処理システムである。
請求項９に記載の発明は、空気中に像を形成する１つ又は複数の像形成手段と、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段と、を有し、前記制御手段は、手前側から奥行き方向に差し込まれる物体の一部と前記像との重なりにより形成される面積がより小さい当該像を操作の対象として特定する、情報処理システムである。
請求項１０に記載の発明は、空気中に像を形成する１つ又は複数の像形成手段と、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段と、を有し、前記制御手段は、ユーザが指示した１つ又は複数の前記像が削除された場合、残る当該像の奥行き方向の位置を調整する、情報処理システムである。
請求項１１に記載の発明は、空気中に像を形成する１つ又は複数の像形成手段と、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段と、を有し、前記制御手段は、ユーザが指示した１つ又は複数の前記像が削除された場合、残る当該像に含まれる物体の表示を拡大する、情報処理システムである。
請求項１２に記載の発明は、空気中に像を形成する１つ又は複数の像形成手段と、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段と、を有し、前記制御手段は、前記像が１つ又は複数挿入された場合、奥行き方向の配置の間隔を狭める、情報処理システムである。
請求項１３に記載の発明は、空気中に像を形成する１つ又は複数の像形成手段と、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段と、を有し、前記制御手段は、前記像が１つ又は複数挿入された場合、各像に含まれる物体の表示を縮小する、情報処理システムである。
請求項１４に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、コンピュータに、手前側から奥行き方向に差し込まれる物体の予め定めた寸法より小さい部位と前記像との重なりの検知を通じ、指示の対象である当該像を特定する機能と、ユーザの指示に応じ、特定された前記像の表示を制御する機能と、を実現させるためのプログラムである。
請求項１５に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、コンピュータに、手前側から奥行き方向に差し込まれる物体の一部と前記像との重なりにより形成される面積がより小さい当該像を操作の対象として特定する機能と、ユーザの指示に応じ、特定された前記像の表示を制御する機能と、を実現させるためのプログラムである。
請求項１６に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、コンピュータに、ユーザの指示に応じ、１つ又は複数の位置に対応する前記像の表示を制御する機能と、ユーザが指示した１つ又は複数の前記像が削除された場合、残る当該像の奥行き方向の位置を調整する機能と、を実現させるためのプログラムである。
請求項１７に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、コンピュータに、ユーザの指示に応じ、１つ又は複数の位置に対応する前記像の表示を制御する機能と、ユーザが指示した１つ又は複数の前記像が削除された場合、残る当該像に含まれる物体の表示を拡大する機能と、を実現させるためのプログラムである。
請求項１８に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、コンピュータに、ユーザの指示に応じ、１つ又は複数の位置に対応する前記像の表示を制御する機能と、前記像が１つ又は複数挿入された場合、奥行き方向の配置の間隔を狭める機能と、を実現させるためのプログラムである。
請求項１９に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、コンピュータに、ユーザの指示に応じ、１つ又は複数の位置に対応する前記像の表示を制御する機能と、前記像が１つ又は複数挿入された場合、各像に含まれる物体の表示を縮小する機能と、を実現させるためのプログラムである。

請求項１記載の発明によれば、奥行方向に存在する複数の空中画像の手前側から手を差し込んで奥側の空中画像を選択する場合に、手前側の空中画像が誤って選択されないようにできる。
請求項２記載の発明によれば、奥行方向に存在する複数の空中画像の手前側から手を差し込んで奥側の空中画像を選択する場合に、手前側の空中画像が誤って選択されないようにできる。
請求項３記載の発明によれば、奥行方向に存在する複数の空中画像の見え方を調整できる。
請求項４記載の発明によれば、奥行方向に存在する複数の空中画像の一部が削除された場合における残りの空中画像の見え方を調整できる。
請求項５記載の発明によれば、奥行方向に存在する複数の空中画像の一部が削除された場合における残りの空中画像の見え方を調整できる。
請求項６記載の発明によれば、操作後の空中画像の見え方を調整できる。
請求項７記載の発明によれば、操作後の空中画像の見え方を調整できる。
請求項８記載の発明によれば、奥行方向に存在する複数の空中画像の手前側から手を差し込んで奥側の空中画像を選択する場合に、手前側の空中画像が誤って選択されないようにできる。
請求項９記載の発明によれば、奥行方向に存在する複数の空中画像の手前側から手を差し込んで奥側の空中画像を選択する場合に、手前側の空中画像が誤って選択されないようにできる。
請求項１０記載の発明によれば、奥行方向に存在する複数の空中画像の一部が削除された場合における残りの空中画像の見え方を調整できる。
請求項１１記載の発明によれば、奥行方向に存在する複数の空中画像の一部が削除された場合における残りの空中画像の見え方を調整できる。
請求項１２記載の発明によれば、操作後の空中画像の見え方を調整できる。
請求項１３記載の発明によれば、操作後の空中画像の見え方を調整できる。
請求項１４記載の発明によれば、奥行方向に存在する複数の空中画像の手前側から手を差し込で奥側の空中画像を選択する場合に、手前側の空中画像が誤って選択されないようにできる。
請求項１５記載の発明によれば、奥行方向に存在する複数の空中画像の手前側から手を差し込で奥側の空中画像を選択する場合に、手前側の空中画像が誤って選択されないようにできる。
請求項１６記載の発明によれば、奥行方向に存在する複数の空中画像の一部が削除された場合における残りの空中画像の見え方を調整できる。
請求項１７記載の発明によれば、奥行方向に存在する複数の空中画像の一部が削除された場合における残りの空中画像の見え方を調整できる。
請求項１８記載の発明によれば、操作後の空中画像の見え方を調整できる。
請求項１９記載の発明によれば、操作後の空中画像の見え方を調整できる。

実施の形態１に係る空中画像形成システムの概略構成を説明する図である。 層構造を有する表現の一例を示す図である。 表示デバイスから出力される光を専用の光学プレートを透過させることで空中画像を形成する空中画像形成装置の原理図である。（Ａ）は各部材と空中画像との位置関係を示し、（Ｂ）は光学プレートの断面構造の一部を示す。 空中画像として３次元像を形成する空中画像形成装置の原理図である。 ２面コーナーリフレクタを構成する微小な四角い穴を平面内に等間隔に配列した構造のマイクロミラーアレイを用いて空中画像を形成する空中画像形成装置の原理図である。（Ａ）は各部材と空中画像との位置関係を示し、（Ｂ）はマイクロミラーアレイの一部分を拡大した図である。 ビームスプリッタと再帰反射シートを使用する空中画像形成装置の原理図である。 空中画像をプラズマ発光体の集合として形成する空中画像形成装置の原理図である。 実施の形態１に係る像制御装置のハードウェア構成の一例を説明する図である。 実施の形態１に係る像制御装置の機能構成の一例を説明する図である。 実施の形態１に係る像形成制御部が実行する処理動作の概要を説明するフローチャートである。 手前側である空中画像の側から奥行き方向に差し込まれた指先が、２つ目の空中画像と重なっている場合の制御例を表す図である。（Ａ）は手前側から指先を差し込む様子を示し、（Ｂ）は画像の入れ替え後の状態の一例を示す。 手前側である空中画像の側から奥行き方向に差し込まれた指先が、２つ目の空中画像と重なっている場合の他の制御例を表す図である。（Ａ）は手前側から指先を差し込む様子を示し、（Ｂ）は画像の移動後の状態の一例を示す。 手前側である空中画像の側から奥行き方向に差し込まれた指先が、２つ目の空中画像と重なっている場合の他の制御例を表す図である。（Ａ）は手前側から指先を差し込む様子を示し、（Ｂ）は画像の移動後の状態の一例を示す。 空中画像が形成されている空間の外側から、操作の対象である空中画像の外縁を指先で摘まむような身振りを用いる場合の制御例を表す図である。 空中画像が形成されている空間の外側から、操作の対象である空中画像の外縁を指先で触るような身振りを用いる場合の制御例を表す図である。 空中画像が形成されている空間の外側から、操作の対象である空中画像に対する操作の内容を指示する場合の制御例を表す図である。 身振りにより、操作の対象である空中画像を特定するとともに操作の内容を指示する場合の制御例を表す図である。 ２番目の空中画像１０Ｂを表示の対象から削除した結果を説明する図である。 身振りにより、操作の対象である空中画像を特定するとともに操作の内容を指示する場合の他の制御例を表す図である。 音声により、操作の対象である空中画像を特定するとともに操作の内容を指示する場合の制御例を表す図である。（Ａ）は音声による操作の指示を示し、（Ｂ）は操作の結果を示す。 音声により、操作の対象である空中画像を特定するとともに操作の内容を指示する場合の他の制御例を表す図である。（Ａ）は音声による操作の指示を示し、（Ｂ）は操作の結果を示す。 音声により、操作の対象である空中画像を特定するとともに操作の内容を指示する場合の他の制御例を表す図である。（Ａ）は音声による操作の指示を示し、（Ｂ）は操作の結果を示す。 奥側に形成される空中画像では、手前側に形成される表示の内容との重複する部位の表示を白抜きとする（又は、表示の対象から除外する）表示の仕方を説明する図である。（Ａ）は空中画像の表示の内容を説明し、（Ｂ）は人から視認される状態を説明する。 手前側に形成される空中画像の表示の内容の視認性を高める他の方法を説明する図である。（Ａ）は空中画像の表示の内容を説明し、（Ｂ）は人から視認される状態を説明する。 実施の形態２に係る空中画像形成システムの概略構成を説明する図である。 空中画像のおもて面と検知面との位置関係を説明する図である。 実施の形態２に係る像制御装置のハードウェア構成の一例を説明する図である。 実施の形態３に係る空中画像形成システムの概略構成を説明する図である。 実施の形態４に係る空中画像形成システムの概略構成を説明する図である。 実施の形態４に係る像制御装置の機能構成の一例を説明する図である。 実施の形態４に係る処理動作の概要を説明するフローチャートである。 空中画像が文書である場合における出力の実行例を説明する図である。 空中画像が立体物である場合における出力の実行例を説明する図である。 空中画像が文書とも立体物ともできない場合における出力の実行例を説明する図である。 空中画像の出力が用紙への印刷である場合の動作例を説明する図である。 空中画像が内部構造を規定するデータに基づいて形成されている場合における出力の実行例を説明する図である。

以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜空中画像形成システムの概略構成＞
図１は、実施の形態１に係る空中画像形成システム１Ａの概略構成を説明する図である。空中画像形成システム１Ａは、情報処理システムの一例である。
本実施の形態において、空中画像１０とは、物体からの反射光と同等の光の状態を再現するように空気中に形成される像をいう。
空中画像１０は、空気中に浮かぶように形成されるので、人は、空中画像１０を通り抜けることも可能である。

空中画像１０には、例えば案内用の画面や広告用の画面が表示される。また例えば空中画像１０には、人２０の操作に応じて表示の内容が変化する操作用の画面が表示される。言うまでもなく、これらの画面は、表示の一例である。
なお、空中画像１０には、静止画像だけでなく、動画像が表示されることもある。
また、各実施の形態では、矩形形状の全体を空中画像１０として表現するが、空中画像１０の外縁を規定する形状は矩形に限らず、任意でよい。例えば物体（オブジェクト）の像が形成される空間を、空中画像１０が形成される空間の全てとしてもよい。例えば操作用のボタンの像、人の像、動物の像、製品の像、果物の像なども、ここでの空中画像１０の一例である。図１では、空中画像１０が平面形状であるが、曲面、球体、立方体などの立体的な形状でもよい。

空中画像１０は、単独で配置される場合もあるが、１つの空間内に複数を配置する場合もある。図１では、平面形状の３つの空中画像１０Ａ、１０Ｂ、１０Ｃが、人２０に対して奥行き方向に順番に配置されている。
図１の場合、空中画像１０Ａは、「ＡＡＡＡ／ＡＡＡＡ／ＡＡＡＡ／ＡＡＡＡ」で構成される。ここでの斜め線（スラッシュ）は、改行を表している。空中画像１０Ｂ及び１０Ｃについても同じである。なお、空中画像１０Ｂは、「ＢＢＢＢ／ＢＢＢＢ／ＢＢＢＢ／ＢＢＢＢ」で構成され、空中画像１０Ｃは、「ＣＣＣＣ／ＣＣＣＣ／ＣＣＣＣ／ＣＣＣＣ」で構成される。

図１の例では、空中画像１０Ａ、１０Ｂ、１０Ｃが、隣り合うどうしで、予め定めた距離を隔てて対面するように配置されている。
このような配置は、例えば空中画像１０Ａに書面の１頁目、空中画像１０Ｂに同２頁目、空中画像１０Ｃに同３頁目を表示する場合に用いられる。
もっとも、複数の空中画像１０を、人２０から見て奥行き方向に配置する例は、書面を構成する個別の頁を配列する場合に限らない。例えば図形の配列や層構造を有する表現にも使用される。

図２は、層構造を有する表現の一例を示す図である。（Ａ）は手前側に原文に対応する空中画像１０Ａが表示され、奥側に訳文に対応する空中画像１０Ｂが表示される例を示し、（Ｂ）は空中画像１０Ａ及び１０Ｂの正面からの見え方を示す。
図２に示す例では、空中画像１０Ａを通して背後の空中画像１０Ｂが視認されている。図２の例では、翻訳文を併記する目的のため、空中画像１０Ａを構成する文字列「Hello」と空中画像１０Ｂの文字列「こんにちは」の配置が重ならないように位置決めされている。
因みに、図２の例では、翻訳文を背後に位置する空中画像１０Ｂに表示しているが、説明文やコメントを空中画像１０Ｂに表示してもよい。また、翻訳文を手前側の空中画像１０Ａに表示し、原文を奥側の空中画像１０Ｂに表示してもよい。

もっとも、空中画像１０Ａ及び１０Ｂの間で、各画像を構成する文字、図形、記号などの要素の配置が重なることも生じ得る。手前側の空中画像１０Ａの内容と背後側の空中画像１０Ｂの内容とが重なって視認されると、手前側に位置する空中画像１０Ａの内容の視認性が低下してしまう。
そのような場合には、例えば背後に位置する空中画像１０Ｂの視認性を意図的に低下させ（例えば空中画像１０Ｂの輝度を低下させ）、手前側に位置する空中画像１０Ａの視認性を高めてもよい。
また、空中画像１０Ａと空中画像１０Ｂの間の位置に、空中画像１０Ｂの視認性を低下させる色や模様（例えば格子や繰り返しパターン）で構成される第３の空中画像を追加又は挿入してもよい。ここでの第３の空中画像は、空中画像１０Ａの視認性を低下させないように、空中画像１０Ａの反対色で構成してもよい。

図１の説明に戻る。
図１に示す空中画像形成システム１Ａは、空気中に空中画像１０を形成する空中画像形成装置３１、３２、３３と、空中画像形成装置３１、３２、３３を制御する像制御装置３４と、人２０の空中画像１０に対する操作を撮像の対象とする撮像カメラ３５と、人２０の音声を電気信号に変換するマイクロフォン３６とを有している。
本実施の形態の場合、空中画像形成装置３１は空中画像１０Ａの形成用であり、空中画像形成装置３２は空中画像１０Ｂの形成用であり、空中画像形成装置３３は空中画像１０Ｃの形成用である。
空中画像形成装置３１、３２、３３は像形成手段の一例である。空中画像形成装置３１、３２、３３の具体例については後述する。

像制御装置３４は、人２０の操作の内容を特定し、空中画像１０Ａ、１０Ｂ及び１０Ｃの形成を制御する。ここで、像制御装置３４は、撮像カメラ３５から入力される画像を認識する技術（画像認識）やマイクロフォン３６から入力される音声を認識する技術（音声認識）を使用して、操作の内容を特定する。
例えば像制御装置３４は、人２０の手や指の動きを解析して、操作の対象とする空中画像の特定や特定された空中画像に対する操作の内容を特定する。
もっとも、像制御装置３４は、端末（例えばリモートコントローラ）から通知される信号の受信を通じて、操作の内容を特定してもよい。
ここでの像制御装置３４は、制御手段の一例である。なお、像制御装置３４は、情報処理装置の一例でもある。

撮像カメラ３５は、例えば人の手や指先の動きを撮像できる位置に配置される。もっとも、撮像カメラ３５は、人２０の顔を撮像の範囲に含めてもよい。顔が撮像されていれば、表情や視線の方向から操作の内容を特定することもできる。
図１では、撮像カメラ３５が１台の場合を表しているが、撮像カメラ３５は複数台でもよい。複数台の撮像カメラ３５は、取り付け位置や撮像の方向が異なっていてもよい。取り付け位置や撮像の方向が異なることで、死角が少なくなり、人２０の操作の検知や特定の制度を高めることが可能である。
図１では、撮像カメラ３５を用いているが、他の種類のセンサを使用してもよい。
ここでの撮像カメラ３５は、検知手段の一例である。
マイクロフォン３６は、人２０が音声により、操作の内容を指示する場合に使用される。マイクロフォン３６も、検知手段の一例である。

＜空中画像形成装置の例＞
図３～図７を用いて、空中画像１０の形成原理を説明する。以下に説明する原理は、いずれも既知である。
図３は、表示デバイス４１から出力される光を専用の光学プレート４２を透過させることで空中画像１０を形成する空中画像形成装置３１Ａの原理図である。（Ａ）は各部材と空中画像１０との位置関係を示し、（Ｂ）は光学プレート４２の断面構造の一部を示す。ここでの表示デバイス４１と光学プレート４２は、光学部品の一例である。
光学プレート４２は、壁面を鏡として使用する短冊状のガラス４２Ａを配列したプレートと、ガラス４２Ａに対して直交する向きに短冊状のガラス４２Ｂを配列したプレートを上下に重ねた構造を有する。
光学プレート４２は、表示デバイス４１から出力される光を短冊状のガラス４２Ａ及び４２Ｂで２回反射して空気中で結像させることで、表示デバイス４１に表示されている画像を空気中に再現する。なお、表示デバイス４１と光学プレート４２の距離と、光学プレート４２と空中画像１０の距離は同じである。また、表示デバイス４１に表示される画像の寸法と空中画像１０の寸法は同じである。

図４は、空中画像１０として３次元像を形成する空中画像形成装置３１Ｂの原理図である。空中画像形成装置３１Ｂは、実際の物体４３の表面で反射された光をリング型の光学プレート４２を２回透過させることで３次元像（空中画像１０）を空気中に再現する。なお、光学プレート４２を直列に配置する必要はない。

図５は、２面コーナーリフレクタを構成する微小な四角い穴４４Ａを平面内に等間隔に配列した構造のマイクロミラーアレイ４４を用いて空中画像１０を形成する空中画像形成装置３１Ｃの原理図である。（Ａ）は各部材と空中画像１０との位置関係を示し、（Ｂ）はマイクロミラーアレイ４４の一部分を拡大した図である。１つの穴４４Ａは、例えば１００μｍ角で形成される。ここでのマイクロミラーアレイ４４は、光学部品の一例である。

図６は、ビームスプリッタ４６と再帰反射シート４７を使用する空中画像形成装置３１Ｄの原理図である。ここで、ビームスプリッタ４６は、表示デバイス４５の表示面に対して４５°の角度で配置されている。また、再帰反射シート４７は、ビームスプリッタ４６による表示画像の反射方向に、表示デバイス４５の表示面に対して９０°の角度に配置されている。表示デバイス４５、ビームスプリッタ４６、再帰反射シート４７は、光学部品の一例である。
空中画像形成装置３１Ｄの場合、表示デバイス４５から出力される光は、ビームスプリッタ４６によって再帰反射シート４７の方向に反射され、次に再帰反射シート４７で再帰反射され、ビームスプリッタ４６を透過して空中で結像される。光が結像する位置に空中画像１０が形成される。

図７は、空中画像１０をプラズマ発光体の集合として形成する空中画像形成装置３１Ｅの原理図である。
空中画像形成装置３１Ｅの場合、赤外パルスレーザ４８がパルス状のレーザ光を出力し、ＸＹＺスキャナ４９がパルス状のレーザ光を空気中で集光する。このとき、焦点近傍の気体が瞬間的にプラズマ化し、発光する。パルス周波数は、例えば１００Ｈｚ以下であり、パルス発光時間は、例えばナノ秒オーダである。ここでの赤外パルスレーザ４８とＸＹＺスキャナ４９は、光学部品の一例である。

＜像制御装置３４の構成＞
図８は、実施の形態１に係る像制御装置３４のハードウェア構成の一例を説明する図である。
像制御装置３４は、ファームウェアやアプリケーションプログラムの実行を通じて各種の機能を提供するＣＰＵ（Central Processing Unit）５１と、ファームウェアやＢＩＯＳ（Basic Input Output System）を格納する記憶領域であるＲＯＭ（Read Only Memory）５２と、プログラムの実行領域であるＲＡＭ（Random Access Memory）５３とを有している。ここでのＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３は、いわゆるコンピュータの一例である。
また、像制御装置３４は、アプリケーションプログラム等のデータを格納する記憶装置５４を有している。記憶装置５４は、例えば書き換え可能な不揮発性の記憶媒体を情報の格納に使用する。

また、像制御装置３４は、通信インタフェース（通信ＩＦ）５５を使用して空中画像形成装置３１～３３を制御し、空中画像１０の形成を変化させる。ここでの制御には、空中画像１０を形成する位置や寸法等が含まれる。ここでの位置には、二次元的な位置だけでなく、３次元的な位置を含む。
なお、像制御装置３４は、インタフェース（ＩＦ）５６を使用して撮像カメラ３５やマイクロフォン３６と通信する。
ここで、ＣＰＵ５１と各部はバス５７を通じて接続されている。

図９は、実施の形態１に係る像制御装置３４（図８参照）の機能構成の一例を説明する図である。
図９に示す機能構成は、ＣＰＵ５１によるプログラムの実行を通じて実現される。
ＣＰＵ５１は、空中画像１０（図１参照）が形成されている空間内における人２０（図１参照）による空中画像１０に対する操作を受け付ける操作受付部６０と、受け付けた操作の内容を特定する操作内容特定部６１と、特定された操作の内容に応じて空中画像１０の形成を制御する像形成制御部６２として機能する。

ここで、操作受付部６０は、撮像カメラ３５から入力される画像データやマイクロフォン３６から入力される音声データの処理を通じて、人２０による空中画像１０に対する操作の発生を受け付ける。
例えば人２０が予め定めた空間（例えば空中画像１０Ａの手前側に予め設定された範囲）に立ち止まった状態で、手や指に予め定めた動きが検知された場合、操作受付部６０は、人２０による空中画像１０への操作として受け付ける。
また、操作受付部６０は、例えば予め定めた音声が検知された場合、人２０の操作として受け付ける。

操作内容特定部６１は、操作の内容が、空中画像１０Ａ～１０Ｃ（図１参照）として表示されている画像の並び順の変更を指示する操作であるか、特定の画像の表示の対象からの削除を指示する操作であるか、画像を構成する特定のボタン類に対する操作であるか等を特定する。
本実施の形態では、操作受付部６０と操作内容特定部６１とを異なる処理として扱っているが１つの処理として扱ってもよい。
像形成制御部６２は、空中画像形成装置３１～３３（図１参照）に対し、形成される空中画像１０Ａ～１０Ｃの内容の変化、空中画像１０Ａ～１０Ｃが形成される位置の変化などの指示を与える。

＜像形成制御部の処理動作＞
図１０は、実施の形態１に係る像形成制御部６２（図９参照）が実行する処理動作の概要を説明するフローチャートである。概要であるので、細部については、個別の使用の形態に応じて異なる。
まず、像形成制御部６２は、操作の有無を検知する（ステップ１）。
ステップ１で否定結果が得られた場合、像形成制御部６２は、操作が検知されるまで判定を繰り返す。

ステップ１で肯定結果が得られた場合、像形成制御部６２は、操作の対象とする空中画像を特定する（ステップ２）。手や指先と特定の空中画像との重なりが検知された場合、重なりが検知された空中画像が操作の対象である。なお、手や指先が空中画像１０Ａ～１０Ｃ（図１参照）のいずれとも重なっていない場合、最も手前に位置する空中画像が操作の対象とされる。
次に、像形成制御部６２は、操作の内容を特定する（ステップ３）。例えば特定された空中画像の並び順に対する操作が特定される。並び順の変更には、現在の位置よりも手前側への移動、現在の位置よりも奥側への移動等がある。具体的には、空中画像１０Ｂ（図１参照）として表示されている内容の空中画像１０Ａへの移動の指示がある。

続いて、像形成制御部６２は、特定された操作の内容に応じて個々の表示を制御する（ステップ４）。例えば像形成制御部６２は、空中画像形成装置３１～３３（図１参照）のそれぞれに対し、形成する画像の内容や形成する位置を指示する。
位置の指示には、例えば平行移動や回転移動もある。これらの移動では、空中画像の寸法は保たれる。ここで、平行移動とは、移動の前後で表示面の傾きを変えずに実行される直線的な移動である。回転移動とは、予め定めた仮想的な軸を中心とした回転を伴う移動である。

例えば図３に示す手法で空中画像を形成している場合、不図示の移動機構を用いて、表示デバイス４１（図３参照）と光学プレート４２（図３参照）を一体的に一方向に移動させることで空中画像を平行に移動できる。ここでの移動機構には、例えば一軸アクチュエータを使用する。また、表示デバイス４１と光学プレート４２は、案内機構に沿って移動される。移動の距離や移動後の位置は、不図示の位置検出センサによって検知する。

なお、図４や図５に示す手法で空中画像１０を形成する場合、実物の位置を移動させればよい。また、図６に示す手法で空中画像１０を形成する場合、表示デバイス４５（図６参照）の位置を表示面と平行に移動させればよい。また、図７に示す手法で空中画像１０を形成する場合、赤外パルスレーザ４８（図７参照）とＸＹＺスキャナ４９（図７参照）を一体的に平行移動させればよい。

また、図３に示す手法で空中画像１０を形成している場合、不図示の回転機構を用いて、表示デバイス４１と光学プレート４２を一体的に回転移動させることで、空中画像１０を回転させることができる。ここでの回転機構には、例えばモータを使用する。ここで、表示デバイス４１（図３参照）と光学プレート４２（図３参照）は、回転軸の周りに一体的に回転移動される。また、回転の角度や回転の向きは、不図示の位置検出センサによって検知する。因みに、空中画像１０に与える回転の向きによっては、光学プレート４２だけを回転させることも可能である。

図４や図５に示す手法で空中画像１０を形成する場合、実物を回転させればよい。また、図６に示す手法で空中画像１０を形成する場合には、表示デバイス４５（図６参照）を回転させればよい。また、図７に示す手法で空中画像１０を形成する場合には、赤外パルスレーザ４８（図７参照）とＸＹＺスキャナ４９（図７参照）を一体的に回転移動させる方法を用いてもよいし、ＸＹＺスキャナ４９に与える座標を、回転後の座標に変更してもよい。

＜制御例＞
＜制御例１＞
ここでは、空中に形成されている空中画像に対して指先などを差し込む操作により、操作の対象とする空中画像を特定し、表示される内容の並び順を入れ替える場合について説明する。
並び順の入れ替えは、例えば空中画像形成装置３１～３３（図１参照）に与える画像データの入れ替えにより可能である。
また、並び順の入れ替えは、例えば空中画像形成装置３１～３３（図１参照）が形成する空中画像１０Ａ～１０Ｃの物理的な位置の移動等によっても可能である。

図１１は、手前側である空中画像１０Ａの側から奥行き方向に差し込まれた指先が、２つ目の空中画像１０Ｂと重なっている場合の制御例を表す図である。（Ａ）は手前側から指先を差し込む様子を示し、（Ｂ）は画像の入れ替え後の状態の一例を示す。
ここでの指先は、人２０の体の一部の一例である。なお、手も、人２０の体の一部の一例である。なお、指示棒や筆記具を操作の対象である空中画像１０の特定に用いてもよい。ここでの体の一部、指示棒、筆記具は、空中画像の特定に用いられる物体の一例である。

手前側から奥行き方向に指先が差し込まれる操作では、指先は、先ず空中画像１０Ａと重なり、次に、空中画像１０Ｂと重なる。
そこで、本実施の形態では、指先の動きが停止した段階で指先と重なっている空中画像を操作の対象として特定している。具体的には、空中画像１０Ｂを操作の対象として特定している。
もっとも、複数の空中画像との重なりが検知される場合には、より奥側に位置する空中画像を操作の対象として特定してもよいし、時間的に後で重なりが検知された空中画像を操作の対象として特定してもよい。

なお、検知の手法によっては、空中画像と体の一部が重なっている部分の面積を求めることができる。この場合には、例えば重なっている部位の面積が、予め定めた寸法よりも小さい重なりが生じている空中画像を操作の対象として特定してもよい。また例えば重なっている部位の面積がより小さい空中画像を操作の対象として特定してもよい。
また、誤検知を低減する目的で、重なりの検知が、予め定めた時間以上継続していることを条件としてもよい。

図１１の例では、操作の対象として特定された空中画像１０Ｂの位置に表示されていた画像「ＢＢＢＢ／ＢＢＢＢ／ＢＢＢＢ／ＢＢＢＢ」が、手前側の空中画像１０Ａの位置に表示されている。また、操作の前には、空中画像１０Ａの位置に表示されていた画像「ＡＡＡＡ／ＡＡＡＡ／ＡＡＡＡ／ＡＡＡＡ」が、奥側の空中画像１０Ｂの位置に表示されている。
すなわち、図１１では、手前から１番目と２番目の表示の内容が入れ替わる例を表している。
この制御は、特定された空中画像の内容と、最も手前側に位置している空中画像の内容とを入れ替えるとの規則を予め定めておくことで実現が可能である。
この規則を適用する場合に、操作の対象として特定された画像が手前から３番目の頁であれば、１番目の頁と３番目の頁が入れ替えられることになる。

図１２は、手前側である空中画像１０Ａの側から奥行き方向に差し込まれた指先が、２つ目の空中画像１０Ｂと重なっている場合の他の制御例を表す図である。（Ａ）は手前側から指先を差し込む様子を示し、（Ｂ）は画像の移動後の状態の一例を示す。
図１２に示す制御例は、操作の対象として特定された空中画像１０に表示されている内容が最も手前に位置するように、特定された空中画像１０より奥側に位置していた内容を１つずつ手前側に移動させる規則を表している。
この規則では、特定された位置の空中画像よりも手前側に位置していた空中画像は、一体的に（グループとして）奥側に移動される。

換言すると、図１２に示す制御例は、環状（ループ状）に表示の位置を移動させる規則に対応している。
この制御の手法を用いれば、奥側に多数の空中画像が配置され、操作の対象とする内容が表示されている空中画像の位置まで指先が届かない場合でも、操作を繰り返すことで、何回目かの操作の後に、希望する内容を最も手前側に表示させることが可能になる。

図１３は、手前側である空中画像１０Ａの側から奥行き方向に差し込まれた指先が、２つ目の空中画像１０Ｂと重なっている場合の他の制御例を表す図である。（Ａ）は手前側から指先を差し込む様子を示し、（Ｂ）は画像の移動後の状態の一例を示す。
図１３に示す制御例では、操作の対象として特定された空中画像よりも１つ奥側の位置に表示されていた画像が最も手前に位置するように、特定された空中画像よりも奥側に位置していた画像を１つずつ手前側に移動させる規則を表している。

このため、図１３の例では、指先が重なっている空中画像１０Ｂよりも奥側に位置している空中画像１０Ｃに表示されている内容「ＣＣＣＣ／ＣＣＣＣ／ＣＣＣＣ／ＣＣＣＣ」が最も手前側に位置している。この制御例の場合には、特定された位置の空中画像を含んで手前側に位置していた空中画像１０Ａ及び１０Ｂの表示の内容は、一体的に（グループとして）奥側に移動される。
換言すると、図１３に示す制御例は、特定された位置を含んで手前側の表示の内容と特定された位置よりも奥側の表示の内容とを入れ替える規則に対応している。
なお、図１３では、空中画像１０Ａ及び１０Ｂをグループとして扱っているが、奥行き方向に連続しない複数の画像（例えば空中画像１０Ａ及び１０Ｃ）をグループに指定して移動を指示してもよい。

＜制御例２＞
ここでは、空中に形成されている空中画像の外縁部分を空中画像の外側から触れるような操作により、操作の対象とする空中画像を特定し、表示される内容の並び順を入れ替える場合について説明する。
並び順の入れ替えは、制御例１と同様の手法により可能である。
図１４は、空中画像１０Ａ～１０Ｃが形成されている空間の外側から、操作の対象である空中画像１０Ｃの外縁を指先で摘まむような身振りを用いる場合の制御例を表す図である。「摘まむ」と表現しているが、空中画像１０は実在しないため、実際に特定の空中画像を摘まむことはできない。
この制御例では、指先で摘まむような操作が行われた空中画像が操作の対象として特定される。特定後の操作は、制御例１と同様である。なお、摘まむ動作は、操作に対応する身振りの一形態である。

図１５は、空中画像１０Ａ～１０Ｃが形成されている空間の外側から、操作の対象である空中画像１０Ｃの外縁を指先で触るような身振りを用いる場合の制御例を表す図である。「触る」と表現しているが、空中画像１０Ａ～１０Ｃは実在しないため、実際に空中画像１０Ｃを触ることはできない。ここでの触る動作も、操作に対応する身振りの一形態である。
図１６は、空中画像１０Ａ～１０Ｃが形成されている空間の外側から、操作の対象である空中画像１０Ｃに対する操作の内容を指示する場合の制御例を表す図である。図１６の例では、空中画像１０Ｃの奥側から手前側に指先を動かす身振りが行われている。
この身振りは、空中画像１０Ｃに表示されている内容を手前側に移動させる操作として特定される。この身振りにより、空中画像１０Ｃに表示されている内容は、例えば手前側から２番目の位置に移動される。もっとも、この身振りにより、空中画像１０Ｃに表示されている内容が手前側から１番目の位置に移動されてもよい。ここでの指先の動きも、操作に対応する身振りの一形態である。

＜制御例３＞
ここでは、空中に形成されている空中画像に対する身振りにより、操作の対象とする空中画像を特定し、表示される内容の並び順を入れ替える場合の他の例について説明する。
図１７は、身振りにより、操作の対象である空中画像１０Ｂを特定するとともに操作の内容を指示する場合の制御例を表す図である。
図１７では、空中画像１０Ａに環形状の図形が表示され、空中画像１０Ｂに五角形の図形が表示され、空中画像１０Ｃに星形の図形が表示されている。

図１７の場合、人２０は、人差し指と中指とで作ったＶ字を横方向（表示面と平行の方向）に払うように動かしている。ここでのＶ字は、手前側から２番目の空中画像１０Ｂが操作の対象であることを特定する。また、Ｖ字を横方向に払う身振りは、操作の対象である空中画像１０Ｂを表示の対象から削除することを指示している。
図１８は、２番目の空中画像１０Ｂを表示の対象から削除した結果を説明する図である。操作の結果、空中画像１０Ａと空中画像１０Ｃが残り、空中画像１０Ｂが無くなっている。
なお、手前から１番目の空中画像１０Ａを操作の対象とする場合には例えば人差し指を立てればよく、手前から３番目の空中画像１０Ｃを操作の対象とする場合には例えば３本の指を立てればよい。

図１９は、身振りにより、操作の対象である空中画像１０Ｂを特定するとともに操作の内容を指示する場合の他の制御例を表す図である。
ここでも、空中画像１０Ａには環形状の図形が表示され、空中画像１０Ｂには五角形の図形が表示され、空中画像１０Ｃには星形の図形が表示されている。

図１９の場合、人２０は、人差し指と中指とで作ったＶ字を手前に動かしている、又は、手前に折り曲げている。Ｖ字を手前に動かす又は手前に折り曲げる身振りは、操作の対象である空中画像１０Ｂの手前側への移動を指示している。
図１９では、前述した図１１の場合と同様に、手前側から１番目の空中画像１０Ａと２番目の空中画像１０Ｂとが入れ替えられる例を表している。この場合、手前側から１番目の空中画像１０Ａとして五角形の図形が表示され、２番目の空中画像１０Ｂとして環形状の図形が表示され、３番目の空中画像１０Ｃとして星形の図形が表示される。

勿論、操作に対して生じる効果は、予め定められている規則に依存する。従って、図１２に例示したように、操作の対象である空中画像１０Ｂよりも手前に表示されている図形を他の空中画像１０Ｂ及び１０Ｃよりも奥側に移動してもよい。この場合、手前側から１番目の空中画像１０Ａとして五角形の図形が表示され、２番目の空中画像１０Ｂとして星形の図形が表示され、３番目の空中画像１０Ｃとして環形状の図形が表示される。
なお、身振りには、奥方向に押す又は払う（対象とする空中画像に表示されている内容を奥側に移動）、めくる（対象とする空中画像に対応する頁に対して前頁又は次頁を手前側に移動）等がある。

＜制御例４＞
ここでは、音声により、操作の対象とする空中画像を特定し、表示される内容の並び順を入れ替える場合について説明する。
図２０は、音声により、操作の対象である空中画像１０Ｂを特定するとともに操作の内容を指示する場合の制御例を表す図である。（Ａ）は音声による操作の指示を示し、（Ｂ）は操作の結果を示す。
図２０の場合、空中画像１０Ａには環形状の図形が表示され、空中画像１０Ｂには星形の図形が表示され、空中画像１０Ｃには五角形の図形が表示されている。

図２０では、操作の対象が２番目の空中画像１０Ｂであること、操作の内容が表示の削除であることが音声により指示されている。
図２０の例では、手前から２番目の位置の空中画像１０Ｂに表示されていた星形の図形の表示が無くなることで、空中画像１０Ａに表示されていた環形状の図形と空中画像１０Ｃに表示されていた五角形の図形との距離が広がらないように、空中画像１０Ａと空中画像１０Ｃを形成する位置を変更している。具体的には、空中画像１０Ａを形成する位置を奥側に移動し、空中画像１０Ｃを形成する位置を手前側に移動している。ここでの移動は、位置の調整の一形態である。

ただし、単純に空中画像１０Ａと空中画像１０Ｃを形成する位置を移動させたのでは、空中画像１０Ａに表示される環形状の図形の見え方（例えば寸法）に変化が生じ、人２０に違和感を与える可能性がある。具体的には、空中画像１０Ａが形成される位置が操作の前よりも人２０から遠ざかることで、環形状の図形の見え方が小さくなる可能性がある。
そこで、最も手前側に位置し、人２０が注目している空中画像１０Ａが形成される位置に変更が生じる場合には、人２０に違和感を与えないように、空中画像１０Ａに表示される内容、又は、空中画像１０Ａの寸法を拡大してもよい。例えば表示される内容が文字である場合には、フォントのサイズを大きくする。また例えば表示される内容が図形の場合には、図形のサイズを大きくする。

このため、図２０では、人２０から遠ざかる距離に応じて空中画像１０Ａに表示される図形の大きさが拡大されている。一方、図２０では、人２０に近づく距離に応じて空中画像１０Ｃに表示される図形の大きさが縮小されている。
もっとも、表示される内容の拡大や縮小は、視覚的な違和感を避けるためである。従って、違和感を無視する場合や違和感が少ない場合（例えば移動量が予め定めた閾値より小さい場合）には、表示される内容の拡大や縮小を行わなくてもよい。
また、表示する空中画像の数が減る場合には、表示の対象から削除された空中画像の形成に用いられていた空中画像形成装置が空くことになる。そこで、図２０では、五角形の図形の表示に、空中画像形成装置３２（図１参照）又は空中画像形成装置３３（図１参照）に対応する空中画像１０Ｂ又は１０Ｃを用いている。

図２１は、音声により、操作の対象である空中画像１０Ｂを特定するとともに操作の内容を指示する場合の他の制御例を表す図である。（Ａ）は音声による操作の指示を示し、（Ｂ）は操作の結果を示す。
図２１の場合には、単純に、２番目の空中画像１０Ｂを表示の対象から削除している。

図２２は、音声により、操作の対象である空中画像１０Ｂを特定するとともに操作の内容を指示する場合の他の制御例を表す図である。（Ａ）は音声による操作の指示を示し、（Ｂ）は操作の結果を示す。
図２２の例は、図２０及び図２１の場合とは異なり、図を追加（又は挿入）する場合を表している。具体的には、１番目と２番目の間に四角形状の図形の追加が指示される場合を表している。図２２では、４つの空中画像１０Ａ、１０Ｂ、１０Ｃ及び１０Ｄの間に形成される隙間が概略等しくなるように制御されている。
図２２の例では、空中画像１０Ｄを形成可能な第４の空中画像形成装置が用意されているものとする。
図２２の例では、新しい空中画像（四角形状の図形）の追加により、星形状の図形が表示される位置が奥行き方向に移動している。このため、星形状の図形の寸法は、移動の前よりも拡大されている。反対に、新しい空中画像の追加により、表示の位置が手前側に移動された図形に関しては縮小される。

＜視認性を高める空中画像の表示例＞
ここでは、複数の空中画像１０Ａ～１０Ｃの表示面が重なるように配列される場合に、手前側の位置する空中画像１０Ａの視認性を高める表示の仕方について説明する。
図２３は、奥側に形成される空中画像では、手前側に形成される表示の内容との重複する部位の表示を白抜きとする（又は、表示の対象から除外する）表示の仕方を説明する図である。（Ａ）は空中画像１０Ａ～１０Ｃの表示の内容を説明し、（Ｂ）は人から視認される状態を説明する。
図２３に示す表示は、図１に示すように、人から見て手前側から空中画像１０Ａ、１０Ｂ、１０Ｃが順番に形成される場合に相当する。
ここでは、空中画像１０Ａには環形状の図形が表示され、空中画像１０Ｂには五角形の図形が表示され、空中画像１０Ｃには星形の図形が表示される。

空中画像１０Ａを透過して奥側に形成される空中画像１０Ｂ及び１０Ｃが視認される場合（例えば図１７参照）、奥側に形成される空中画像１０Ｂ及び１０Ｃに表示される内容（ここでは五角形の図形と星形の図形）と重複する部分で視認性の低下が生じてしまう。
そこで、図２３に示す例では、２番目の空中画像１０Ｂについては、１番目の空中画像１０Ａに表示される環形状と重複する部分を白抜きに加工した五角形の図形が表示される。また、３番目の空中画像１０Ｃについては、１番目の空中画像１０Ａに表示される環形状と２番目の空中画像１０Ｂに表示される五角形の図形とが重複する部分を白抜きに加工した星形の図形が表示される。図２３の例では、星形の先端の部分だけが表示される。
このように複数の空中画像の間での表示の重複がなくなることで、手前側を優先して、各層における表示の内容の視認性が向上される。

図２４は、手前側に形成される空中画像の表示の内容の視認性を高める他の方法を説明する図である。（Ａ）は空中画像１０Ａ～１０Ｃの表示の内容を説明し、（Ｂ）は人から視認される状態を説明する。
ここでは、表示の内容はそのままに、手前側ほど空中画像の表示に使用する輝度を高くする。換言すると、奥側ほど空中画像の表示に使用する輝度を低くする。
言うまでもなく、輝度が高いほど表示の内容の視認性がよくなる。

＜実施の形態２＞
＜空中画像形成システムの概略構成＞
図２５は、実施の形態２に係る空中画像形成システム１Ｂの概略構成を説明する図である。空中画像形成システム１Ｂは、情報処理システムの一例である。
図２５には、図１との対応部分に対応する符号を付して示している。図２５が図１と異なる点は、空中画像１０Ａ、１０Ｂ又は１０Ｃに対する操作の検出に、光学的な検知面１１Ａ、１１Ｂ、１１Ｃを使用する点と、検知面１１Ａ、１１Ｂ、１１Ｃを横切る物体を非接触で検知する操作受付装置３７を設ける点である。

ここでの検知面１１Ａ、１１Ｂ、１１Ｃは、人には見えない波長の光（例えば赤外線）によって形成されている。検知面１１Ａ、１１Ｂ、１１Ｃは、操作の位置の座標の検知に使用される検知面と兼用してもよい。
本実施の形態の場合、検知面１１Ａ、１１Ｂ、１１Ｃは平面形状であり、空中画像１０Ａ、１０Ｂ、１０Ｃに対して平行に配置される。なお、検知面１１Ａ、１１Ｂ、１１Ｃは、それぞれ対応する空中画像１０Ａ、１０Ｂ、１０Ｃから予め定めた距離だけ離して配置される。
操作受付装置３７には、検知面１１Ａ、１１Ｂ、１１Ｃを形成する赤外線を射出する光源と、光源から射出された赤外線の反射光の受光を通じて検知面１１Ａ、１１Ｂ、１１Ｃを横切る物体を検知する受光素子とを有している。

本実施の形態の場合、検知面１１Ａ、１１Ｂ、１１Ｃは、対応する空中画像１０Ａ、１０Ｂ、１０Ｃよりも広い面積を有している。もっとも、操作を受け付けるボタン類が表示される領域を含む面積を有していれば、空中画像１０Ａ、１０Ｂ、１０Ｃよりも面積が狭くてもよい。
本実施の形態の場合、検知面１１Ａ、１１Ｂ、１１Ｃは、空中画像１０Ａ、１０Ｂ、１０Ｃのうちおもて面が表示される面の側に形成されている。

空中画像１０Ａ、１０Ｂ、１０Ｃが空間内で移動する場合（例えば図２０や図２２）には、検知面１１Ａ、１１Ｂ、１１Ｃも連動して移動される。ここでの移動には、不図示の移動機構が用いられる。不図示の移動機構は、検知面１１Ａ、１１Ｂ、１１Ｃを形成する赤外線の光源や赤外線の受光部を移動させる。
図２６は、空中画像１０Ａ（１０Ｂ、１０Ｃ）のおもて面と検知面１１Ａ（１１Ｂ、１１Ｃ）との位置関係を説明する図である。図２６では、人２０の指先が検知面１１Ａ（１１Ｂ、１１Ｃ）を横切っているが、指示棒や筆記具が検知面１１Ａ（１１Ｂ、１１Ｃ）を横切るのでもよい。

図２７は、実施の形態２に係る像制御装置３４のハードウェア構成の一例を説明する図である。
図２７には、図８と対応する部分に対応する符号を付して示している。
本実施の形態に係る像制御装置３４では、インタフェース（ＩＦ）５６を使用して操作受付装置３７と通信する点で実施の形態１（図８参照）と異なる。

＜実施の形態３＞
＜空中画像形成システムの概略構成＞
図２８は、実施の形態３に係る空中画像形成システム１Ｃの概略構成を説明する図である。空中画像形成システム１Ｃは、情報処理システムの一例である。
図２８には、図１との対応部分に対応する符号を付して示している。
本実施の形態では、１つの空中画像形成装置３１を使用して、３つの空中画像１０Ａ、１０Ｂ、１０Ｃを形成する点で実施の形態１と相違する。

この実施の形態の場合、３つの空中画像１０Ａ、１０Ｂ、１０Ｃは、例えば時分割で形成してもよい。図３～図６に示す空中画像形成装置３１Ａ～３１Ｄの場合には、例えば光路上に位置する光学素子を高速に移動させることで１０Ａ、１０Ｂ、１０Ｃを形成する。図７に示す空中画像３１Ｅの場合には、例えば空気中での発光点の座標を高速に切り替えることで空中画像１０Ａ、１０Ｂ、１０Ｃを形成する。
また、３つの空中画像１０Ａ、１０Ｂ、１０Ｃは、１つの立体像を構成する３つの層（レイヤ）として形成してもよい。

＜実施の形態４＞
＜空中画像形成システムの概略構成＞
本実施の形態では、前述した空中画像形成システムに、空中画像の出力を受け付ける機能を付加する場合について説明する。
図２９は、実施の形態４に係る空中画像形成システム１Ｄの概略構成を説明する図である。空中画像形成システム１Ｄは、情報処理システムの一例である。
図２９には、図１との対応部分に対応する符号を付して示している。

本実施の形態の場合、空中画像形成システム１Ｄには、３次元像（立体物）を形成する３次元像形成装置３９と、用紙等の記録材に画像を形成する画像形成装置４０とが設けられている。図２９では、空中画像１０が１つの場合について表しているが、実施の形態１～３のように空中画像１０は複数でもよい。

３次元像形成装置３９は、液状の樹脂に紫外線などを照射し少しずつ硬化させていく光造形方式、熱で融解した樹脂を少しずつ積み重ねていくＦＤＭ（Fused Deposition Modeling）方式（いわゆる熱溶解積層法）、粉末の樹脂に接着剤を吹きつけていく粉末固着方式などの手法で、立体物を形成する装置である。
画像形成装置４０は、レーザ方式やインクジェット方式で用紙に画像を印刷する印刷装置である。

図３０は、実施の形態４に係る像制御装置３４（図２９参照）の機能構成の一例を説明する図である。
図３０には、図９との対応部分に対応する符号を付して示している。
図３０に示す機能構成は、ＣＰＵ５１によるプログラムの実行を通じて実現される。なお、像制御装置３４は、図８に示すハードウェア構成を有している。

本実施の形態に係る像制御装置３４は、操作受付部６０と、操作内容特定部６１と、像形成制御部６２と、空中画像に対する出力の指示を受け付ける出力受付部６５と、出力の指示の対象となった空中画像の種類を認識する対象認識部６６と、認識の結果に基づいて出力を制御する出力制御部６７として機能する。
このうち、本実施の形態に特有な機能は、出力受付部６５と、対象認識部６６と、出力制御部６７である。

出力受付部６５は、人２０（図２９参照）による空中画像１０（図３４参照）の出力の指示を受け付ける機能部である。出力の指示の受け付けは、例えば人２０の身振りを撮像した画像の認識により行う。もっとも、出力の指示の受け付けには、人２０の視線の検知によって行ってもよいし、音声の解析によって行ってもよいし、コントローラ等の機器からの信号の受信によって行ってもよい。

対象認識部６６は、出力の対象となった空中画像１０の種別を認識する処理を実行する機能部である。本実施の形態では、空中画像１０の種別として、文書、立体物、そのいずれにも属さない（すなわちその他）の３種類を想定する。空中画像１０の種別によって、出力の形態のおおよそ特定が可能になる。
例えば２次元の情報で規定される文書の場合、電子ファイルとしての出力や紙への印刷の蓋然性が高い。
例えば３次元の情報で規定される立体物の場合、３次元での造形や特定の方向についての外周面を連続的に用紙に印刷する蓋然性が高い。

なお、種別の認識は、人２０によって認識される形態に着目してもよいし、空中画像１０の形成に用いられるデータの構造に着目してもよい。後者の場合、例えば空中画像１０として視認される形式が２次元であっても、対応するデータが３次元データの場合には立体物であると認識する。
因みに、３次元データには、例えば３次元の形状を三角形の集合体として表現するＳＴＬ（Standard Triangulated Language）に準拠したデータ、３次元の形状を正規格子（ボクセル）の集合体として表現するデータ、ＣＡＤ（Computer Aided Design）データがある。
出力制御部６７は、認識された結果や人による追加の指示に基づいて出力の形式を特定し、特定された形式による出力を制御する機能部である。

図３１は、実施の形態４に係る処理動作の概要を説明するフローチャートである。概要であるので、細部については、個別の使用の形態に応じて異なる。
出力受付部６５（図３０参照）は、人による出力の指示があったか否かを判定する（ステップ１１）。
ステップ１１で否定結果が得られた場合、出力受付部６５は、処理を終了する。もっとも、出力受付部６５は、肯定結果が得られるまで判定を繰り返してもよい。

ステップ１１で肯定結果が得られた場合、対象認識部６６（図３０参照）は、空中画像が文書か否かを判定する（ステップ１２）。対象認識部６６は、空中画像形成装置３１（図２９参照）との通信を通じ、空中画像の形成に用いているデータの情報を取得する。
例えば空中画像の形成に２次元データが用いられている場合、対象認識部６６は、空中画像は文書であると認定する。すなわち、ステップ１２で肯定結果を得る。
ステップ１２で肯定結果が得られた場合、対象認識部６６は、文書用の確認画面を提示する（ステップ１３）。本実施の形態の場合、確認画面は、空中画像として形成されるが、情報処理装置に設けられている表示デバイスに表示してもよい。

図３２は、空中画像１０が文書である場合における出力の実行例を説明する図である。図３２では、複数ページの存在が２次元的に表現されている。
空中画像１０が文書の場合、確認画面Ｗ１には候補が提示される。すなわち、電子ファイルとしての出力と用紙への印刷との２種類が、選択の候補として提示される。候補を選択する手法は様々であるが、例えば候補が表示されている領域を指や手で指定する。
電子ファイルとしての出力が選択された場合、対象認識部６６は、電子ファイル７０としての出力を指示する。電子ファイル７０の生成は、像制御装置３４（図２９参照）が実行してもよいし、空中画像形成装置３１（図２９参照）が実行してもよいし、空中画像形成装置３１に２次元データを与えている不図示の情報書装置（例えばコンピュータ）が実行してもよい。
なお、文書に付箋といった付加画像を空中画像１０に付与できる場合、又は、既に空中画像１０に付加画像が付与されている場合、付加画像が付与されているページを一まとめにした電子ファイルを出力できるようにしてもよい。

用紙への印刷が選択された場合、対象認識部６６は、用紙７１への画像の印刷を指示する。
なお、出力の形式が事前に設定されている場合、対象認識部６６は、確認画面Ｗ１を表示することなく、電子ファイル７０の出力又は用紙７１への画像の印刷を指示してもよい。
なお、確認画面Ｗ１に希望する候補が存在しない場合、対象認識部６６は、さらに別の確認画面Ｗ２を通じて別の候補を提示する。図３２では、３次元での出力やパノラマ画像としての印刷が候補として提示されている。

図３１の説明に戻る。
ステップ１３で提示された確認画面に対する指示を受け付けると、出力制御部６７は、出力の実行を指示する（ステップ１４）。
一方、ステップ１２で否定結果が得られた場合、対象認識部６６は、空中画像が立体物か否かを判定する（ステップ１５）。
ステップ１５で肯定結果が得られた場合、対象認識部６６は、立体用の確認画面を提示する（ステップ１６）。

図３３は、空中画像１０が立体物である場合における出力の実行例を説明する図である。
空中画像１０が立体物の場合、確認画面Ｗ３には立体物の出力を確認する文面が提示される。
ここで、ＹＥＳが選択された場合、対象認識部６６は、立体物８０の形成を指示する。すなわち、ステップ１４（図３１参照）の処理に移行する。この場合、３次元像形成装置３９が、対応する方式に基づいて立体物を形成する。一方、ＮＯが選択された場合、対象認識部６６は、別の確認画面Ｗ４を通じ、別の候補を提示する。図３３では、電子ファイルとしての出力や用紙への印刷が候補として提示されている。

図３１の説明に戻る。
ステップ１６で提示された確認画面に対する指示を受け付けると、出力制御部６７は、出力の実行を指示する（ステップ１４）。
ステップ１５で否定結果が得られた場合、対象認識部６６は、その他用の確認画面を提示する（ステップ１７）。
その他とは、例えば空中画像１０に２次元データと３次元データが混在するような場合をいう。
図３４は、空中画像１０が文書とも立体物ともできない場合における出力の実行例を説明する図である。
空中画像１０が文書とも立体物とも認定できない場合、確認画面Ｗ５には候補が提示される。すなわち、電子ファイルとしての出力と、用紙への印刷と、立体物の出力との３種類が選択の候補として提示される。
図３１の説明に戻る。
ステップ１７で提示された確認画面に対する指示を受け付けると、出力制御部６７は、出力の実行を指示する（ステップ１４）。

図３５は、空中画像１０Ａ及び１０Ｂの出力が用紙７１への印刷である場合の動作例を説明する図である。
図３５では、空中画像１０Ａ及び１０Ｂの視認性を高めるための第３の空中画像１０Ｃが、空中画像１０Ａと空中画像１０Ｂの中間に形成されている場合における用紙７１への印刷例を表している。

図３５には、空中画像１０Ｃを用いない（無しの）印刷と、空中画像１０Ｃを用いる（有りの）印刷の２種類を例示している。
空中画像１０Ｃ無しの印刷が選択された場合、空中画像１０Ａと空中画像１０Ｂに対応する画像が２枚の用紙７１に印刷される。
一方、空中画像１０Ｃ有りの印刷が選択された場合、図３５の例では、空中画像１０Ｃが、空中画像１０Ａや空中画像１０Ｂに対する縁取り７２として印刷している。額縁として印刷されることで、その内側に印刷される空中画像１０Ａや空中画像１０Ｂが目立ち易くなる。

続いて、特殊な出力例について説明する。
図３６は、空中画像１０が内部構造を規定するデータに基づいて形成されている場合における出力の実行例を説明する図である。
図３６では、空中画像１０として卵が表示されている。卵は、外部構造としての殻と、内部構造としての白身と黄身とで構成されている。
本実施の形態では、空中画像１０として卵の外観である殻だけが表現されているものとする。すなわち、元データが外部構造と内部構造の両方を有している場合でも、外部構造に対応する殻だけが空中画像１０として再現されているものとする。

空中画像１０に対応する元データが外部構造のデータと内部構造のデータを有している場合、出力の指示に対して確認画面Ｗ６が提示される。
確認画面Ｗ６には、外部構造と内部構造が選択の候補として提示される。
外部構造（すなわち殻の部分）の出力が選択された場合、対象認識部６６は、電子ファイルとしての出力と、用紙への印刷と、立体物の出力とを選択の候補として確認画面Ｗ７に提示する。

卵のようにどの方向から観察しても外観の形状に違いが無い場合には必要は乏しいが、例えば用紙への印刷を選択する場合には、空中画像１０をどの方向から観察した外部構造を印刷するかを選択できることが好ましい。また例えば用紙への印刷や立体物の出力の場合には、出力される寸法を指定できることが好ましい。この際、出力が開始される前に、プレビュー画像などを表示して、出力後の状態を確認できることが望ましい。プレビュー画像の表示にも空中画像１０を用いてもよい。

内部構造（すなわち白身や黄身）の出力が選択された場合、対象認識部６６は、電子ファイルとしての出力と、用紙への印刷と、立体物の出力とを選択の候補として確認画面Ｗ８に提示する。内部構造の選択には、更に、断面構造としての出力か、指定された一部分の出力か、全体としての出力かを選択できることが望ましい。断面構造は、どの部位をどの方向から切断するか等によって指定できることが好ましい。
なお、用紙への印刷や立体物の出力の場合には、出力される寸法を指定できることが好ましい。この際、出力が開始される前に、プレビュー画像などで出力後の状態を確認できることが望ましい。

この実施の形態に係る技術は、空気中に形成される空中画像の種類を認識する認識手段と、認識された種類に応じた空中画像の出力の形態を特定する特定手段とに要約される。
前述した対象認識部６６（図３０参照）は、ここでの認識手段及び特定手段の一例である。
この技術を用いれば、空気中に形成された空中画像の種類に応じた形式による出力が簡便に実現される。なお、空中画像の種類は、空気中で視認される形態で認識してもよいし、空中画像の形成に使用されたデータの構造に基づいて認識してもよい。

＜他の実施形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
前述の実施の形態においては、空中画像１０が専ら平面状に形成される場合について説明しているが、立体的に形成される場合にも応用が可能である。

前述の実施の形態１の説明では、奥行き方向に複数の空中画像１０が形成される場合について説明しているが、空中画像１０に対する身振りによる移動の指示は、空気中に形成される空中画像１０の数が１つの場合にも応用できる。
例えば図１６において空中画像１０Ｃだけが形成されている場合（すなわち空中画像１０Ａ及び１０Ｂは存在しない場合）、指先を手前側に動かす身振りが行われると、空中画像１０Ｃを図中の手前側（例えば空中画像１０Ａの位置）に移動されるようにしてもよい。反対に、手を奥側に押し出すような身振りが行われた場合には、空中画像１０Ｃが形成される位置が更に奥側に移動させるようにしてもよい。なお、空中画像１０Ｃを形成する位置を奥行き方向に変化させる場合には、画像の大きさの変化が知覚されないように、画像の寸法を移動の距離に応じて調整してもよい。
また、手を左方向、右方向、上方向、下方向に動かす身振りが行われた場合には、空中画像１０Ｃが形成される位置が左方向、右方向、上方向、下方向に移動されるようにしてもよい。
このように、身振りにより空中画像１０が形成される位置を操作できることで、そもそも位置を移動できない場合に比して、空中画像１０に対する作業性を高めることができる。なお、リモートコントローラ等の制御操作を通じて移動を指示できるようにしてもよい。

また、前述の実施の形態１においては、身振りによって空中画像１０が形成される位置を入れ替えたり、移動させたりした後も、空気中に形成される空中画像１０の数が維持されているが、移動の対象として特定された空中画像１０以外を空気中から消してもよい。
また、他の空中画像１０の表示は継続したままで、移動の対象に特定された空中画像１０の外縁部を点滅させる等して、移動の実行を明示してもよい。
これらのように、移動の前後で空中画像１０の表示の形態（装飾を含む）を変化させない場合に比して、移動の対象に特定した空中画像１０の視認性を高めることができる。

１Ａ、１Ｂ、１Ｃ、１Ｄ…空中画像形成システム、１０、１０Ａ、１０Ｂ、１０Ｃ…空中画像、１１Ａ、１１Ｂ、１１Ｃ…検知面、３１、３２、３３、３１Ａ、３１Ｂ、３１Ｃ、３１Ｄ、３１Ｅ…空中画像形成装置、３４…像制御装置、３５…撮像カメラ、３６…マイクロフォン、３７…操作受付装置、３９…３次元像形成装置、４０…画像形成装置

Claims (19)

1. 空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段
   を有し、
   前記制御手段は、手前側から奥行き方向に差し込まれる物体の予め定めた寸法より小さい部位と前記像との重なりの検知を通じ、指示の対象である当該像を特定する、情報処理装置。
2. 空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段
   を有し、
   前記制御手段は、手前側から奥行き方向に差し込まれる物体の一部と前記像との重なりにより形成される面積がより小さい当該像を操作の対象として特定する、情報処理装置。
3. 前記制御手段は、ユーザの指示に応じ、前記像の並びの順番を変更する、請求項１又は２に記載の情報処理装置。
4. 空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段
   を有し、
   前記制御手段は、ユーザが指示した１つ又は複数の前記像が削除された場合、残る当該像の奥行き方向の位置を調整する、情報処理装置。
5. 空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段
   を有し、
   前記制御手段は、ユーザが指示した１つ又は複数の前記像が削除された場合、残る当該像に含まれる物体の表示を拡大する、情報処理装置。
6. 空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段
   を有し、
   前記制御手段は、前記像が１つ又は複数挿入された場合、奥行き方向の配置の間隔を狭める、情報処理装置。
7. 空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段
   を有し、
   前記制御手段は、前記像が１つ又は複数挿入された場合、各像に含まれる物体の表示を縮小する、情報処理装置。
8. 空気中に像を形成する１つ又は複数の像形成手段と、
   空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段と、
   を有し、
   前記制御手段は、手前側から奥行き方向に差し込まれる物体の予め定めた寸法より小さい部位と空気中に形成される像との重なりの検知を通じ、指示の対象である当該像を特定する、
   情報処理システム。
9. 空気中に像を形成する１つ又は複数の像形成手段と、
   空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段と、
   を有し、
   前記制御手段は、手前側から奥行き方向に差し込まれる物体の一部と前記像との重なりにより形成される面積がより小さい当該像を操作の対象として特定する、
   情報処理システム。
10. 空気中に像を形成する１つ又は複数の像形成手段と、
    空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段と、
    を有し、
    前記制御手段は、ユーザが指示した１つ又は複数の前記像が削除された場合、残る当該像の奥行き方向の位置を調整する、
    情報処理システム。
11. 空気中に像を形成する１つ又は複数の像形成手段と、
    空気中に形成される像が奥行き方向に複数存在する場合に、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段と、
    を有し、
    前記制御手段は、ユーザが指示した１つ又は複数の前記像が削除された場合、残る当該像に含まれる物体の表示を拡大する、
    情報処理システム。
12. 空気中に像を形成する１つ又は複数の像形成手段と、
    空気中に形成される像が奥行き方向に複数存在する場合に、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段と、
    を有し、
    前記制御手段は、前記像が１つ又は複数挿入された場合、奥行き方向の配置の間隔を狭める、
    情報処理システム。
13. 空気中に像を形成する１つ又は複数の像形成手段と、
    空気中に形成される像が奥行き方向に複数存在する場合に、ユーザの指示に応じ、１つ又は複数の位置に対応する当該像の表示を制御する制御手段と、
    を有し、
    前記制御手段は、前記像が１つ又は複数挿入された場合、各像に含まれる物体の表示を縮小する、
    情報処理システム。
14. 空気中に形成される像が奥行き方向に複数存在する場合、
    コンピュータに、
    手前側から奥行き方向に差し込まれる物体の予め定めた寸法より小さい部位と前記像との重なりの検知を通じ、指示の対象である当該像を特定する機能と、
    ユーザの指示に応じ、特定された前記像の表示を制御する機能と、
    を実現させるためのプログラム。
15. 空気中に形成される像が奥行き方向に複数存在する場合、
    コンピュータに、
    手前側から奥行き方向に差し込まれる物体の一部と前記像との重なりにより形成される面積がより小さい当該像を操作の対象として特定する機能と、
    ユーザの指示に応じ、特定された当該像の表示を制御する機能と、
    を実現させるためのプログラム。
16. 空気中に形成される像が奥行き方向に複数存在する場合、
    コンピュータに、
    ユーザの指示に応じ、１つ又は複数の位置に対応する前記像の表示を制御する機能と、
    ユーザが指示した１つ又は複数の前記像が削除された場合、残る当該像の奥行き方向の位置を調整する機能と、
    を実現させるためのプログラム。
17. 空気中に形成される像が奥行き方向に複数存在する場合、
    コンピュータに、
    ユーザの指示に応じ、１つ又は複数の位置に対応する前記像の表示を制御する機能と、
    ユーザが指示した１つ又は複数の前記像が削除された場合、残る当該像に含まれる物体の表示を拡大する機能と、
    を実現させるためのプログラム。
18. 空気中に形成される像が奥行き方向に複数存在する場合、
    コンピュータに、
    ユーザの指示に応じ、１つ又は複数の位置に対応する前記像の表示を制御する機能と、
    前記像が１つ又は複数挿入された場合、奥行き方向の配置の間隔を狭める機能と、
    を実現させるためのプログラム。
19. 空気中に形成される像が奥行き方向に複数存在する場合、
    コンピュータに、
    ユーザの指示に応じ、１つ又は複数の位置に対応する前記像の表示を制御する機能と、
    前記像が１つ又は複数挿入された場合、各像に含まれる物体の表示を縮小する機能と、
    を実現させるためのプログラム。

Images