JP7040041B2 - 情報処理装置、情報処理システム及びプログラム - Google Patents
情報処理装置、情報処理システム及びプログラム Download PDFInfo
- Publication number
- JP7040041B2 JP7040041B2 JP2018009010A JP2018009010A JP7040041B2 JP 7040041 B2 JP7040041 B2 JP 7040041B2 JP 2018009010 A JP2018009010 A JP 2018009010A JP 2018009010 A JP2018009010 A JP 2018009010A JP 7040041 B2 JP7040041 B2 JP 7040041B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- aerial image
- images
- depth direction
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 35
- 238000010586 diagram Methods 0.000 description 38
- 238000000034 method Methods 0.000 description 34
- 238000001514 detection method Methods 0.000 description 28
- 230000015572 biosynthetic process Effects 0.000 description 24
- 230000003287 optical effect Effects 0.000 description 23
- 238000007639 printing Methods 0.000 description 22
- 238000012790 confirmation Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 235000013601 eggs Nutrition 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000011347 resin Substances 0.000 description 3
- 229920005989 resin Polymers 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000008021 deposition Effects 0.000 description 2
- 210000002969 egg yolk Anatomy 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000000843 powder Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241000032989 Ipomoea lacunosa Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 235000020990 white meat Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/065—Adaptation
- G10L15/07—Adaptation to the speaker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
Description
請求項2に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段を有し、前記制御手段は、手前側から奥行き方向に差し込まれる物体の一部と前記像との重なりにより形成される面積がより小さい当該像を操作の対象として特定する、情報処理装置である。
請求項3に記載の発明は、前記制御手段は、ユーザの指示に応じ、前記像の並びの順番を変更する、請求項1又は2に記載の情報処理装置である。
請求項4に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段を有し、前記制御手段は、ユーザが指示した1つ又は複数の前記像が削除された場合、残る当該像の奥行き方向の位置を調整する、情報処理装置である。
請求項5に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段を有し、前記制御手段は、ユーザが指示した1つ又は複数の前記像が削除された場合、残る当該像に含まれる物体の表示を拡大する、情報処理装置である。
請求項6に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段を有し、前記制御手段は、前記像が1つ又は複数挿入された場合、奥行き方向の配置の間隔を狭める、情報処理装置である。
請求項7に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段を有し、前記制御手段は、前記像が1つ又は複数挿入された場合、各像に含まれる物体の表示を縮小する、情報処理装置である。
請求項8に記載の発明は、空気中に像を形成する1つ又は複数の像形成手段と、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段と、を有し、前記制御手段は、手前側から奥行き方向に差し込まれる物体の予め定めた寸法より小さい部位と空気中に形成される像との重なりの検知を通じ、指示の対象である当該像を特定する、情報処理システムである。
請求項9に記載の発明は、空気中に像を形成する1つ又は複数の像形成手段と、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段と、を有し、前記制御手段は、手前側から奥行き方向に差し込まれる物体の一部と前記像との重なりにより形成される面積がより小さい当該像を操作の対象として特定する、情報処理システムである。
請求項10に記載の発明は、空気中に像を形成する1つ又は複数の像形成手段と、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段と、を有し、前記制御手段は、ユーザが指示した1つ又は複数の前記像が削除された場合、残る当該像の奥行き方向の位置を調整する、情報処理システムである。
請求項11に記載の発明は、空気中に像を形成する1つ又は複数の像形成手段と、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段と、を有し、前記制御手段は、ユーザが指示した1つ又は複数の前記像が削除された場合、残る当該像に含まれる物体の表示を拡大する、情報処理システムである。
請求項12に記載の発明は、空気中に像を形成する1つ又は複数の像形成手段と、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段と、を有し、前記制御手段は、前記像が1つ又は複数挿入された場合、奥行き方向の配置の間隔を狭める、情報処理システムである。
請求項13に記載の発明は、空気中に像を形成する1つ又は複数の像形成手段と、空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段と、を有し、前記制御手段は、前記像が1つ又は複数挿入された場合、各像に含まれる物体の表示を縮小する、情報処理システムである。
請求項14に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、コンピュータに、手前側から奥行き方向に差し込まれる物体の予め定めた寸法より小さい部位と前記像との重なりの検知を通じ、指示の対象である当該像を特定する機能と、ユーザの指示に応じ、特定された前記像の表示を制御する機能と、を実現させるためのプログラムである。
請求項15に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、コンピュータに、手前側から奥行き方向に差し込まれる物体の一部と前記像との重なりにより形成される面積がより小さい当該像を操作の対象として特定する機能と、ユーザの指示に応じ、特定された前記像の表示を制御する機能と、を実現させるためのプログラムである。
請求項16に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、コンピュータに、ユーザの指示に応じ、1つ又は複数の位置に対応する前記像の表示を制御する機能と、ユーザが指示した1つ又は複数の前記像が削除された場合、残る当該像の奥行き方向の位置を調整する機能と、を実現させるためのプログラムである。
請求項17に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、コンピュータに、ユーザの指示に応じ、1つ又は複数の位置に対応する前記像の表示を制御する機能と、ユーザが指示した1つ又は複数の前記像が削除された場合、残る当該像に含まれる物体の表示を拡大する機能と、を実現させるためのプログラムである。
請求項18に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、コンピュータに、ユーザの指示に応じ、1つ又は複数の位置に対応する前記像の表示を制御する機能と、前記像が1つ又は複数挿入された場合、奥行き方向の配置の間隔を狭める機能と、を実現させるためのプログラムである。
請求項19に記載の発明は、空気中に形成される像が奥行き方向に複数存在する場合、コンピュータに、ユーザの指示に応じ、1つ又は複数の位置に対応する前記像の表示を制御する機能と、前記像が1つ又は複数挿入された場合、各像に含まれる物体の表示を縮小する機能と、を実現させるためのプログラムである。
請求項2記載の発明によれば、奥行方向に存在する複数の空中画像の手前側から手を差し込んで奥側の空中画像を選択する場合に、手前側の空中画像が誤って選択されないようにできる。
請求項3記載の発明によれば、奥行方向に存在する複数の空中画像の見え方を調整できる。
請求項4記載の発明によれば、奥行方向に存在する複数の空中画像の一部が削除された場合における残りの空中画像の見え方を調整できる。
請求項5記載の発明によれば、奥行方向に存在する複数の空中画像の一部が削除された場合における残りの空中画像の見え方を調整できる。
請求項6記載の発明によれば、操作後の空中画像の見え方を調整できる。
請求項7記載の発明によれば、操作後の空中画像の見え方を調整できる。
請求項8記載の発明によれば、奥行方向に存在する複数の空中画像の手前側から手を差し込んで奥側の空中画像を選択する場合に、手前側の空中画像が誤って選択されないようにできる。
請求項9記載の発明によれば、奥行方向に存在する複数の空中画像の手前側から手を差し込んで奥側の空中画像を選択する場合に、手前側の空中画像が誤って選択されないようにできる。
請求項10記載の発明によれば、奥行方向に存在する複数の空中画像の一部が削除された場合における残りの空中画像の見え方を調整できる。
請求項11記載の発明によれば、奥行方向に存在する複数の空中画像の一部が削除された場合における残りの空中画像の見え方を調整できる。
請求項12記載の発明によれば、操作後の空中画像の見え方を調整できる。
請求項13記載の発明によれば、操作後の空中画像の見え方を調整できる。
請求項14記載の発明によれば、奥行方向に存在する複数の空中画像の手前側から手を差し込で奥側の空中画像を選択する場合に、手前側の空中画像が誤って選択されないようにできる。
請求項15記載の発明によれば、奥行方向に存在する複数の空中画像の手前側から手を差し込で奥側の空中画像を選択する場合に、手前側の空中画像が誤って選択されないようにできる。
請求項16記載の発明によれば、奥行方向に存在する複数の空中画像の一部が削除された場合における残りの空中画像の見え方を調整できる。
請求項17記載の発明によれば、奥行方向に存在する複数の空中画像の一部が削除された場合における残りの空中画像の見え方を調整できる。
請求項18記載の発明によれば、操作後の空中画像の見え方を調整できる。
請求項19記載の発明によれば、操作後の空中画像の見え方を調整できる。
<実施の形態1>
<空中画像形成システムの概略構成>
図1は、実施の形態1に係る空中画像形成システム1Aの概略構成を説明する図である。空中画像形成システム1Aは、情報処理システムの一例である。
本実施の形態において、空中画像10とは、物体からの反射光と同等の光の状態を再現するように空気中に形成される像をいう。
空中画像10は、空気中に浮かぶように形成されるので、人は、空中画像10を通り抜けることも可能である。
なお、空中画像10には、静止画像だけでなく、動画像が表示されることもある。
また、各実施の形態では、矩形形状の全体を空中画像10として表現するが、空中画像10の外縁を規定する形状は矩形に限らず、任意でよい。例えば物体(オブジェクト)の像が形成される空間を、空中画像10が形成される空間の全てとしてもよい。例えば操作用のボタンの像、人の像、動物の像、製品の像、果物の像なども、ここでの空中画像10の一例である。図1では、空中画像10が平面形状であるが、曲面、球体、立方体などの立体的な形状でもよい。
図1の場合、空中画像10Aは、「AAAA/AAAA/AAAA/AAAA」で構成される。ここでの斜め線(スラッシュ)は、改行を表している。空中画像10B及び10Cについても同じである。なお、空中画像10Bは、「BBBB/BBBB/BBBB/BBBB」で構成され、空中画像10Cは、「CCCC/CCCC/CCCC/CCCC」で構成される。
このような配置は、例えば空中画像10Aに書面の1頁目、空中画像10Bに同2頁目、空中画像10Cに同3頁目を表示する場合に用いられる。
もっとも、複数の空中画像10を、人20から見て奥行き方向に配置する例は、書面を構成する個別の頁を配列する場合に限らない。例えば図形の配列や層構造を有する表現にも使用される。
図2に示す例では、空中画像10Aを通して背後の空中画像10Bが視認されている。図2の例では、翻訳文を併記する目的のため、空中画像10Aを構成する文字列「Hello」と空中画像10Bの文字列「こんにちは」の配置が重ならないように位置決めされている。
因みに、図2の例では、翻訳文を背後に位置する空中画像10Bに表示しているが、説明文やコメントを空中画像10Bに表示してもよい。また、翻訳文を手前側の空中画像10Aに表示し、原文を奥側の空中画像10Bに表示してもよい。
そのような場合には、例えば背後に位置する空中画像10Bの視認性を意図的に低下させ(例えば空中画像10Bの輝度を低下させ)、手前側に位置する空中画像10Aの視認性を高めてもよい。
また、空中画像10Aと空中画像10Bの間の位置に、空中画像10Bの視認性を低下させる色や模様(例えば格子や繰り返しパターン)で構成される第3の空中画像を追加又は挿入してもよい。ここでの第3の空中画像は、空中画像10Aの視認性を低下させないように、空中画像10Aの反対色で構成してもよい。
図1に示す空中画像形成システム1Aは、空気中に空中画像10を形成する空中画像形成装置31、32、33と、空中画像形成装置31、32、33を制御する像制御装置34と、人20の空中画像10に対する操作を撮像の対象とする撮像カメラ35と、人20の音声を電気信号に変換するマイクロフォン36とを有している。
本実施の形態の場合、空中画像形成装置31は空中画像10Aの形成用であり、空中画像形成装置32は空中画像10Bの形成用であり、空中画像形成装置33は空中画像10Cの形成用である。
空中画像形成装置31、32、33は像形成手段の一例である。空中画像形成装置31、32、33の具体例については後述する。
例えば像制御装置34は、人20の手や指の動きを解析して、操作の対象とする空中画像の特定や特定された空中画像に対する操作の内容を特定する。
もっとも、像制御装置34は、端末(例えばリモートコントローラ)から通知される信号の受信を通じて、操作の内容を特定してもよい。
ここでの像制御装置34は、制御手段の一例である。なお、像制御装置34は、情報処理装置の一例でもある。
図1では、撮像カメラ35が1台の場合を表しているが、撮像カメラ35は複数台でもよい。複数台の撮像カメラ35は、取り付け位置や撮像の方向が異なっていてもよい。取り付け位置や撮像の方向が異なることで、死角が少なくなり、人20の操作の検知や特定の制度を高めることが可能である。
図1では、撮像カメラ35を用いているが、他の種類のセンサを使用してもよい。
ここでの撮像カメラ35は、検知手段の一例である。
マイクロフォン36は、人20が音声により、操作の内容を指示する場合に使用される。マイクロフォン36も、検知手段の一例である。
図3~図7を用いて、空中画像10の形成原理を説明する。以下に説明する原理は、いずれも既知である。
図3は、表示デバイス41から出力される光を専用の光学プレート42を透過させることで空中画像10を形成する空中画像形成装置31Aの原理図である。(A)は各部材と空中画像10との位置関係を示し、(B)は光学プレート42の断面構造の一部を示す。ここでの表示デバイス41と光学プレート42は、光学部品の一例である。
光学プレート42は、壁面を鏡として使用する短冊状のガラス42Aを配列したプレートと、ガラス42Aに対して直交する向きに短冊状のガラス42Bを配列したプレートを上下に重ねた構造を有する。
光学プレート42は、表示デバイス41から出力される光を短冊状のガラス42A及び42Bで2回反射して空気中で結像させることで、表示デバイス41に表示されている画像を空気中に再現する。なお、表示デバイス41と光学プレート42の距離と、光学プレート42と空中画像10の距離は同じである。また、表示デバイス41に表示される画像の寸法と空中画像10の寸法は同じである。
空中画像形成装置31Dの場合、表示デバイス45から出力される光は、ビームスプリッタ46によって再帰反射シート47の方向に反射され、次に再帰反射シート47で再帰反射され、ビームスプリッタ46を透過して空中で結像される。光が結像する位置に空中画像10が形成される。
空中画像形成装置31Eの場合、赤外パルスレーザ48がパルス状のレーザ光を出力し、XYZスキャナ49がパルス状のレーザ光を空気中で集光する。このとき、焦点近傍の気体が瞬間的にプラズマ化し、発光する。パルス周波数は、例えば100Hz以下であり、パルス発光時間は、例えばナノ秒オーダである。ここでの赤外パルスレーザ48とXYZスキャナ49は、光学部品の一例である。
図8は、実施の形態1に係る像制御装置34のハードウェア構成の一例を説明する図である。
像制御装置34は、ファームウェアやアプリケーションプログラムの実行を通じて各種の機能を提供するCPU(Central Processing Unit)51と、ファームウェアやBIOS(Basic Input Output System)を格納する記憶領域であるROM(Read Only Memory)52と、プログラムの実行領域であるRAM(Random Access Memory)53とを有している。ここでのCPU51、ROM52、RAM53は、いわゆるコンピュータの一例である。
また、像制御装置34は、アプリケーションプログラム等のデータを格納する記憶装置54を有している。記憶装置54は、例えば書き換え可能な不揮発性の記憶媒体を情報の格納に使用する。
なお、像制御装置34は、インタフェース(IF)56を使用して撮像カメラ35やマイクロフォン36と通信する。
ここで、CPU51と各部はバス57を通じて接続されている。
図9に示す機能構成は、CPU51によるプログラムの実行を通じて実現される。
CPU51は、空中画像10(図1参照)が形成されている空間内における人20(図1参照)による空中画像10に対する操作を受け付ける操作受付部60と、受け付けた操作の内容を特定する操作内容特定部61と、特定された操作の内容に応じて空中画像10の形成を制御する像形成制御部62として機能する。
例えば人20が予め定めた空間(例えば空中画像10Aの手前側に予め設定された範囲)に立ち止まった状態で、手や指に予め定めた動きが検知された場合、操作受付部60は、人20による空中画像10への操作として受け付ける。
また、操作受付部60は、例えば予め定めた音声が検知された場合、人20の操作として受け付ける。
本実施の形態では、操作受付部60と操作内容特定部61とを異なる処理として扱っているが1つの処理として扱ってもよい。
像形成制御部62は、空中画像形成装置31~33(図1参照)に対し、形成される空中画像10A~10Cの内容の変化、空中画像10A~10Cが形成される位置の変化などの指示を与える。
図10は、実施の形態1に係る像形成制御部62(図9参照)が実行する処理動作の概要を説明するフローチャートである。概要であるので、細部については、個別の使用の形態に応じて異なる。
まず、像形成制御部62は、操作の有無を検知する(ステップ1)。
ステップ1で否定結果が得られた場合、像形成制御部62は、操作が検知されるまで判定を繰り返す。
次に、像形成制御部62は、操作の内容を特定する(ステップ3)。例えば特定された空中画像の並び順に対する操作が特定される。並び順の変更には、現在の位置よりも手前側への移動、現在の位置よりも奥側への移動等がある。具体的には、空中画像10B(図1参照)として表示されている内容の空中画像10Aへの移動の指示がある。
位置の指示には、例えば平行移動や回転移動もある。これらの移動では、空中画像の寸法は保たれる。ここで、平行移動とは、移動の前後で表示面の傾きを変えずに実行される直線的な移動である。回転移動とは、予め定めた仮想的な軸を中心とした回転を伴う移動である。
<制御例1>
ここでは、空中に形成されている空中画像に対して指先などを差し込む操作により、操作の対象とする空中画像を特定し、表示される内容の並び順を入れ替える場合について説明する。
並び順の入れ替えは、例えば空中画像形成装置31~33(図1参照)に与える画像データの入れ替えにより可能である。
また、並び順の入れ替えは、例えば空中画像形成装置31~33(図1参照)が形成する空中画像10A~10Cの物理的な位置の移動等によっても可能である。
ここでの指先は、人20の体の一部の一例である。なお、手も、人20の体の一部の一例である。なお、指示棒や筆記具を操作の対象である空中画像10の特定に用いてもよい。ここでの体の一部、指示棒、筆記具は、空中画像の特定に用いられる物体の一例である。
そこで、本実施の形態では、指先の動きが停止した段階で指先と重なっている空中画像を操作の対象として特定している。具体的には、空中画像10Bを操作の対象として特定している。
もっとも、複数の空中画像との重なりが検知される場合には、より奥側に位置する空中画像を操作の対象として特定してもよいし、時間的に後で重なりが検知された空中画像を操作の対象として特定してもよい。
また、誤検知を低減する目的で、重なりの検知が、予め定めた時間以上継続していることを条件としてもよい。
すなわち、図11では、手前から1番目と2番目の表示の内容が入れ替わる例を表している。
この制御は、特定された空中画像の内容と、最も手前側に位置している空中画像の内容とを入れ替えるとの規則を予め定めておくことで実現が可能である。
この規則を適用する場合に、操作の対象として特定された画像が手前から3番目の頁であれば、1番目の頁と3番目の頁が入れ替えられることになる。
図12に示す制御例は、操作の対象として特定された空中画像10に表示されている内容が最も手前に位置するように、特定された空中画像10より奥側に位置していた内容を1つずつ手前側に移動させる規則を表している。
この規則では、特定された位置の空中画像よりも手前側に位置していた空中画像は、一体的に(グループとして)奥側に移動される。
この制御の手法を用いれば、奥側に多数の空中画像が配置され、操作の対象とする内容が表示されている空中画像の位置まで指先が届かない場合でも、操作を繰り返すことで、何回目かの操作の後に、希望する内容を最も手前側に表示させることが可能になる。
図13に示す制御例では、操作の対象として特定された空中画像よりも1つ奥側の位置に表示されていた画像が最も手前に位置するように、特定された空中画像よりも奥側に位置していた画像を1つずつ手前側に移動させる規則を表している。
換言すると、図13に示す制御例は、特定された位置を含んで手前側の表示の内容と特定された位置よりも奥側の表示の内容とを入れ替える規則に対応している。
なお、図13では、空中画像10A及び10Bをグループとして扱っているが、奥行き方向に連続しない複数の画像(例えば空中画像10A及び10C)をグループに指定して移動を指示してもよい。
ここでは、空中に形成されている空中画像の外縁部分を空中画像の外側から触れるような操作により、操作の対象とする空中画像を特定し、表示される内容の並び順を入れ替える場合について説明する。
並び順の入れ替えは、制御例1と同様の手法により可能である。
図14は、空中画像10A~10Cが形成されている空間の外側から、操作の対象である空中画像10Cの外縁を指先で摘まむような身振りを用いる場合の制御例を表す図である。「摘まむ」と表現しているが、空中画像10は実在しないため、実際に特定の空中画像を摘まむことはできない。
この制御例では、指先で摘まむような操作が行われた空中画像が操作の対象として特定される。特定後の操作は、制御例1と同様である。なお、摘まむ動作は、操作に対応する身振りの一形態である。
図16は、空中画像10A~10Cが形成されている空間の外側から、操作の対象である空中画像10Cに対する操作の内容を指示する場合の制御例を表す図である。図16の例では、空中画像10Cの奥側から手前側に指先を動かす身振りが行われている。
この身振りは、空中画像10Cに表示されている内容を手前側に移動させる操作として特定される。この身振りにより、空中画像10Cに表示されている内容は、例えば手前側から2番目の位置に移動される。もっとも、この身振りにより、空中画像10Cに表示されている内容が手前側から1番目の位置に移動されてもよい。ここでの指先の動きも、操作に対応する身振りの一形態である。
ここでは、空中に形成されている空中画像に対する身振りにより、操作の対象とする空中画像を特定し、表示される内容の並び順を入れ替える場合の他の例について説明する。
図17は、身振りにより、操作の対象である空中画像10Bを特定するとともに操作の内容を指示する場合の制御例を表す図である。
図17では、空中画像10Aに環形状の図形が表示され、空中画像10Bに五角形の図形が表示され、空中画像10Cに星形の図形が表示されている。
図18は、2番目の空中画像10Bを表示の対象から削除した結果を説明する図である。操作の結果、空中画像10Aと空中画像10Cが残り、空中画像10Bが無くなっている。
なお、手前から1番目の空中画像10Aを操作の対象とする場合には例えば人差し指を立てればよく、手前から3番目の空中画像10Cを操作の対象とする場合には例えば3本の指を立てればよい。
ここでも、空中画像10Aには環形状の図形が表示され、空中画像10Bには五角形の図形が表示され、空中画像10Cには星形の図形が表示されている。
図19では、前述した図11の場合と同様に、手前側から1番目の空中画像10Aと2番目の空中画像10Bとが入れ替えられる例を表している。この場合、手前側から1番目の空中画像10Aとして五角形の図形が表示され、2番目の空中画像10Bとして環形状の図形が表示され、3番目の空中画像10Cとして星形の図形が表示される。
なお、身振りには、奥方向に押す又は払う(対象とする空中画像に表示されている内容を奥側に移動)、めくる(対象とする空中画像に対応する頁に対して前頁又は次頁を手前側に移動)等がある。
ここでは、音声により、操作の対象とする空中画像を特定し、表示される内容の並び順を入れ替える場合について説明する。
図20は、音声により、操作の対象である空中画像10Bを特定するとともに操作の内容を指示する場合の制御例を表す図である。(A)は音声による操作の指示を示し、(B)は操作の結果を示す。
図20の場合、空中画像10Aには環形状の図形が表示され、空中画像10Bには星形の図形が表示され、空中画像10Cには五角形の図形が表示されている。
図20の例では、手前から2番目の位置の空中画像10Bに表示されていた星形の図形の表示が無くなることで、空中画像10Aに表示されていた環形状の図形と空中画像10Cに表示されていた五角形の図形との距離が広がらないように、空中画像10Aと空中画像10Cを形成する位置を変更している。具体的には、空中画像10Aを形成する位置を奥側に移動し、空中画像10Cを形成する位置を手前側に移動している。ここでの移動は、位置の調整の一形態である。
そこで、最も手前側に位置し、人20が注目している空中画像10Aが形成される位置に変更が生じる場合には、人20に違和感を与えないように、空中画像10Aに表示される内容、又は、空中画像10Aの寸法を拡大してもよい。例えば表示される内容が文字である場合には、フォントのサイズを大きくする。また例えば表示される内容が図形の場合には、図形のサイズを大きくする。
もっとも、表示される内容の拡大や縮小は、視覚的な違和感を避けるためである。従って、違和感を無視する場合や違和感が少ない場合(例えば移動量が予め定めた閾値より小さい場合)には、表示される内容の拡大や縮小を行わなくてもよい。
また、表示する空中画像の数が減る場合には、表示の対象から削除された空中画像の形成に用いられていた空中画像形成装置が空くことになる。そこで、図20では、五角形の図形の表示に、空中画像形成装置32(図1参照)又は空中画像形成装置33(図1参照)に対応する空中画像10B又は10Cを用いている。
図21の場合には、単純に、2番目の空中画像10Bを表示の対象から削除している。
図22の例は、図20及び図21の場合とは異なり、図を追加(又は挿入)する場合を表している。具体的には、1番目と2番目の間に四角形状の図形の追加が指示される場合を表している。図22では、4つの空中画像10A、10B、10C及び10Dの間に形成される隙間が概略等しくなるように制御されている。
図22の例では、空中画像10Dを形成可能な第4の空中画像形成装置が用意されているものとする。
図22の例では、新しい空中画像(四角形状の図形)の追加により、星形状の図形が表示される位置が奥行き方向に移動している。このため、星形状の図形の寸法は、移動の前よりも拡大されている。反対に、新しい空中画像の追加により、表示の位置が手前側に移動された図形に関しては縮小される。
ここでは、複数の空中画像10A~10Cの表示面が重なるように配列される場合に、手前側の位置する空中画像10Aの視認性を高める表示の仕方について説明する。
図23は、奥側に形成される空中画像では、手前側に形成される表示の内容との重複する部位の表示を白抜きとする(又は、表示の対象から除外する)表示の仕方を説明する図である。(A)は空中画像10A~10Cの表示の内容を説明し、(B)は人から視認される状態を説明する。
図23に示す表示は、図1に示すように、人から見て手前側から空中画像10A、10B、10Cが順番に形成される場合に相当する。
ここでは、空中画像10Aには環形状の図形が表示され、空中画像10Bには五角形の図形が表示され、空中画像10Cには星形の図形が表示される。
そこで、図23に示す例では、2番目の空中画像10Bについては、1番目の空中画像10Aに表示される環形状と重複する部分を白抜きに加工した五角形の図形が表示される。また、3番目の空中画像10Cについては、1番目の空中画像10Aに表示される環形状と2番目の空中画像10Bに表示される五角形の図形とが重複する部分を白抜きに加工した星形の図形が表示される。図23の例では、星形の先端の部分だけが表示される。
このように複数の空中画像の間での表示の重複がなくなることで、手前側を優先して、各層における表示の内容の視認性が向上される。
ここでは、表示の内容はそのままに、手前側ほど空中画像の表示に使用する輝度を高くする。換言すると、奥側ほど空中画像の表示に使用する輝度を低くする。
言うまでもなく、輝度が高いほど表示の内容の視認性がよくなる。
<空中画像形成システムの概略構成>
図25は、実施の形態2に係る空中画像形成システム1Bの概略構成を説明する図である。空中画像形成システム1Bは、情報処理システムの一例である。
図25には、図1との対応部分に対応する符号を付して示している。図25が図1と異なる点は、空中画像10A、10B又は10Cに対する操作の検出に、光学的な検知面11A、11B、11Cを使用する点と、検知面11A、11B、11Cを横切る物体を非接触で検知する操作受付装置37を設ける点である。
本実施の形態の場合、検知面11A、11B、11Cは平面形状であり、空中画像10A、10B、10Cに対して平行に配置される。なお、検知面11A、11B、11Cは、それぞれ対応する空中画像10A、10B、10Cから予め定めた距離だけ離して配置される。
操作受付装置37には、検知面11A、11B、11Cを形成する赤外線を射出する光源と、光源から射出された赤外線の反射光の受光を通じて検知面11A、11B、11Cを横切る物体を検知する受光素子とを有している。
本実施の形態の場合、検知面11A、11B、11Cは、空中画像10A、10B、10Cのうちおもて面が表示される面の側に形成されている。
図26は、空中画像10A(10B、10C)のおもて面と検知面11A(11B、11C)との位置関係を説明する図である。図26では、人20の指先が検知面11A(11B、11C)を横切っているが、指示棒や筆記具が検知面11A(11B、11C)を横切るのでもよい。
図27には、図8と対応する部分に対応する符号を付して示している。
本実施の形態に係る像制御装置34では、インタフェース(IF)56を使用して操作受付装置37と通信する点で実施の形態1(図8参照)と異なる。
<空中画像形成システムの概略構成>
図28は、実施の形態3に係る空中画像形成システム1Cの概略構成を説明する図である。空中画像形成システム1Cは、情報処理システムの一例である。
図28には、図1との対応部分に対応する符号を付して示している。
本実施の形態では、1つの空中画像形成装置31を使用して、3つの空中画像10A、10B、10Cを形成する点で実施の形態1と相違する。
また、3つの空中画像10A、10B、10Cは、1つの立体像を構成する3つの層(レイヤ)として形成してもよい。
<空中画像形成システムの概略構成>
本実施の形態では、前述した空中画像形成システムに、空中画像の出力を受け付ける機能を付加する場合について説明する。
図29は、実施の形態4に係る空中画像形成システム1Dの概略構成を説明する図である。空中画像形成システム1Dは、情報処理システムの一例である。
図29には、図1との対応部分に対応する符号を付して示している。
画像形成装置40は、レーザ方式やインクジェット方式で用紙に画像を印刷する印刷装置である。
図30には、図9との対応部分に対応する符号を付して示している。
図30に示す機能構成は、CPU51によるプログラムの実行を通じて実現される。なお、像制御装置34は、図8に示すハードウェア構成を有している。
このうち、本実施の形態に特有な機能は、出力受付部65と、対象認識部66と、出力制御部67である。
例えば2次元の情報で規定される文書の場合、電子ファイルとしての出力や紙への印刷の蓋然性が高い。
例えば3次元の情報で規定される立体物の場合、3次元での造形や特定の方向についての外周面を連続的に用紙に印刷する蓋然性が高い。
因みに、3次元データには、例えば3次元の形状を三角形の集合体として表現するSTL(Standard Triangulated Language)に準拠したデータ、3次元の形状を正規格子(ボクセル)の集合体として表現するデータ、CAD(Computer Aided Design)データがある。
出力制御部67は、認識された結果や人による追加の指示に基づいて出力の形式を特定し、特定された形式による出力を制御する機能部である。
出力受付部65(図30参照)は、人による出力の指示があったか否かを判定する(ステップ11)。
ステップ11で否定結果が得られた場合、出力受付部65は、処理を終了する。もっとも、出力受付部65は、肯定結果が得られるまで判定を繰り返してもよい。
例えば空中画像の形成に2次元データが用いられている場合、対象認識部66は、空中画像は文書であると認定する。すなわち、ステップ12で肯定結果を得る。
ステップ12で肯定結果が得られた場合、対象認識部66は、文書用の確認画面を提示する(ステップ13)。本実施の形態の場合、確認画面は、空中画像として形成されるが、情報処理装置に設けられている表示デバイスに表示してもよい。
空中画像10が文書の場合、確認画面W1には候補が提示される。すなわち、電子ファイルとしての出力と用紙への印刷との2種類が、選択の候補として提示される。候補を選択する手法は様々であるが、例えば候補が表示されている領域を指や手で指定する。
電子ファイルとしての出力が選択された場合、対象認識部66は、電子ファイル70としての出力を指示する。電子ファイル70の生成は、像制御装置34(図29参照)が実行してもよいし、空中画像形成装置31(図29参照)が実行してもよいし、空中画像形成装置31に2次元データを与えている不図示の情報書装置(例えばコンピュータ)が実行してもよい。
なお、文書に付箋といった付加画像を空中画像10に付与できる場合、又は、既に空中画像10に付加画像が付与されている場合、付加画像が付与されているページを一まとめにした電子ファイルを出力できるようにしてもよい。
なお、出力の形式が事前に設定されている場合、対象認識部66は、確認画面W1を表示することなく、電子ファイル70の出力又は用紙71への画像の印刷を指示してもよい。
なお、確認画面W1に希望する候補が存在しない場合、対象認識部66は、さらに別の確認画面W2を通じて別の候補を提示する。図32では、3次元での出力やパノラマ画像としての印刷が候補として提示されている。
ステップ13で提示された確認画面に対する指示を受け付けると、出力制御部67は、出力の実行を指示する(ステップ14)。
一方、ステップ12で否定結果が得られた場合、対象認識部66は、空中画像が立体物か否かを判定する(ステップ15)。
ステップ15で肯定結果が得られた場合、対象認識部66は、立体用の確認画面を提示する(ステップ16)。
空中画像10が立体物の場合、確認画面W3には立体物の出力を確認する文面が提示される。
ここで、YESが選択された場合、対象認識部66は、立体物80の形成を指示する。すなわち、ステップ14(図31参照)の処理に移行する。この場合、3次元像形成装置39が、対応する方式に基づいて立体物を形成する。一方、NOが選択された場合、対象認識部66は、別の確認画面W4を通じ、別の候補を提示する。図33では、電子ファイルとしての出力や用紙への印刷が候補として提示されている。
ステップ16で提示された確認画面に対する指示を受け付けると、出力制御部67は、出力の実行を指示する(ステップ14)。
ステップ15で否定結果が得られた場合、対象認識部66は、その他用の確認画面を提示する(ステップ17)。
その他とは、例えば空中画像10に2次元データと3次元データが混在するような場合をいう。
図34は、空中画像10が文書とも立体物ともできない場合における出力の実行例を説明する図である。
空中画像10が文書とも立体物とも認定できない場合、確認画面W5には候補が提示される。すなわち、電子ファイルとしての出力と、用紙への印刷と、立体物の出力との3種類が選択の候補として提示される。
図31の説明に戻る。
ステップ17で提示された確認画面に対する指示を受け付けると、出力制御部67は、出力の実行を指示する(ステップ14)。
図35では、空中画像10A及び10Bの視認性を高めるための第3の空中画像10Cが、空中画像10Aと空中画像10Bの中間に形成されている場合における用紙71への印刷例を表している。
空中画像10C無しの印刷が選択された場合、空中画像10Aと空中画像10Bに対応する画像が2枚の用紙71に印刷される。
一方、空中画像10C有りの印刷が選択された場合、図35の例では、空中画像10Cが、空中画像10Aや空中画像10Bに対する縁取り72として印刷している。額縁として印刷されることで、その内側に印刷される空中画像10Aや空中画像10Bが目立ち易くなる。
図36は、空中画像10が内部構造を規定するデータに基づいて形成されている場合における出力の実行例を説明する図である。
図36では、空中画像10として卵が表示されている。卵は、外部構造としての殻と、内部構造としての白身と黄身とで構成されている。
本実施の形態では、空中画像10として卵の外観である殻だけが表現されているものとする。すなわち、元データが外部構造と内部構造の両方を有している場合でも、外部構造に対応する殻だけが空中画像10として再現されているものとする。
確認画面W6には、外部構造と内部構造が選択の候補として提示される。
外部構造(すなわち殻の部分)の出力が選択された場合、対象認識部66は、電子ファイルとしての出力と、用紙への印刷と、立体物の出力とを選択の候補として確認画面W7に提示する。
なお、用紙への印刷や立体物の出力の場合には、出力される寸法を指定できることが好ましい。この際、出力が開始される前に、プレビュー画像などで出力後の状態を確認できることが望ましい。
前述した対象認識部66(図30参照)は、ここでの認識手段及び特定手段の一例である。
この技術を用いれば、空気中に形成された空中画像の種類に応じた形式による出力が簡便に実現される。なお、空中画像の種類は、空気中で視認される形態で認識してもよいし、空中画像の形成に使用されたデータの構造に基づいて認識してもよい。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
前述の実施の形態においては、空中画像10が専ら平面状に形成される場合について説明しているが、立体的に形成される場合にも応用が可能である。
例えば図16において空中画像10Cだけが形成されている場合(すなわち空中画像10A及び10Bは存在しない場合)、指先を手前側に動かす身振りが行われると、空中画像10Cを図中の手前側(例えば空中画像10Aの位置)に移動されるようにしてもよい。反対に、手を奥側に押し出すような身振りが行われた場合には、空中画像10Cが形成される位置が更に奥側に移動させるようにしてもよい。なお、空中画像10Cを形成する位置を奥行き方向に変化させる場合には、画像の大きさの変化が知覚されないように、画像の寸法を移動の距離に応じて調整してもよい。
また、手を左方向、右方向、上方向、下方向に動かす身振りが行われた場合には、空中画像10Cが形成される位置が左方向、右方向、上方向、下方向に移動されるようにしてもよい。
このように、身振りにより空中画像10が形成される位置を操作できることで、そもそも位置を移動できない場合に比して、空中画像10に対する作業性を高めることができる。なお、リモートコントローラ等の制御操作を通じて移動を指示できるようにしてもよい。
また、他の空中画像10の表示は継続したままで、移動の対象に特定された空中画像10の外縁部を点滅させる等して、移動の実行を明示してもよい。
これらのように、移動の前後で空中画像10の表示の形態(装飾を含む)を変化させない場合に比して、移動の対象に特定した空中画像10の視認性を高めることができる。
Claims (19)
- 空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段
を有し、
前記制御手段は、手前側から奥行き方向に差し込まれる物体の予め定めた寸法より小さい部位と前記像との重なりの検知を通じ、指示の対象である当該像を特定する、情報処理装置。 - 空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段
を有し、
前記制御手段は、手前側から奥行き方向に差し込まれる物体の一部と前記像との重なりにより形成される面積がより小さい当該像を操作の対象として特定する、情報処理装置。 - 前記制御手段は、ユーザの指示に応じ、前記像の並びの順番を変更する、請求項1又は2に記載の情報処理装置。
- 空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段
を有し、
前記制御手段は、ユーザが指示した1つ又は複数の前記像が削除された場合、残る当該像の奥行き方向の位置を調整する、情報処理装置。 - 空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段
を有し、
前記制御手段は、ユーザが指示した1つ又は複数の前記像が削除された場合、残る当該像に含まれる物体の表示を拡大する、情報処理装置。 - 空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段
を有し、
前記制御手段は、前記像が1つ又は複数挿入された場合、奥行き方向の配置の間隔を狭める、情報処理装置。 - 空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段
を有し、
前記制御手段は、前記像が1つ又は複数挿入された場合、各像に含まれる物体の表示を縮小する、情報処理装置。 - 空気中に像を形成する1つ又は複数の像形成手段と、
空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段と、
を有し、
前記制御手段は、手前側から奥行き方向に差し込まれる物体の予め定めた寸法より小さい部位と空気中に形成される像との重なりの検知を通じ、指示の対象である当該像を特定する、
情報処理システム。 - 空気中に像を形成する1つ又は複数の像形成手段と、
空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段と、
を有し、
前記制御手段は、手前側から奥行き方向に差し込まれる物体の一部と前記像との重なりにより形成される面積がより小さい当該像を操作の対象として特定する、
情報処理システム。 - 空気中に像を形成する1つ又は複数の像形成手段と、
空気中に形成される像が奥行き方向に複数存在する場合、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段と、
を有し、
前記制御手段は、ユーザが指示した1つ又は複数の前記像が削除された場合、残る当該像の奥行き方向の位置を調整する、
情報処理システム。 - 空気中に像を形成する1つ又は複数の像形成手段と、
空気中に形成される像が奥行き方向に複数存在する場合に、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段と、
を有し、
前記制御手段は、ユーザが指示した1つ又は複数の前記像が削除された場合、残る当該像に含まれる物体の表示を拡大する、
情報処理システム。 - 空気中に像を形成する1つ又は複数の像形成手段と、
空気中に形成される像が奥行き方向に複数存在する場合に、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段と、
を有し、
前記制御手段は、前記像が1つ又は複数挿入された場合、奥行き方向の配置の間隔を狭める、
情報処理システム。 - 空気中に像を形成する1つ又は複数の像形成手段と、
空気中に形成される像が奥行き方向に複数存在する場合に、ユーザの指示に応じ、1つ又は複数の位置に対応する当該像の表示を制御する制御手段と、
を有し、
前記制御手段は、前記像が1つ又は複数挿入された場合、各像に含まれる物体の表示を縮小する、
情報処理システム。 - 空気中に形成される像が奥行き方向に複数存在する場合、
コンピュータに、
手前側から奥行き方向に差し込まれる物体の予め定めた寸法より小さい部位と前記像との重なりの検知を通じ、指示の対象である当該像を特定する機能と、
ユーザの指示に応じ、特定された前記像の表示を制御する機能と、
を実現させるためのプログラム。 - 空気中に形成される像が奥行き方向に複数存在する場合、
コンピュータに、
手前側から奥行き方向に差し込まれる物体の一部と前記像との重なりにより形成される面積がより小さい当該像を操作の対象として特定する機能と、
ユーザの指示に応じ、特定された当該像の表示を制御する機能と、
を実現させるためのプログラム。 - 空気中に形成される像が奥行き方向に複数存在する場合、
コンピュータに、
ユーザの指示に応じ、1つ又は複数の位置に対応する前記像の表示を制御する機能と、
ユーザが指示した1つ又は複数の前記像が削除された場合、残る当該像の奥行き方向の位置を調整する機能と、
を実現させるためのプログラム。 - 空気中に形成される像が奥行き方向に複数存在する場合、
コンピュータに、
ユーザの指示に応じ、1つ又は複数の位置に対応する前記像の表示を制御する機能と、
ユーザが指示した1つ又は複数の前記像が削除された場合、残る当該像に含まれる物体の表示を拡大する機能と、
を実現させるためのプログラム。 - 空気中に形成される像が奥行き方向に複数存在する場合、
コンピュータに、
ユーザの指示に応じ、1つ又は複数の位置に対応する前記像の表示を制御する機能と、
前記像が1つ又は複数挿入された場合、奥行き方向の配置の間隔を狭める機能と、
を実現させるためのプログラム。 - 空気中に形成される像が奥行き方向に複数存在する場合、
コンピュータに、
ユーザの指示に応じ、1つ又は複数の位置に対応する前記像の表示を制御する機能と、
前記像が1つ又は複数挿入された場合、各像に含まれる物体の表示を縮小する機能と、
を実現させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018009010A JP7040041B2 (ja) | 2018-01-23 | 2018-01-23 | 情報処理装置、情報処理システム及びプログラム |
US16/100,696 US11042963B2 (en) | 2018-01-23 | 2018-08-10 | Information processing device, information processing system, and non-transitory computer readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018009010A JP7040041B2 (ja) | 2018-01-23 | 2018-01-23 | 情報処理装置、情報処理システム及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019128726A JP2019128726A (ja) | 2019-08-01 |
JP7040041B2 true JP7040041B2 (ja) | 2022-03-23 |
Family
ID=67300035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018009010A Active JP7040041B2 (ja) | 2018-01-23 | 2018-01-23 | 情報処理装置、情報処理システム及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11042963B2 (ja) |
JP (1) | JP7040041B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7164405B2 (ja) * | 2018-11-07 | 2022-11-01 | 日立チャネルソリューションズ株式会社 | 画像読取り装置及び方法 |
JP7447507B2 (ja) * | 2020-01-27 | 2024-03-12 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
JP7380253B2 (ja) * | 2020-01-27 | 2023-11-15 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
WO2022018929A1 (ja) * | 2020-07-22 | 2022-01-27 | 日本電産サンキョー株式会社 | 非接触式情報処理装置 |
WO2024142936A1 (ja) * | 2022-12-27 | 2024-07-04 | 京セラ株式会社 | 空中像表示装置 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007097225A1 (ja) | 2006-02-21 | 2007-08-30 | Pioneer Corporation | 画像表示装置 |
WO2008123500A1 (ja) | 2007-03-30 | 2008-10-16 | National Institute Of Information And Communications Technology | 空中映像インタラクション装置及びそのプログラム |
JP2011081480A (ja) | 2009-10-05 | 2011-04-21 | Seiko Epson Corp | 画像入力システム |
JP2012108723A (ja) | 2010-11-17 | 2012-06-07 | Sharp Corp | 指示受付装置 |
JP2012179166A (ja) | 2011-02-28 | 2012-09-20 | Kyoraku Sangyo Kk | 二次元画像表示装置及び遊技機 |
WO2012147643A1 (ja) | 2011-04-27 | 2012-11-01 | シャープ株式会社 | 映像表示装置 |
US20130009862A1 (en) | 2011-07-10 | 2013-01-10 | Industrial Technology Research Institute | Display apparatus |
WO2013121807A1 (ja) | 2012-02-17 | 2013-08-22 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
JP2014010161A (ja) | 2012-06-27 | 2014-01-20 | Nitto Denko Corp | 表示入力装置 |
JP2014106330A (ja) | 2012-11-27 | 2014-06-09 | Nippon Telegr & Teleph Corp <Ntt> | 3次元表示装置及び3次元表示方法 |
JP2017097716A (ja) | 2015-11-26 | 2017-06-01 | 富士通株式会社 | 入力装置、入力方法、及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6466185B2 (en) * | 1998-04-20 | 2002-10-15 | Alan Sullivan | Multi-planar volumetric display system and method of operation using psychological vision cues |
WO2007013215A1 (ja) * | 2005-07-25 | 2007-02-01 | Pioneer Corporation | 画像表示装置 |
CN104520747A (zh) * | 2012-08-03 | 2015-04-15 | 夏普株式会社 | 反射型成像元件和光学***、以及反射型成像元件的制造方法 |
JP2015060295A (ja) | 2013-09-17 | 2015-03-30 | 船井電機株式会社 | 入力装置 |
JP2016095634A (ja) | 2014-11-13 | 2016-05-26 | パナソニックヘルスケアホールディングス株式会社 | 空中タッチパネルおよびこれを備えた手術用シミュレータ表示システム |
US20160195849A1 (en) * | 2015-01-05 | 2016-07-07 | Intel Corporation | Facilitating interactive floating virtual representations of images at computing devices |
JP2017062709A (ja) | 2015-09-25 | 2017-03-30 | 新光商事株式会社 | ジェスチャー操作装置 |
TWI665905B (zh) * | 2017-10-27 | 2019-07-11 | 群睿股份有限公司 | 立體影像產生方法、成像方法與系統 |
-
2018
- 2018-01-23 JP JP2018009010A patent/JP7040041B2/ja active Active
- 2018-08-10 US US16/100,696 patent/US11042963B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007097225A1 (ja) | 2006-02-21 | 2007-08-30 | Pioneer Corporation | 画像表示装置 |
WO2008123500A1 (ja) | 2007-03-30 | 2008-10-16 | National Institute Of Information And Communications Technology | 空中映像インタラクション装置及びそのプログラム |
JP2011081480A (ja) | 2009-10-05 | 2011-04-21 | Seiko Epson Corp | 画像入力システム |
JP2012108723A (ja) | 2010-11-17 | 2012-06-07 | Sharp Corp | 指示受付装置 |
JP2012179166A (ja) | 2011-02-28 | 2012-09-20 | Kyoraku Sangyo Kk | 二次元画像表示装置及び遊技機 |
WO2012147643A1 (ja) | 2011-04-27 | 2012-11-01 | シャープ株式会社 | 映像表示装置 |
US20130009862A1 (en) | 2011-07-10 | 2013-01-10 | Industrial Technology Research Institute | Display apparatus |
WO2013121807A1 (ja) | 2012-02-17 | 2013-08-22 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
JP2014010161A (ja) | 2012-06-27 | 2014-01-20 | Nitto Denko Corp | 表示入力装置 |
JP2014106330A (ja) | 2012-11-27 | 2014-06-09 | Nippon Telegr & Teleph Corp <Ntt> | 3次元表示装置及び3次元表示方法 |
JP2017097716A (ja) | 2015-11-26 | 2017-06-01 | 富士通株式会社 | 入力装置、入力方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20190228503A1 (en) | 2019-07-25 |
US11042963B2 (en) | 2021-06-22 |
JP2019128726A (ja) | 2019-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7040041B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
US11385720B2 (en) | Picture selection method of projection touch | |
EP2144448B1 (en) | Floating Image Interaction Device | |
JP4991154B2 (ja) | 画像表示装置、画像表示方法及びコマンド入力方法 | |
EP1530119A2 (en) | Stereoscopic two-dimensional image display device and method | |
JP5300825B2 (ja) | 指示受付装置、指示受付方法、コンピュータプログラム及び記録媒体 | |
CN104345802A (zh) | 控制近眼式显示器的方法和设备 | |
US20130009891A1 (en) | Image processing apparatus and control method thereof | |
AU2014217524A1 (en) | Flexible room controls | |
JP2008134793A (ja) | 電子的手書入力装置 | |
US20190369740A1 (en) | Information processing apparatus, information processing system, and non-transitory computer readable medium | |
JP7119384B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
JP7135324B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
JP7279737B2 (ja) | 情報処理装置、画像形成装置、プログラム、および、システム | |
US10317880B2 (en) | Print data dividing apparatus, and related program and recording medium, that determine a shape of a joint portion of a target area and generate three-dimensional shape data for division printing of the target area | |
KR20140071365A (ko) | 3차원 가상 시나리오와의 상호작용 | |
JP6000553B2 (ja) | 情報処理装置及びその制御方法 | |
JP4615178B2 (ja) | 情報入出力システム、プログラムおよび記憶媒体 | |
JP7505113B2 (ja) | ウェアラブル端末装置、プログラムおよび表示方法 | |
CN113196212A (zh) | 作为用于交互的物理接口的移动平台 | |
JP7499945B2 (ja) | ウェアラブル端末装置、プログラムおよび表示方法 | |
CN107533361B (zh) | 图像形成装置 | |
WO2022208595A1 (ja) | ウェアラブル端末装置、プログラムおよび報知方法 | |
EP2643812B1 (en) | Method for displaying an item on a display unit | |
CN111077985A (zh) | 虚拟内容的交互方法、***及其交互装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7040041 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |