JP2016164701A - 情報処理装置及び情報処理装置の制御方法 - Google Patents
情報処理装置及び情報処理装置の制御方法 Download PDFInfo
- Publication number
- JP2016164701A JP2016164701A JP2015044296A JP2015044296A JP2016164701A JP 2016164701 A JP2016164701 A JP 2016164701A JP 2015044296 A JP2015044296 A JP 2015044296A JP 2015044296 A JP2015044296 A JP 2015044296A JP 2016164701 A JP2016164701 A JP 2016164701A
- Authority
- JP
- Japan
- Prior art keywords
- image
- stereoscopic image
- scattered light
- information processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Holo Graphy (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】ユーザが立体像に対して操作を行うことにより直感的に操作することができる情報処理装置を提供すること。【解決手段】本発明の情報処理装置1は、立体像を実像として空間に再生する立体像再生手段10と、立体像が表示される空間を撮像し操作画像を生成する撮像手段20と、操作画像を解析して立体像に物体が接触したことにより生じた散乱光を検出し、検出結果に応じて所定の処理を実行する処理手段30とを備えている。このような構成により、ユーザは、立体像をインタフェースとして用い、情報処理装置を直感的に操作することができる。【選択図】図1
Description
本発明は、3Dインタフェースを実現するための情報処理装置に関する。
体のジェスチャを認識するKinect(「KINECT」は登録商標)や、細かな手や指の動きを認識するLeap Motion(「LEAP MOTION」は登録商標)といった、デバイスに触れる必要がない非接触型のインタフェースが利用されつつある。これらのデバイスは3次元空間を利用したジェスチャ操作によってインタフェースを実現する。これらを立体像のディスプレイと組み合わせた技術もあるが、多くは表示像とジェスチャ等を行う位置は離れた位置にあり、表示像に対する直接的な操作ではない。
非特許文献1−3には、ジェスチャ認識と3Dディスプレイや空中ディスプレイを組み合わせることで空中に浮いた立体像に触って操作をするシステムを実現できることが記載されている。
非特許文献4には、イメージセンサをディスプレイに内蔵し、赤外線照明を用いて指などからの反射光を検出して非接触タッチパネルを実現する方法が記載されている。
特許文献1には、近接センサを内蔵したディスプレイによる3Dインタフェース方式が記載されている。
情報通信研究機構、"プレスリリース「空中映像を操作できるフローティングタッチディスプレイを開発」"、[online]、2009年4月15日、インターネット<URL http://www.nict.go.jp/press/2009/04/15-3.html>
O. Hilliges, D. Kim, S. Izadi, M. Weiss, and A. D. Wilson "HoloDesk: direct 3d interactions with a situated see-through display,"、2012年、 Proc. CHI, 2421-2430 (2012).
A. Butler, O. Hilliges, S. Izadi, S. Hodges, D. Molyneaux, D. Kim, and D. Kong, "Vermeer: direct interaction with a 360° viewable 3D display"、2011年、 Proc. UIST, 569-579 (2011).
G. Z. Wang, Y. P. Huang, and T. S. Chang, "Bare finger 3D air-touch system with embedded multiwavelength optical sensor arrays for mobile 3D displays,"、2013年、Journal of the SID, 21, 9, 381-388 (2013)
非特許文献1−3に記載された技術では、立体像とジェスチャ認識の3次元空間の位置合わせを行う必要がある。これらにズレがあるとユーザが思った通りに反応しないストレスのかかるユーザインタフェースとなる。また正確なジェスチャ認識のために手や指のモデルを用いた処理を行うため、モデルに適合しない場合に認識が困難である。例えば指と指示棒やペン先などを併用して操作を行うことは難しい。
非特許文献4に記載された技術では、イメージセンサにレンズなどの結像素子を用いることができないため、液晶ディスプレイから離れた位置の像はぼけてしまう。このため、ディスプレイの近傍での操作に限定される。3次元的な操作の検出を行うためには照明光の走査機構を用いることが提案されているが、高速な走査が必要となる。
特許文献1に記載の技術では、検出範囲はディスプレイのごく近傍での操作に限定される。
そこで、本発明はユーザが立体像に対して操作を行うことにより直感的に操作することができる情報処理装置を提供することを目的とする。
本発明の情報処理装置は、立体像を実像として空間に再生する立体像再生手段と、立体像が表示される空間を撮像し操作画像を生成する撮像手段と、操作画像を解析して立体像に物体が接触したことにより生じた散乱光を検出し、検出結果に応じて所定の処理を実行する処理手段とを備えている。
本発明の情報処理装置の制御方法は、像を再生することにより立体像を空間に再生し、立体像が表示される空間を撮像して操作画像を生成し、操作画像を解析して立体像に物体が接触したことにより生じた散乱光を検出し、検出結果に応じて所定の処理を実行する。
本発明によれば、ユーザは、立体像に対して操作を行うことにより直感的に情報処理装置を操作することができる。
以下、図面を参照しながら本発明の実施形態について詳細に説明する。本明細書で立体像と物体が「触れる」、あるいは「接触する」という場合は、立体像が再生されている空間の一部と物体の占める空間の一部が重なることを意味する。
図1は、本発明の一実施形態である情報処理装置1の機能ブロック図である。情報処理装置1は、立体像再生手段10と撮像手段20と制御手段30とを備えている。
立体像再生手段10は、再生する物の光線情報または波面情報を再現することでスクリーンの手前に実像として立体像を再生する方式(像再生型)のディスプレイ装置である。立体像再生手段10は、後述するスクリーンの前面に、情報処理装置1の操作インタフェースとなるボタン等の立体像を再生する。このような方式で再生された立体像に物体が触れると、立体像を再生している光は立体像の位置に集中しているので、物体により散乱され散乱光が生じる。
本発明では、立体像の位置に集まった光を利用するので、水平・垂直両方向(全方向)視差を持つ立体像表示方式が望ましい。インテグラルイメージング、ホログラフィー、ホログラフィックスクリーンを用いた方式などが有効である。水平方向視差のみを持つ3Dディスプレイでも、水平方向に関しては光が収束するので実現は不可能ではないが、垂直方向に光が拡散されて像の位置に収束する光が少ないため検出が難しくなること、垂直方向の視点位置が変化した場合に像の位置がずれることなどの問題が生じる。
撮像手段20は、たとえば、デジタルスチルカメラで構成され、立体像が表示される空間を撮像して操作画像を生成する。立体像再生手段10が、半透明なスクリーンにより立体像を表示する方式である場合、撮像手段20はユーザから見てスクリーン背後(立体像が再生されるのと反対の側)に設置することもできる。例えば、ホログラフィック光学素子を用いたスクリーンを用い、プロジェクターなどによって投影した画像によって立体像を表示する方式の場合、ホログラフィック光学素子の回折特性の角度選択性によって、ホログラフィックスクリーンによる回折光によって立体像を表示すると同時に、指で散乱された光のうち回折されない光を撮像手段20で検出することが可能である。
撮像手段20としては、デジタルカメラ等の立体像再生手段10とは別体の装置の代わりに、立体像再生手段10のスクリーンに内蔵されたイメージセンサを用いてもよい。制御手段30は、後述のように再生像の色情報を用いて物体の位置や動きを判定するので、レンズの無いイメージング系でも比較的高い分解能で物体の位置を検出できる。
制御手段30は、たとえば、マイクロコンピュータにより構成され、撮像手段20によって生成された操作画像を解析し、立体像に物体が触れたことにより生じた散乱光を検出し、検出結果に応じて所定の処理を実行する。ここで、検出結果は、散乱光の有無のほか、散乱光がある場合に操作画像を解析して得られる散乱光の色の変化、散乱光の動き等を含む。
情報処理装置1は、上記の各手段の他、用途に応じて図示しない種々の構成要素を備え、制御手段30それらの構成要素も制御する。ユーザは、立体像再生手段10によって再生された立体像をインタフェースとして情報処理装置1を操作する。
次に、制御手段30の機能の詳細について説明する。まず、制御手段30が散乱光の色に基づいて物体が立体像の複数の領域のいずれに触れたかを判定し、物体が触れた領域にあらかじめ対応づけられた処理を行う機能について説明する。
図2は、制御手段30が、散乱光の色に応じた処理をする方法を説明する図である。この例では、立体像再生手段10は、プロジェクター11と、プロジェクター11が光を投影するスクリーン12により構成されている。立体像2は、スクリーン12の前面(ユーザが操作を行う側)に再生される。
立体像2は、複数のボタンを立体的に表示するもので、異なる色彩で表示された複数の領域2a、2b、2c、2d、2e、2fを含んでいる。各領域がそれぞれひとつのボタンに対応している。図2ではグレースケールで表現しているが実際には領域2a〜2fはそれぞれ、水色、緑、白、黄色、赤、肌色で再生されている。
ユーザは、指3または指示棒等の他の物体で領域2a、2b、2c、2d、2e、2fのいずれかに触れて情報処理装置1を操作する。指3が立体像2に接触すると立体像2を再生している光は散乱し散乱光が生じるが、領域2a、2b、2c、2d、2e、2fは異なる色で表示されているから、散乱光の色を判定することで、どの領域に指3が接触したか判定することができる。たとえば、散乱光の色が水色である場合には、指3が領域2aに接触した(ユーザの意図としては水色のボタンを押した)と判定することができる。
撮像手段20は、デジタルカメラで構成され、スクリーン12の背面(立体像2が再生される側の反対側)に配置されている。この例では、スクリーン12は可視光に対して半透明となるように構成されているため、撮像手段20をスクリーン12の背面に配置しても立体像2と指3の位置を撮像し、散乱光を捕らえることができる。
制御手段30は、撮像手段20が取得した操作画像を解析し散乱光を抽出する。これは、たとえば、立体像2と指3が接触している部分の形状として想定される楕円形を画像から抽出することにより行う。次に、制御手段30は、散乱光の色を判定し、その色のボタンにあらかじめ対応づけられている処理を実行する。
散乱光が検出された際に、操作画像中での散乱光の位置情報からユーザ操作の種類を識別することもできる。位置検出精度がそれほど高くなくても、色情報と組み合わせることで異なる位置に同じ色で配置されたボタンなどを見分けることが可能である。
このような方法では、指3の色が操作画像に含まれる散乱光の色に影響を与える。図3は、指3の色を考慮して散乱光の色を判定する方法を説明するフローチャートである。制御手段30は、操作画像から散乱光を検出し立体像に対する操作が行われたことを検出したら、このときの操作画像を画像Aとしてメモリに保存する(ステップS1)。
制御手段30は、指3が検出された位置の近傍に白色または灰色の無彩色のパターンを投影し、この状態での画像(画像Bとする)を撮像手段20により取得する(ステップS2)。
制御手段30は、画像Aまたは画像Aから求めた画素値あるいは画像Aから散乱光の画像として抽出した楕円領域での画素値の平均値に対して画像Bを用いてホワイトバランス処理等の補正処理を適用して補正画像を生成する(ステップS3)。
制御手段30は、ステップS3で生成したホワイトバランス処理済みの補正画像に基づいて、散乱光の色を算出する(ステップS4)。このようにすれば、指3の色に影響されずに指3による散乱光の色を正確に算出できる。
背景が明るい場合には指3による散乱光の検出が困難になる場合がある。このような場合には、操作がなされていない状態での画像を撮像手段20または他の装置であらかじめ取得しておき、この画像とユーザによる操作が行われたときに撮像手段20が取得した操作画像との差分により指3の検出を行うとよい。また、操作がされていない状態の画像をあらかじめ取得しておく代わりに、散乱光が検出されたときに、指3の近傍に再生される光を短時間オフにしてこの時の画像を取得し、この画像と操作画像との差分を算出することで更に精度を向上できる。
次に、処理手段30が指3の動く方向を判定し、その方向に応じた処理を行う機能について説明する。
図4は、立体像に触れる指の動きの判定方法を説明する図である。ここでは、スクリーン12と平行な方向に対する指先の動きを検出する。たとえば、図4に示すような正方形の領域がタイル状に並んだパターンを立体像2として投影する。図4の「R」、「G」、「B」、「C」、「Y」、「M」は、その領域の色がそれぞれ赤、緑、青、シアン、黄色、マゼンタであることを示すために付したもので実際に再生される立体像2には含まれていない。領域の行方向(横方向)に着目すると、色は次のようなパターンで並んでいる。上から1行目と3行目は、左から右に向かってR→G→Bのパターンが繰り返されている。そして、3行目は1行目に対して1マス右にずれたパターンとなっている。2行目と4行目も同様のパターンとなっているが色の組み合わせは、C、Y、Mとなっている。
ユーザが指3を立体像2に触れながら左から右へ動かした場合、指3からの散乱光の色はRGBRGB・・・またはYMCYMC・・・と変化し、逆向きの場合はBGRBGR・・・またはCMYCMY・・・と変化する。したがって、制御手段30は散乱光の色の変化パターンに基づいて指3の動いた方向を判定することができる。上述のように2種類の色の組み合わせを用い、横方向に1マスずつずらして配列することによって、横方向以外の方向にも、3色以上の色が規則的に並ぶようになる。そのため、指3が上下方向や斜め方向に動いた場合にも、制御手段30は方向を判定することができる。制御手段30は、たとえば、指3が右から左に動いた場合は音声のボリュームを上げる等の、指の動く方向に応じた処理を行う。
指先の動きを検出する別の方法として、図5に示すように、撮像手段20で撮影された操作画像21からオプティカルフローを計算することも可能である。ユーザが指3をプロジェクター11により再生された立体像に触れながら図5の矢印Cのように動かしたとする。このとき撮像手段20によって生成される複数の操作画像21の中で、散乱光の画像21aは全体として矢印Aのように動く。矢印Bは、散乱光の画像21aを構成する各ピクセルのフローベクトルである。矢印Bのフローベクトルの平均ベクトルを計算することなどによって、矢印Aで表される指3の動きを求めることができる。指3が動いている間散乱光が発生し続けるように、指3より大きな立体像を再生すれば、散乱光の画像21aのオプティカルフローを取得し、指3などの物体の動きを求めることができる。
次に、処理手段30が指3の奥行き(スクリーン12に直角な方向の位置)を判定し、その判定結果に応じた処理を行う機能について説明する。
指3の奥行きを推定する方法の一例を図6に示す。指3による散乱光が検出されたら、指3の近傍に集まり色が異なる複数の光線を再生する。図6では、スクリーン12の位置では上から順に色がMBCGYRである6本の光線を再生している。このようにすれば、指3の位置と集光位置4が一致したとき散乱光の色は白色、指3が集光位置4よりもスクリーン12に近いとき上からMBCGYR、遠いときRYGCBMの順で色が並ぶ。集光位置4を奥行き方向に変化させて数枚の操作画像を撮像手段20で取得することで、指3の奥行き位置を簡易な処理で推定できる。図6の6本の光線の色が同じ場合には、撮像手段20で取得する画像が1枚では指3の奥行き位置を得ることはできないが、集光位置を奥行き方向に変化させて数枚の画像を取得すれば、散乱光の強度が最大になる位置を求めることによって、指3の奥行き位置を推定することもできる。
ユーザによる操作に応じた立体像を再生し、時系列でカメラから画像を取得することで、より分かりやすいインタフェースを提供できる。例えば、図7(A)は、プロジェクター11でスクリーン12の手前にボタンの立体像5を再生し、指3でそのボタンに触れた状態を示している。制御手段30は、撮像手段20により取得した画像に散乱光があること、すなわちユーザがボタンに触れたことを検出すると、図7(B)に示すように、それに応じて凹んだボタンの立体像6を表示する。
ボタンを押し込んでいれば凹んだボタンの位置で引き続き散乱光が発生するが、ボタンを押し込んでいなければ散乱光が発生しないため、押したか単に触れたかの操作の判定を行うことができる。制御手段30は、この判定結果に応じて、たとえば、ボタンを押し込んでいなければ立体像5を再生し、押し込んでいれば立体像6を表示するといった処理を行うことができる。
指3などによる操作を検出した後に、構造化光投影を用いて手指形状を取得することで操作の種類を識別することもできる。検出された複数の指の近傍のみで構造化光投影法を用いて手形状を求めることによって、立体像2と指3の接触状態、すなわち指3がどのように立体像2へ接触しているかが分かり、指3の動きを正確に検出し、指3の動きの追尾や立体像2を掴む動作などの検出に利用し、操作性を向上する。
上述の手法を複数指に対応させたユーザインタフェース機能を提供することもできる。複数の散乱光を同時に検出し、それぞれの位置と色の情報から空中に再生された立体像2に対するマルチタッチインタフェースを実現できる。従来の2次元のタッチパネルで用いられているようなピンチイン・ピンチアウトのような方法を3次元空間に拡張する。例えば押す・引く・掴む・掴んで動かすといった立体像2に対する特有の操作も提供できる。
立体像再生手段10で表示する原色の分光分布形状に合わせた色フィルタを通じて操作画像を取得することで、背景の影響を低減できる。色フィルタを備えた構成例を図8に示す。図1の例と同様にスクリーン12の前面の空間に立体像2が再生され、ユーザが指3で立体像2に触れて操作を行っている。撮像手段20も、スクリーン12の背面に配置されているが、撮像手段20とスクリーン12の間には色フィルタ22が配置されている。そのため、撮像手段20には、色フィルタ22を通過した光だけが入射する。例えば、立体像再生手段10がレーザーやLED光源を用いたものである場合や、体積型のホログラフィックスクリーンを用いたものである場合は、原色光の特性に合わせて狭帯域の光のみを透過させる色フィルタ22を用いればよい。
情報処理装置1によれば、立体像再生手段10によって空間に実像として再生された立体像2が再生されている空間を撮像手段20によって撮像し操作画像を生成する。処理手段30は、操作画像を解析して立体像2に指3が接触したことにより生じた散乱光を検出し、検出結果、たとえば、散乱光の有無、散乱光の色、散乱光の色の変化等に応じて所定の処理を行う。そのため、ユーザは立体像2を直接触ることによって直感的に情報処理装置1を操作することができる。
また、立体像が表示される位置とユーザが操作を行う位置(指の位置)が一致しているので、両者の位置合わせを行う必要がない。言い換えると、表示位置と操作位置のずれによってユーザの操作が適切に反映されないことによりユーザに不快感を与えることがない。
また、ユーザは、空間に表示された立体像2に対して操作を行うので、たとえばタッチパネル等の情報処理装置1の一部に触れる必要がない。そのため、ユーザの皮脂等によって情報処理装置が汚れる、逆にこの汚れによってユーザの手が汚れるといったことを防止することができる。この利点は、ATM(Automated Teller Machine)等不特定多数のユーザが情報処理装置1を操作する場合に顕著である。
次に本発明の具体的な実施例について説明する。
第1の実施例では図9に示すように、立体像再生手段10は、ホログラフィックスクリーン41とプロジェクター42を用いたシステムによって構成され、ホログラフィックスクリーン41の前面の空間に立体像7を再生する。立体像7にユーザの指が触れたことにより生じた散乱光を撮像するカメラ43(撮像手段の一例)をホログラフィックスクリーン41の背面側に配置する。制御手段30は、図示していないが、プロジェクター42とカメラ43に接続されたパーソナルコンピュータを用いた。
第1の実施例では図9に示すように、立体像再生手段10は、ホログラフィックスクリーン41とプロジェクター42を用いたシステムによって構成され、ホログラフィックスクリーン41の前面の空間に立体像7を再生する。立体像7にユーザの指が触れたことにより生じた散乱光を撮像するカメラ43(撮像手段の一例)をホログラフィックスクリーン41の背面側に配置する。制御手段30は、図示していないが、プロジェクター42とカメラ43に接続されたパーソナルコンピュータを用いた。
ホログラフィックスクリーン41には図9、図10に示すように要素ホログラム15と呼ばれる微小なホログラムが2次元的に隙間なく配置されている。それぞれの要素ホログラム15には、図11のようにして、物体光18としてレンズ63の焦点距離から少しずらした発散光を、参照光17として記録材料14の反対側から入射した平行光を用い、これらのホログラムが厚い反射型ホログラムとして記録されている。このように記録したホログラムは記録材料14の厚み方向に干渉縞が記録され、白色光を入射すると入射光のうち、記録した時の波長の光がブラッグ回折によって回折されて物体光が再生される。また、記録材料の同じ領域に複数のホログラムを多重記録することが可能であり、RGBの各レーザーで同じ発散光を記録すれば、同時に3色の物体光を再現できるため、フルカラー再生が可能である。
ホログラフィックスクリーン41を作成する際に用いた記録光学系を図12に示す。発振部50aは、波長が633nmの赤色のレーザー光を発振する。発振部50aから射出されたレーザー光は、AOM(Acousto-Optic Modulator)51で変調された後、半波長板52を経てビームスプリッタ53で参照光17と物体光18に分割される。物体光18は、半波長板54、ミラー55、空間フィルタ56、レンズ57、ミラー58、絞り59、レンズ60、絞り61、レンズ62、レンズ63から構成される光学系を経由して矢印Dの方向に記録材料14に入射する。参照光17は、ミラー70、半波長板71、ミラー72、ミラー73、ミラー74、絞り75、レンズ76から構成される光学系を経由して、矢印Eに示すように物体光18とは反対側から記録材料14に入射する。発振部50b、50cは、それぞれ波長が532nmの緑色のレーザー光、波長が473nmの青色のレーザー光を発振する。緑色のレーザー光と青色のレーザー光も、物体光と参照光に分割され、上記の赤色のレーザー光の場合と同様の構成の光学系を経由して記録材料14に入射する。要素ホログラム15にはレンズ63の焦点から少しずらした光を物体光とした厚い反射型ホログラムが記録され、XYステージによって記録と移動を繰り返しながら作成される。
このホログラフィックスクリーン41に再生照明光を入射すると、図10に示すようにそれぞれの要素ホログラム15から発散光16が再生される。このとき、再生照明光の入射位置によって、異なる方向に光が再生されるので、図13のようにひとつの要素ホログラム15に投影画像の複数ピクセルの光40を投影すれば発散光16が複数方向の光線として再生される。本再生システムにおいて、要素ホログラム15に入射する画像のピクセル数が視点数に相当する。
このシステムは、物体から出て眼に入射する光を高密度の光線として扱い、その光線を再現することで立体像を再生するシステムであり、光線再生型ディスプレイと呼ばれる。光線を高密度に再現すれば、実物を見る時とほぼ同様の光が眼に入射するため、観察者は本当に目の前に物があるかのように知覚できる。眼鏡式や眼鏡無しの2眼式3Dディスプレイと異なり、多人数で立体像を同じ位置に観察できる。また、立体像7は実像としてホログラフィックスクリーン41の手前に浮かせて再生することが出来るため、その立体像7に直接触ることができる。
プロジェクター42が投影する画像の各ピクセルはホログラフィックスクリーン41から出る光線に割り当てられる。1つの要素ホログラム15に入射する要素画像のピクセル数が視点数に相当し、要素画像の数が立体像7の解像度に相当する。したがって、奥行きの深い大きな立体像7を再生するには高解像度プロジェクターが必要である。今回使用するプロジェクター42の仕様を表1に示す。このプロジェクター42の解像度に合わせてホログラフィックスクリーン41を作成する。今回設計したシステムの性能を表2に示す。この再生システムで再生するとプロジェクター42の解像度はやや低いが、ホログラフィックスクリーン41の手前に数cm浮かせた全方向視差立体像を再生できる。
第1の実施例の情報処理装置において立体像を正しく再生するには、ホログラフィックスクリーン41上で投影画像のピントが合い、できるだけホログラフィックスクリーン41に対して垂直に画像が入射するようにプロジェクター42の投射光学系を設計する必要がある。そこで今回は、プロジェクター42の投射レンズの前にレンズを置くことで投射光学系を作成した。このレンズはホログラフィックスクリーン41上でピントが合うような焦点距離で、ホログラフィックスクリーン41にできるだけ垂直に画像が投影されるようにプロジェクター42とホログラフィックスクリーン41の距離を伸ばすための口径の大きなレンズである。
情報処理装置を構成する各要素の実際の配置を図14に示す。図の左側のやや上よりの位置の長方形で示した位置にホログラフィックスクリーン41が配置されている。ホログラフィックスクリーン41の右側の手前側にはプロジェクター42が配置され、プロジェクター42の前面には上述の大口径のレンズが配置されている。カメラ43は、ホログラフィックスクリーン41の背面の小さい長方形で示した位置に配置されている。
今回の実験では、表3に示す立体像を再生する。再生した立体像を図15に示す。ユーザから見てホログラフィックスクリーン41の手前36mmの位置に大きく「T」の文字が立体的に再生されている。「T」の左の位置に「Touch」の文字、「T」の右の位置に「Screen」の文字がそれぞれ立体的に再生されている。「Touch」と「Screen」の奥行き方向の位置はホログラフィックスクリーン41の手前3mmである。なお、これらの立体像は実際には赤色で再生されている。
ユーザは指先で図15の立体像に触れる。その時の操作画像をカメラ43で取得し、指先による散乱光が取得されればホログラフィックスクリーン41の左下に「OK」と再生するシステムを作成した。
指を立体像の位置に置いた時の散乱光の様子を情報処理装置の横からカメラ43とは別のカメラで撮影した画像を図16に示す。ユーザの人差し指の指先が他の部分よりも明るくなっていることが分かる。実際には、立体像の色(この実施例では赤)に染まった指がホログラフィックスクリーン41の裏側に設置したカメラ43によって撮影される。
今回の実験では、散乱光の色情報を用いて立体像への接触の検出を行った。操作画像のうち、立体像に触った時に発生する散乱光の色に近い色のみを抜き出し、色を抜き出した画像の中からある範囲の大きさの楕円を検出するというステップで検出を行った。楕円が検出された時の画像を図17に示す。画像の幅方向の中央部のやや上よりの位置に、灰色の楕円(この楕円は説明のために書き入れた)で囲んだ、指先の大きさとほぼ同じ大きさの白の楕円の領域が認められる。このように楕円が検出された時に、ホログラフィックスクリーン41の左下に「OK」と表示する。
表示結果を図18に示す。ユーザの指が立体像の「T」の部分に触れている状態でスクリーン41の「Touch」の文字の下の位置に「OK」と表示されていることが分かる。この実験によって、提案手法である立体像の位置に指を置いた時に発生する散乱光を用いることで、立体像への接触を検出できることが確認できた。
次に、第2の実施例として、空中に2種類の色の立体像を再生し、どちらの立体像へ接触を行ったかを検出する実験を行った。装置の構成は図9に示したものと同一である。再生した立体像を図19に、その仕様を表4に示す。ホログラフィックスクリーン41の中央上部の手前の空間に「Choose」の文字(実際には赤色)が、その左側に「Y」の文字(実際には緑色)が、右側に「N」の文字(実際には青色)が立体像として表示されている。
立体像に触った時、指は散乱光によって光り、ホログラフィックスクリーン41の背後に設置したカメラ43によって操作画像が撮影される。この操作画像からあらかじめ指定した散乱光の色に近い色を抜き出し、その画像から楕円を検出するというステップで操作検出を行った。どちらの立体像への操作による散乱光を検出したかによって、異なる出力を行う。操作検出の様子を図20(A)、(B)に示す。図20(A)では検出した楕円の色が緑であったので、図19の立体像の「Y」にユーザが触れたと判定し、「YES」の文字を表示している。図20(B)では検出した楕円の色が青であったので、図19の立体像の「N」にユーザが触れたと判定し、「NO」の文字を表示している。この実験によって、立体像の位置に指を置いた時に発生する散乱光の色情報を用いることで立体像のどの部分に接触したかを判定できることを確認した。
1 情報処理装置
2 立体像
3 指(物体の一例)
10 立体画像再生手段
11 プロジェクター
12 スクリーン
20 撮像手段
21 操作画像
30 制御手段
41 ホログラフィックスクリーン
42 プロジェクター
43 カメラ
2 立体像
3 指(物体の一例)
10 立体画像再生手段
11 プロジェクター
12 スクリーン
20 撮像手段
21 操作画像
30 制御手段
41 ホログラフィックスクリーン
42 プロジェクター
43 カメラ
Claims (17)
- 立体像を実像として空間に再生する立体像再生手段と、
上記立体像が表示される空間を撮像し操作画像を生成する撮像手段と、
上記操作画像を解析して上記立体像に物体が接触したことにより生じた散乱光を検出し、検出結果に応じて所定の処理を実行する処理手段とを備えた情報処理装置。 - 上記立体像は、色が異なる複数の領域を含み、
上記処理手段は、上記散乱光の色に基づいて上記物体が上記複数の領域のいずれに触れたかを判定し、上記物体が触れた上記領域にあらかじめ対応づけられた処理を行うことを特徴とする請求項1に記載の情報処理装置。 - 上記処理手段が上記散乱光を検出した場合に、上記立体像再生手段により上記物体の位置を含む領域に無彩色のパターンを表示し、
上記処理手段は、上記無彩色のパターンが表示されているときに上記撮像手段により撮像された画像を用いて、上記散乱光が検出された時の操作画像の色に対して補正処理を施し、この補正処理の結果に基づいて上記散乱光の色を判定することを特徴とする請求項2に記載の情報処理装置。 - 上記処理手段は、上記物体が上記立体像に接触していないときに上記撮像手段により撮像された画像と、ユーザによる操作が行われているときに上記撮像手段により撮像された上記操作画像との差分により上記散乱光を検出することを特徴とする請求項1ないし請求項3のいずれか1項に記載の情報処理装置。
- 上記処理手段は、上記物体の動く方向を判定し、その方向に応じた処理を行うことを特徴とする請求項1ないし請求項4のいずれか1項に記載の情報処理装置。
- 上記処理手段は、上記散乱光の色の変化により上記物体の動く方向を判定することを特徴とする請求項5に記載の情報処理装置。
- 上記処理手段は、複数の上記操作画像から上記散乱光のオプティカルフローを算出し、このオプティカルフローに基づいて上記物体の動く方向を判定することを特徴とする請求項5に記載の情報処理装置。
- 上記処理手段が上記散乱光を検出した場合に、上記立体像再生手段により、上記物体の位置で交差する複数の光線を再生し、
上記処理手段は、上記散乱光の検出結果に基づいて、上記物体の奥行き方向の位置を判定することを特徴とする請求項1ないし請求項7のいずれか1項に記載の情報処理装置。 - 上記複数の光線は色が異なり、
上記処理手段は、上記散乱光における色の並び順に基づいて、上記物体の奥行き方向の位置を判定することを特徴とする請求項8に記載の情報処理装置。 - 上記処理手段は、上記処理手段による散乱光の検出結果に応じて、上記立体像表示手段が再生する上記立体像を変化させることを特徴とする請求項1ないし請求項9のいずれか1項に記載の情報処理装置。
- 上記処理手段は、上記処理手段が上記散乱光を検出した場合に、構造化光投影法により上記物体と上記立体像との接触状態を判定することを特徴とする請求項1ないし請求項10のいずれか1項に記載の情報処理装置。
- 上記物体は複数の指で、上記処理手段は複数の上記散乱光を検出することを特徴とする請求項1ないし請求項11のいずれか1項に記載の情報処理装置。
- 上記立体像再生手段は、要素ホログラムが2次元的に配列されたホログラフィックスクリーンと、
上記ホログラフィックスクリーンに光を投射するプロジェクターを備えることを特徴とする請求項1ないし請求項12のいずれか1項に記載の情報処理装置。 - 上記撮像手段は、上記ホログラフィックスクリーンの背後に配置されることを特徴とする請求項13に記載の情報処理装置。
- 上記撮像手段は、上記ホログラフィックスクリーンに内蔵された撮像素子であることを特徴とする請求項13に記載の情報処理装置。
- 上記立体像の原色の分光分布形状に合わせた色フィルタを備え、上記撮像手段は上記色フィルタを通過した光を撮像することを特徴とする請求項1ないし請求項15のいずれか1項に記載の情報処理装置。
- 像を再生することにより立体像を空間に再生し、
上記立体像が表示される空間を撮像して操作画像を生成し、
上記操作画像を解析して上記立体像に物体が接触したことにより生じた散乱光を検出し、検出結果に応じて所定の処理を実行する情報処理装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015044296A JP2016164701A (ja) | 2015-03-06 | 2015-03-06 | 情報処理装置及び情報処理装置の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015044296A JP2016164701A (ja) | 2015-03-06 | 2015-03-06 | 情報処理装置及び情報処理装置の制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016164701A true JP2016164701A (ja) | 2016-09-08 |
Family
ID=56876626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015044296A Pending JP2016164701A (ja) | 2015-03-06 | 2015-03-06 | 情報処理装置及び情報処理装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016164701A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018153871A (ja) * | 2017-03-15 | 2018-10-04 | 株式会社G−グロボット | 空中映像を用いた、ロボットによる案内方法 |
CN111566570A (zh) * | 2017-07-31 | 2020-08-21 | 德瑞森航空航天股份有限公司 | 虚拟控制装置和*** |
WO2022045294A1 (ja) * | 2020-08-28 | 2022-03-03 | 大日本印刷株式会社 | 空中結像装置、空中入力装置、空中結像装置付き表示装置、移動体及びホログラム結像レンズ |
WO2024079971A1 (ja) * | 2022-10-13 | 2024-04-18 | 三菱電機株式会社 | インタフェース装置及びインタフェースシステム |
-
2015
- 2015-03-06 JP JP2015044296A patent/JP2016164701A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018153871A (ja) * | 2017-03-15 | 2018-10-04 | 株式会社G−グロボット | 空中映像を用いた、ロボットによる案内方法 |
CN111566570A (zh) * | 2017-07-31 | 2020-08-21 | 德瑞森航空航天股份有限公司 | 虚拟控制装置和*** |
JP2020529682A (ja) * | 2017-07-31 | 2020-10-08 | ドリエーッセン エアロスペース グループ ナームロゼ フェンノートシャップ | 仮想制御装置及びシステム |
WO2022045294A1 (ja) * | 2020-08-28 | 2022-03-03 | 大日本印刷株式会社 | 空中結像装置、空中入力装置、空中結像装置付き表示装置、移動体及びホログラム結像レンズ |
JP2022039582A (ja) * | 2020-08-28 | 2022-03-10 | 大日本印刷株式会社 | 空中結像装置、空中入力装置、空中結像装置付き表示装置、移動体及びホログラム結像レンズ |
JP7216925B2 (ja) | 2020-08-28 | 2023-02-02 | 大日本印刷株式会社 | 空中結像装置、空中入力装置、空中結像装置付き表示装置、移動体及びホログラム結像レンズ |
WO2024079971A1 (ja) * | 2022-10-13 | 2024-04-18 | 三菱電機株式会社 | インタフェース装置及びインタフェースシステム |
WO2024079832A1 (ja) * | 2022-10-13 | 2024-04-18 | 三菱電機株式会社 | インタフェース装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6724987B2 (ja) | 制御装置および検出方法 | |
US9939914B2 (en) | System and method for combining three-dimensional tracking with a three-dimensional display for a user interface | |
US8570372B2 (en) | Three-dimensional imager and projection device | |
JP4076090B2 (ja) | 画像表示システム | |
JP6064316B2 (ja) | 透過型表示装置、及び操作入力方法 | |
JP4579295B2 (ja) | 画像表示装置 | |
KR101092909B1 (ko) | 제스쳐 인터렉티브 홀로그램 출력장치 및 방법 | |
US9423939B2 (en) | Dynamic adjustment of user interface | |
JP6048819B2 (ja) | 表示装置、表示方法、集積回路、プログラム | |
US10488942B2 (en) | Systems and methods to facilitate user interactions with virtual content having two-dimensional representations and/or three-dimensional representations | |
JP6822472B2 (ja) | 表示装置、プログラム、表示方法および制御装置 | |
JP2017102768A (ja) | 情報処理装置、表示装置、情報処理方法、及び、プログラム | |
CN115509352A (zh) | 使用传感器融合的经优化对象扫描 | |
US9678663B2 (en) | Display system and operation input method | |
JP2010134738A (ja) | 端末装置、表示制御方法および表示制御プログラム | |
JP2016164701A (ja) | 情報処理装置及び情報処理装置の制御方法 | |
JP2010102215A (ja) | 表示装置、画像処理方法、及びコンピュータプログラム | |
US20220155881A1 (en) | Sensing movement of a hand-held controller | |
US20220012922A1 (en) | Information processing apparatus, information processing method, and computer readable medium | |
JP2006350452A (ja) | 撮影表示装置およびそのキャリブレーションデータ算出方法 | |
WO2014061310A1 (ja) | 表示物制御システム、表示物制御方法及びプログラム | |
KR20120052669A (ko) | 사용자 동작에 기초한 입력 제어 시스템 및 방법 | |
JP6740614B2 (ja) | 物体検出装置、及び物体検出装置を備えた画像表示装置 | |
KR101002071B1 (ko) | 멀티 적외선 카메라 방식의 투영 영상 터치 장치 | |
Yamaguchi et al. | Holographic 3D touch sensing display |