JP4747232B2 - 小型携帯端末 - Google Patents

Description

本発明は、プロジェクタとカメラを備えた小型携帯端末に関するものであり、更に詳細には、利用者に呈示する画像を投影するプロジェクタおよび投影された画像を入力するカメラを備え、これらからの入出力画像の画像処理を行う小型携帯端末であり、作業空間を動き回りつつ作業をする利用者が当該小型携帯端末を携帯または装着することにより、作業空間中の作業対象や設置物、利用者の持つ物体や体の一部に、複雑な視覚情報を直接投影しながら、作業手順や指示を与えることができ、さらには、利用者の持つ物体や利用者の体の一部の形状、さらにはその奥の作業対象や設置物との間の位置関係を変化させることにより、投影像の一部を選択する指示を与えて、投影像の内容を変更することができる小型携帯端末に関するものである。

熟練労働者不足や安全管理の観点から、作業支援インタフェースの必要性がこれまでにも増して高まっている。移動と作業を伴う業務の従事者を支援するための有望なインタフェースの一つに、視覚センサや視覚ディスプレイを用いて実世界や仮想世界、または遠隔地の人との直感的で円滑な対話を実現するウェアラブルビジュアルインタフェース（携帯・着用型視覚インタフェース）が挙げられる（非特許文献１）。ウェアラブルビジュアルインタフェースにおいては、利用者からシステムへの入力手段とその逆の出力手段のそれぞれの機能が重要や役割を果たす。

発明者らは以前、カメラとレーザポインタを一体化したヘッド部を小型のパン・チルトアクチュエータ上に搭載した着用型入出力インタフェースであるＷＡＣＬ（Ｗｅａｒａｂｌｅ Ａｃｔｉｖｅ Ｃａｍｅｒａ ｗｉｔｈ Ｌａｓｅｒ−ｐｏｉｎｔｅｒ）の小型携帯端末（特許文献１、非特許文献８）を提案した。

このＷＡＣＬの小型携帯端末利用者は、利用者の周辺の作業環境や作業過程の状況を、映像や音声を用いて遠隔地の指示者に送ることができ、また、遠隔地の指示者は、カメラとレーザポインタが一体化されたヘッド部が遠隔地から操作可能となっているため、これを遠隔地から操作し、指示者は利用者の動きにあまり影響されずに観察したい場所を見続けることができ、さらに、指示者は、ＷＡＣＬの利用者に対して、レーザポインタを制御して特定の場所や物体を指し示すことができるものとなっている。

発明者らは、ＷＡＣＬとＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）とＨＭＣ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｃａｍｅｒａ）からなるヘッドセットとの比較のためのユーザテストを実施したが、その内容を非特許文献２において紹介している。

このユーザテストによると、実作業環境における協調作業では、作業は、主として「対象物・場所の特定」、「手順の説明」、「理解の確認」の３段階に分類される。ＷＡＣＬインタフェースは、頭部を拘束せず視野もオープンであり、さらに、レーザスポットによる指示が直接、実空間に提示されるため、作業者に優れた印象を与える一方で、レーザポインタの表現能力の低さから「手順の説明」が複雑な場面においては、作業時間を増加させることが、そのユーザスタディにより判明した。

なお、ＷＡＣＬユーザに付加的なディスプレイ装置を装着することで、この問題が軽減されるという結果が別のユーザテストにより得られている（非特許文献３）が、作業対象や作業空間を見たり、付加的なディスプレイ装置を見たりするためには、視線移動が必要となるため、作業内容によってはそれが欠点となる場合がある。

一方、携帯・装着型か設置型かどうかは別として、文字や図形など、レーザスポットよりも複雑な視覚情報を実物体上に直接投影するインタフェースが近年数多く提案されており、ウェアラブルビジュアルインタフェースに組み込んだり、組み合わせたりすることによって、より直感的で円滑な対話や操作を実現することができるようになっている。

非特許文献４では、設置型のプロジェクタとタッチパネルの四隅に光センサを搭載したハンドヘルド型装置を組み合わせたシステムが提案されている。そのシステムでは、プロジェクタから壁や机に投影される映像の中にハンドヘルド型装置を入れると、その四隅の光センサと映像内の局所的に高周波で変化させた輝度パターンとの組み合わせにより、そのハンドヘルド型装置の３次元空間の中での位置や姿勢を計測することができる。壁や机などへ投影されている映像とハンドヘルド型装置へ投影されている映像の両方を見ながら、ハンドヘルド型装置の位置・姿勢を変更し、またはタッチパネルを操作することにより、マウスやキーボードを用いることなく、直感的に投影像の内容を変更したり、コンピュータを操作したりすることができる。

特許文献２の携帯型端末においては、携帯型端末にプロジェクタと、スクリーン（投影面）までの投影距離を計測する距離測定手段を搭載している。距離測定手段によって投影面までの距離が短い場合には、投影光量を低下させて消費電力を抑えたり、投影レンズの焦点自動調整に距離計測の結果を利用したりすることが可能である。

上述した発明や提案では、プロジェクタとして液晶パネルやＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｒｒｏｒ Ｄｅｖｉｃｅ）を用いたライトバルブ式プロジェクタを用いている。例えば、非特許文献５では、頭部に２次元レーザスキャナを用いたレーザプロジェクタを搭載し、投影距離に関わらず鮮明な映像を提示することが可能となっている。ただし、スキャンミラーの性能の制限により、実世界の比較的狭い範囲に直接文字情報を投影するものとなっている。

ライトバルブ式プロジェクタとカメラを組み合わせたシステムを、ここではプロカムシステムと呼ぶこととすると、非特許文献６および非特許文献７は、プロカムシステムと利用者の手とを組み合わせた提案である。非特許文献６では、天井に設置したプロカムシステムのライトバルブ式プロジェクタにより、床に雨の模様を投影する。

利用者が投影光の届く範囲内で手の平を天井に向けると、カメラで得られた画像を用いて手の平の位置や大きさおよび向きを計算し、その手の平の上に、例えば、近くのお店のセール情報を投影することができる。

一方、非特許文献７では、利用者の肩にプロカムシステムを装着することが提案されている。そのプロカムシステムには、さらに近赤外線投光機が搭載されており、カメラには赤外線フィルタが備わっている。これにより、プロカムシステムの前に利用者が手を差し伸べると、カメラで得られる赤外線画像中の手の領域は、投光機からの赤外線の反射が強く観測されるため、比較的容易に利用者の手の位置を検出し、その手の上に映像を投影することができる。

また、非特許文献７のプロカムシステムでは、各指に対応するようにリモコンの操作ボタンのような視覚情報が投影されており、その指を選ぶジェスチャを行うと、その操作ボタンを選択できるといった機能が提案されている。
特開２００４−２１９８４７号公報 特開２００５−２９２４２８号公報 蔵田武志, 酒田信親, 葛岡英明, 興梠正克, 大隈隆史, 西村拓一: "遠隔協調作業のためのウェアラブル・タンジブルインタフェース",SICE第69回パターン計測部会研究会, pp.11-18 (2006) Takeshi Kurata, NobuchikaSakata, Masakatsu Kourogi,Hideki Kuzuoka, Mark Billinghurst:"Remote Collaboration using a Shoulder-Worn Active Camera/Laser", InProc. 8th IEEE International Symposium on Wearable Computers (ISWC2004) inArlington, VA, USA, pp.62-69 (2004) Nobuchika Sakata, Takeshi Kurata, and Hideaki Kuzuoka:"Visual Assist with a Laser Pointer and Wearable Display for RemoteCollaboration", In Proc. 2nd international conference on CollaborationTechnologies (CollabTech 2006) in Tsukuba, Japan,pp.66-71 (2006) Lee, J.C.; Hudson, S.E.; Summet, J.W.;Dietz, P.H., "Moveable Interactive Projected Displays Using ProjectorBased Tracking", ACM Symposium on User Interface Software and Technology(UIST), ISBN: 1-59593-271-2, pp. 63-72, October 2005 安藤英由樹, 雨宮智浩, 前田太郎, "ARにおける注釈表示のためのウェアラブル・スキャニング・レーザー・プロジェクター",日本バーチャルリアリティ学会論文誌, Vol. 10, No. 2, pp. 191-200, 2005. 石井陽子・小林 稔・中山 彰・細田真道、情報との出会いを演出する手の平表示インタフェース、信学技報, vol. 105, no. 256,MVE2005-42, pp. 89-93, 2005年9月. 山本豪志朗，佐藤宏介："掌への光投影を利用した身体インタフェース" 平成１７年度情報処理学会関西支部大会ビジュアルインフォメーション研究会，A-05，2005年10月 Nobuchika Sakata, Takeshi Kurata, Takekazu Kato, Masakatsu Kourogi, and Hideaki Kuzuoka: "WACL: Supporting Telecommunications UsingWearable Active Camera with Laser Pointer", In Proc. 7th IEEEInternational Symposium on Wearable Computers (ISWC2003) in NY, USA, pp.53-56(2003)

上述したように、これまでに様々なプロジェクタシステム、プロカムシステムが提案されているが、これらのシステムを利用する場合の問題点として、作業空間を動き回りつつ作業をする作業者が携帯または装着して利用するプロジェクタとカメラを備えた小型携帯端末に適用しようとした場合には、次のような更に解決されるべき課題が存在する。

まず、特許文献１の小型携帯端末（非特許文献８のＷＡＣＬ）の場合は、前述したように、利用者に提示する情報の出力装置がレーザスポットのみであり、このため、表現能力に乏しく、利用者に対して十分な情報を提供できない。

非特許文献４の場合に、例えば、携帯型プロジェクタとタッチパネルの四隅に光センサを搭載したハンドヘルド型装置を組み合わせて、同様の機能を実現することを考えると、この場合には、ハンドヘルド側装置の四隅に光センサを搭載する必要があり、利用者の周りにある物体や利用者の手などを用いたインタラクションは行うことができない。

また、非特許文献４では、ライトバルブ式プロジェクタを用いているが、その原理上、焦点深度がある範囲に限られるため、壁や机などの投影面とハンドヘルド装置との間の距離よりも相当程度離れた位置にプロジェクタを設置し投影距離を長くするか、壁や机などの投影面とハンドヘルド装置との間の距離をあまり長くしないなど利用上の制約が出てくる。これらの制約を満たさないと、投影面上の映像とハンドヘルド装置上の映像の双方にピントの合った映像を提供できなくなる。

これらの制約を、小型携帯端末に置き換えて考えると、プロジェクタの設置位置は利用者の体の頭部または肩部などいずれかの部位上でなければならないため、投影距離を長くとることは非現実的であり、また、投影面とハンドヘルド装置との間の距離をあまり長くできないとなると、利用可能な状況がかなり限定されてしまうことになる。また、非特許文献４で述べられているシステムは設置型であるため、ハンドヘルド装置以外の投影面（壁や机）とプロジェクタとの位置関係はあらかじめ得られていることを仮定している。この仮定は小型携帯端末にとっては非現実的である。

一方、特許文献２の携帯型端末は設置型ではないものの、距離測定手段がスクリーンまでの距離を出力することや、ライトバルブ式プロジェクタを用いていることからも、対象としている投影面が、対象実環境中の一平面（スクリーン）であることがわかる。そのため、端末までの距離の異なる複数の投影面が存在する場合、すべての投影面に焦点を合わせることは困難である。

非特許文献５において提案されている頭部装着型レーザプロジェクタでは、２つのガルバノミラー（２次元レーザスキャナ）を用いて、レーザ光源をスキャンするため投影距離に関わらず、鮮明な映像を提示することができるとしているが、ガルバノミラーの振れ角自体は比較的広いものの、振動周波数の制限により、一度に投影できる映像は数文字の文字情報など画角の狭いものに限られている。そのため、実環境のさまざまな場所や利用者の手などに一度に視覚情報を投影して提示することは、そもそも想定していない。

非特許文献６も、非特許文献４と同様、設置型のシステムである。ライトバルブ式プロジェクタを用いたプロカムシステムを天井に設置するため、投影距離を比較的長くとることができ、手の平と床の双方にピントの合った映像を提示することができるが、携帯型にした場合にはそれは困難となる。

また、利用者の手以外を計測する手段を有しておらず、さらに、その計測も、投影像の影響を考慮したり、積極的に投影像を利用したりといった方法を採用せず、映像中の手の肌色情報や形状情報などから手の平の位置や大きさおよび向きを計算しようとしている。このため、実環境で安定して手の平に映像を投影することは困難である。

非特許文献７では、手の上にしか映像を投影しないため、肩に装着したライトバルブ式プロジェクタの焦点は利用者の手の届く範囲に限定しておけばよいが、その場合、実環境と手の双方に投影像を同時に提示することは困難となる。非特許文献７では手以外の投影面を想定していない。また、非特許文献６とは異なり、投影像が手の計測のための画像処理に悪影響を与えないようにするため、近赤外線画像を処理対象としている。そのため、非特許文献６よりも安定して手の計測が可能であるが、日光や他の熱源が観測されてしまう状況では、手の計測が不安定になってしまう。

本発明は、上記のような様々な事情に鑑みてなされたものであり、本発明の目的は、作業空間を動き回りつつ作業をする利用者が携帯または装着でき、手前側と奥側の投影面を利用して映像を提示しつつ、直感的にわかりやすく操作をすることができるプロジェクタとカメラを備えた小型携帯端末を提供することにある。

また、本発明の別の目的は、作業空間を動き回りつつ作業をする利用者が携帯または装着でき、作業空間中の作業対象や設置物、利用者の持つ物体や体の一部に、複雑な視覚情報を直接投影しながら作業手順や指示を与え、さらに、利用者の持つ物体や利用者の体の一部の形状、さらにはその奥の作業対象や設置物との位置関係を変化させることにより、投影像の一部を選択する指示を与え、また、これにより、投影像の内容を変更することができる小型携帯端末を提供することにある。

上記のような目的を達成するため、本発明による小型携帯端末は、一つの態様として、平行光線または焦点深度の深い光線を１画素とした光線群により投影像を投影するプロジェクタと、前記投影像を含む実空間を撮影するカメラと、前記カメラにより撮影された画像から投影像を含む実空間の画像を解析し、その解析結果および前記カメラと前記プロジェクタとの位置関係に基づいて、前記プロジェクタに最も近い投影面である手前側投影面とその手前側投影面よりも遠い投影面である奥側投影面との前記画像中での位置および前記手前側投影面と奥側投影面の三次元的な位置関係を検出する投影面検出手段と、前記プロジェクタを制御して当該プロジェクタにより前記手前側投影面と奥側投影面の双方に焦点の合った投影像を投影しながら、前記手前側投影面と奥側投影面との位置関係およびその変化状況に応じて前記投影像の内容の制御を行う投影像制御手段と、前記プロジェクタに投影像を供給するデータ処理手段とを備える構成とされる。

また、上記の構成において、前記プロジェクタは、高周波の１次元スキャンミラーと低周波の１次元スキャンミラーを組み合わせた２次元スキャンミラーを用いたレーザプロジェクタであり、前記高周波のスキャンミラーのスキャン方向は、前記カメラの光学中心と前記プロジェクタの光学中心とを結ぶ直線にほぼ平行であるように構成される。

また、本発明による小型携帯端末において、さらに、当該小型携帯端末を利用者の胸部または肩部に装着するための装着具を備えるように構成される。

本発明による小型携帯端末においては、さらに、前記プロジェクタから投影される投影像の各画素を投影する光線群に対して、投影距離の近い投影面に投影される光線の本数を間引いて投影する光線間引き手段を有し、前記プロジェクタは前記光線間引き手段の制御により投影像を投影し、前記手前側投影面においても奥側投影面においても、投影像が鮮明に投影されるように構成される。

また、別の態様として、本発明の小型携帯端末においては、さらに、手前側投影面で隠蔽されることにより利用者からは観測できないが、前記カメラからは観測できる奥側投影面の中の部分領域に対し、直線、点群、円、三角形、格子模様のいずれかの幾何学的なパターン光を前記プロジェクタを制御して投影し、前記カメラにより前記パターン光を撮影することにより、前記部分領域の形状または前記カメラと前記部分領域との距離を計測する隠蔽領域投影手段を有するように構成される。

また、別の態様として、本発明による小型携帯端末において、前記カメラは、魚眼カメラであり、さらに、投影面検出手段には、前記魚眼カメラにより撮影された魚眼画像から透視射影画像への画像変換を行う画像変換手段を備え、投影面検出手段が、前記画像変換手段により画像変換された透視射影画像に基づいて、手前側投影面と奥側投影面の三次元的な位置関係を検出するように構成される。

上記のような構成による本発明の小型携帯端末は、利用者に呈示する画像を出力するプロジェクタと画像を入力するカメラを備えており、作業空間を動き回りつつ作業をする利用者が当該小型携帯端末を携帯または装着することにより、作業空間中の作業対象や設置物、利用者の持つ物体や体の一部に、複雑な視覚情報を直接投影しながら作業手順や指示を与えることができ、さらに、利用者の持つ物体や利用者の体の一部の形状、さらにはその奥の作業対象や設置物との位置関係を変化させることにより、投影像の一部を選択する指示を与え、また、これにより、投影像の内容を変更することができる。

すなわち、本発明においては、プロジェクタに最も近い投影面である手前側投影面（典型例は利用者の手）とその手前側投影面よりも遠い投影面である奥側投影面との双方に焦点の合った映像として、平行光線または焦点深度の深い光線を１画素としその光線群による投影像により投影される平行光線群投影手段が、プロジェクタにより提供され、当該プロジェクタにより投影される投影像を含む実空間の画像をカメラで撮影し、その画像を解析することで、手前側投影面と奥側投影面の画像中での位置を検出し、手前側投影面と奥側投影面との位置関係に応じて投影像の内容を制御する。これにより、投影像の一部を選択したり、投影像の内容を変更したりする指示を与えることができる。

以下、本発明を実施するための一形態について、本発明の小型携帯端末の実施例を、図面を参照して説明する。図１は、本発明による小型携帯端末のシステム構成を説明する図である。図１において、１００は小型携帯端末である。小型携帯端末１００には、正面側からの外観により図示するように、カメラ１、プロジェクタ２、自蔵式センサ３が設けられており、図示されないが、それぞれが情報処理システム４に接続されている。

情報処理システム４には、情報処理を実行するための主要なシステム要素となる処理モジュールとして、投影面検出手段５、投影像制御手段６、無線通信手段８が設けられており、また、情報処理を行う対象として、カメラ１により撮影されて取り込まれる入力画像７００、プロジェクタ２から投影される画像である投影ソース画像８００の画像データが記憶される記憶装置が設けられている。図示されないが、これらの制御処理を行うと共に画像処理の情報処理のためのデータ処理を行うためのデータ処理手段が設けられている。

図１の右側には、小型携帯端末１００のプロジェクタ２から投影される画像の複数の投影面の位置関係を図示するため、小型携帯端末１００を、裏側からの外観により図示すると共に、この小型携帯端末１００のプロジェクタ２から投影される投影像を示している。小型携帯端末１００のカメラ１は、プロジェクタ２から投影された投影像を含む実空間を撮影する。プロジェクタ２は平行光線または焦点深度の深い光線を１画素とした光線群により投影像を投影する。自蔵式センサ３は、加速度、角速度、地磁気などを計測して小型携帯端末１００の位置情報を取得する。もちろん、カメラ１、プロジェクタ２、自蔵式センサ３の配置は、図示された形態に限らず、変更されてもよい。また、自蔵式センサ３には、姿勢センサが含まれていても良い。さらには姿勢センサからのデータ用いて安定化制御手段により姿勢制御を行うことにより、プロジェクタ２により投影される位置、カメラ１により撮影される画像に対する安定化制御を行うことができる。このような姿勢センサおよび安定化制御手段は周知のものが利用できる。また、カメラ１には広視野カメラが用いられる。

小型携帯端末１００には、情報処理システム４が内蔵または接続されており、情報処理システム４により画像処理の情報処理のためのデータ処理が行われる。情報処理システム４に設けられた投影面検出手段５が、投影面の手前側または奥側を検出するための情報処理を行い、投影像制御手段６が、手前側の投影面に投影像を投影するか、または奥側の投影面の投影像を投影するかの制御を行う。無線通信手段８は、図示しない遠隔地の指示者のシステムとの間の通信を行い、カメラ１で撮影した入力画像７００を指示者のシステムに送信し、また指示者のシステムからの制御情報の受信を行い、投影ソース画像８００の供給を受ける通信などを行う。

図１の右側の図は、小型携帯端末１００のプロジェクタ２から投影される投影像を示しており、プロジェクタ２が設けられた小型携帯端末１００と、最も近い投影面である手前側投影面２００となる利用者の手と、遠い投影面である奥側投影面２０１との位置関係を示している。奥側投影面２０１には投影像の中に利用者の手の影（キャストシャドウ２０２）が映っている様子が示されている。

小型携帯端末１００のプロジェクタ２に最も近い投影面である手前側投影面２００は、例えば、その代表的なものの１つである利用者の手であり、その手前側投影面２００よりも遠い投影面である奥側投影面２０１は、例えば、利用者が対面している壁面である。

利用者の手の手前側投影面２００には投影像３００が投影され、利用者が対面している壁面の奥側投影面２０１には投影像４００が投影される。手前側投影面２００は、奥側投影面２０１に対してはその形状が影部分となり、奥側投影面２０１においてキャストシャドウ２０２となり、投影部分から除かれている状態となる。図１においては、四角錐に近い形状をした空間となっている領域が投影光到達空間２０３である。投影光到達空間２０３内に手前側投影面２００が進入したときに、投影像が一部分で分離されてキャストシャドウ２０２が発生する。

このように、小型携帯端末１００においては、プロジェクタ２により投影ソース画像８００を、平行光線または焦点深度の深い光線を１画素とした光線群による投影像として、投影光到達空間２０３を介して、手前側投影面２００および奥側投影面２０１に投影するので、前述したように、投影光到達空間２０３内に利用者の手が進入したとき、その利用者の手の手前側投影面２００には投影像３００が映し出され、奥側投影面２０１には投影像４００が映し出される。

カメラ１は、これらの投影像（３００，４００）を含む実空間を撮影するので、これらの画像が入力画像７００として取り込まれる。入力画像７００に対して、投影面検出手段５の情報処理による画像処理が実行されて、詳細は後述するが、カメラ１により撮影された入力画像から投影像を含む実空間の画像を解析し、その解析結果およびカメラ１とプロジェクタ２との位置関係に基づいて、プロジェクタ２に最も近い投影面である手前側投影面２００と、その手前側投影面２００よりも遠い投影面である奥側投影面２０１との前記画像中での位置および前記手前側投影面２００と奥側投影面２０１の三次元的な位置関係を検出する情報処理を行う。

また、投影像制御手段６はその情報処理により、後述するように、プロジェクタ２を制御して、プロジェクタ２により手前側投影面２００と奥側投影面２０１の双方に焦点の合った投影像を投影しながら、手前側投影面２００と奥側投影面２０１との位置関係およびその変化状況に応じて投影する投影像の内容の制御を行う。

プロジェクタ２は、平行光線または焦点深度の深い光線を１画素とし、その光線群により投影像（３００，４００）を投影するが、これは平行光線群投影手段として機能するものであり、典型例としては、高周波の１次元スキャンミラーとそのスキャン方向とは直交したスキャン方向を持つ低周波の１次元スキャンミラーを組み合わせた２次元スキャンミラーおよび平行光線または焦点深度の深い光線を出力するレーザ光源を用いたレーザプロジェクタを用いる。

プロジェクタ２としては、そのようなレーザプロジェクタを用いるが、平行光線または焦点深度の深い光線を１画素とし、その光線群により投影像を投影する平行光線群投影手段として機能するもので有れば他の投影手段でも構わない。

入力画像７００は、カメラ１を用いて、投影像３００、投影像４００、およびキャストシャドウ２０２を含む実空間を撮影した画像データである。投影ソース画像８００は、投影像制御手段６によりプロジェクタ２が制御されて、投影される投影ソース画像である。投影ソース画像８００は、図示しないデータ処理手段によって生成され、加工される。また、無線通信手段８により外部のサーバから供給される。

手前側投影面２００および奥側投影面２０１を検出する投影面検出手段５は、入力画像７００を用いて画像解析し、その画像解析の結果、および、カメラ１とプロジェクタ２との位置関係を用いて、入力画像７００の中での手前側投影面２００と奥側投影面２０１の位置を検出する。と共に、手前側投影面２００と奥側投影面２０１の三次元的な位置関係を検出する。投影面検出手段５の情報処理では、後述するように、公知のキャストシャドウ２０２を検出する方法を用いる。

また、投影面検出手段５の別の実施例としては、投影ソース画像８００の中に含まれるエッジやコーナーなどの画像特徴を予め検出し、入力画像７００においてそれらの画像特徴を探索して対応付けする情報処理を行うことにより、手前側投影面２００および奥側投影面２０１を検出するように構成されてもよい。

画像特徴としては、例えば、Ｓｏｂｅｌオペレータを用いて検出されるエッジや、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）キーと呼ばれる特徴点記述方法で記述される特徴点などを用いることができる。これにより、投影ソース画像８００を、一般的なレンジファインダで用いられている点群やスリット光などのパターン光と同様に扱うことができることになる。つまり、カメラ１００とプロジェクタ２によるアクティブステレオ法を用いたレンジファインダとして、小型携帯端末１００を使用することができる。

ただし、この場合には、投影ソース画像８００は、パターン光として適切に設計されたものではないため、画像特徴のある領域の距離しか計測できない。その他の領域の距離は画像特徴のある領域の結果から補間、または、キャストシャドウによる方法と組み合わせた処理を実行することとなる。

投影像制御手段６は、手前側投影面２００と奥側投影面２０１との位置関係およびその変化の状況を用いて（これらの状況を判別して）、これらの投影面に投影する投影像を変化させる制御を行い、応用例において投影ソース画像８００を利用する場合の内容の制御を行う。図２は、本発明の小型携帯端末において手前側投影面および奥側投影面の投影面に投影する投影像を変化させる制御を説明する図である。図２を参照して説明する。

図２は、典型的な実施例を示している。図２の左側は、手前側投影面２００である利用者の手を上下左右に動かして、奥側投影面２０１に投影された投影像４００の一部を手前側投影面２００に映している様子を表している。手前側投影面２００を拡大した図を図２の左下に示している。図２の左下の拡大図によると、この場合は衛星写真である奥側投影面２０１上の投影像４００から「ＡＩＳＴ Ｔｓｕｋｕｂａ」と書かれた部分３００を手前側投影面２００に乗せるように映している様子が示されている。つまり、投影像の一部が切り出されて映されている。

ここで、例えば、投影面検出手段５の結果を用いて、手前側投影面２００が同じ位置で数秒静止したことを投影像制御手段６が判断すると、「ＡＩＳＴ Ｔｓｕｋｕｂａ」と書かれた部分の投影像３００が選択されたと認識することができる。さらに、この場合、投影像制御手段６は、投影像検出手段５により手前側投影面２００が検出されているので、図２の右側の中央部に示すように、手前側投影面２００上に投影される投影像３００を、この投影像３００から投影像３０２のように切り替えて表示することができる。ここで投影像３０２としては、表示される投影像を変化させて、「ＡＩＳＴ Ｔｓｕｋｕｂａ」と書かれた部分（投影像３００）に存在する建物が半分程度建設されたときの様子を示すＣＧ画像が投影される。

図２の左側の図は、利用者の手である手前側投影面２００が上下左右に動いた場合の例であるが、図２の右側の図は、前後、つまり、手前側投影面２００が、投影像４００が映されている奥側投影面２０１に近づくように動くか、離れるように動くかを示したものである。

この場合、図２の右側の中央部に示すように、例えば、建物が半分程度建設されたときの様子を示すＣＧ画像の投影像３０２が表示された状態において、手前側投影面２００をより手前、つまり、奥側投影面２０１から離すように動かした場合に、投影像制御手段６が手前側投影面２００に投影される投影像を、建物が完全に建設されたときの様子を示すＣＧ画像の投影像３０３に変更し、逆に、手前側投影面２００をより奥、つまり奥側投影面２０１に近付けるように動かした場合には、投影像制御手段６が手前側投影面２００に投影されるＣＧ画像の投影像としては、建物が建設される前の様子を示すＣＧ画像の投影像３０１に変更する。このように投影像を変化させることにより、投影されるＣＧ画像の時間軸を操作することができる。

このような直感的な操作は、プロジェクタ２が平行光線群投影手段として機能することにより、手前側投影面と奥側投影面の双方に焦点の合った投影像を投影しながら実施することができる。このような適用例は、従来にはなく、本発明による小型携帯端末が有する優れた特徴である。なお、小型携帯端末１００には自蔵式センサ３を設けているが、自蔵式センサ３により小型携帯端末１００の運動量を計測することにより、この運動量を制御情報として、投影像制御手段６の情報処理により、投影像４００を奥側投影面２０１上の同じ位置に投影するような投影像安定化処理を施してもよい。

図１および図２の説明では、奥側投影面２０１が平面である場合の実施例を説明しているが、例えば、図３に示すように、投影面に凹凸があり、さらにプロジェクタ２の投影方向に対して奥行きがあり、ライトバルブ式プロジェクタのように、すべての場所に焦点を合わせられないような投影面が、ここでの奥側投影面２０１とされてもよい。

図３は、本発明の小型携帯端末により投影する投影面が凹凸である場合の実施例を説明する図である。図３を参照して具体的に説明する。ここでは、小型携帯端末１００を胸部分に装着した利用者６００が、机５００の上に置いてある３つの箱に対して作業しようとしている状況が示されている。胸部分の小型携帯端末１００によって、そのプロジェクタ２から、利用者６００から向かって左の箱４５１には、「Ｓｅｌｌ−ｂｙ−ｄａｔｅ Ｊａｎ ３１， ２００７」という注釈が投影されおり、真ん中の箱４５２には、「Ｏｕｔｄａｔｅｄ」という注釈が投影されており、右の箱４５３には、「Ｓｅｎｄ ｔｏ」という注釈が投影されている。さらに、右の箱４５３と机５００上に投影された地図情報４５０が、線４５４により視覚的に接続された状態となるように投影されており、右の箱４５３をどこに送ればよいかということが直感的にわかるように指示される。また、この場合において、例えば、さらに利用者６００が手を差し伸べて手前側投影面（２００）を作り、地図の一部を選んでその詳細情報を得るといったインタラクションも可能である。

このようなインタラクションは、本発明の小型携帯端末１００に、平行光線群投影手段の機能を提供するプロジェクタ２、投影像を撮影するカメラ１が備えられて、手前側投影面または奥側投影面を検出する投影面検出手段５、手前側投影面または奥側投影面に投影する投影像を制御する投影像制御手段６、および画像処理を行う処理モジュールが情報処理システムが設けられることにより、はじめて実現できるものであり、従来にはない優れた特徴である。

なお、無線通信手段８により、遠隔地の協調作業者（指示者）にカメラ１で撮影される入力画像７００を送信すると共に、その遠隔地の協調作業者から投影する投影像３００、４００を受信し、プロジェクタ２により作業空間に投影することができる。この場合に、図示されていないが、音声対話手段を、このような映像の送受信と併用することにより、典型的な遠隔協調作業システムの実施例を構成することができる。

前述したように、平行光線群投影手段とされる機能が提供されるプロジェクタ２の典型例としては、高周波の１次元スキャンミラーとそのスキャン方向とは直交したスキャン方向を持つ低周波の１次元スキャンミラーを組み合わせた２次元スキャンミラーおよび平行光線または焦点深度の深い光線を出力するレーザ光源を用いたレーザプロジェクタを用いているが、ここで、この小型携帯端末において利用されるプロジェクタでは、その高周波のスキャンミラーのスキャン方向は、カメラ１の光学中心とプロジェクタ２の光学中心とを結ぶ直線にほぼ平行に設定する。これにより、後述のキャストシャドウの境界が画像処理により検出しやすくなる。

次に、手前側投影面２００または奥側投影面２０１を検出する投影面検出手段５の１つの典型的な実施例のキャストシャドウ２０２の検出法による手前側投影面または奥側投影面を検出する情報処理ついて、図４を用いて説明する。

図４は、キャストシャドウ検出法によって手前側投影面または奥側投影面を検出する情報処理の一例を説明する図である。図４において、８０１は投影ソース画像である。投影ソース画像８０１を、ＤＭＤを用いたライトバルブ式プロジェクタをプロジェクタ２として用いて構成した小型携帯端末（コンセプト検証システム）により、手前側投影面２００である手の平と奥側投影面２０１である壁面に投影した。７０２はその際にカメラ１から得られた入力画像である。なお、ライトバルブ式プロジェクタは焦点深度が浅いため、プロジェクタ２と手前側投影面２００との距離を約３０ｃｍ、プロジェクタ２と奥側投影面との距離を約４５ｃｍとし、なるべくどちらの像にも焦点が合うようにした。

奥側投影面に投影される投影像には、投影された手前側投影面２００のキャストシャドウ３０が現れる。キャストシャドウ３０と奥側投影面上の投影像の境界線３１は投影像の輝度の変化にも依存するが、境界線３１と直交する方向の輝度勾配は比較的大きい。手前側投影面２００の典型例である手の反射光は、主に拡散反射成分から成り、さらに、表面の法線方向が境界３２付近では光線と直交し反射光がさらに弱くなるため、手前側投影面２００の典型例である手とキャストシャドウ３０との境界３２は、比較的輝度勾配が小さいものとなっている。これらを考慮して、高めの閾値と低めの閾値を用いた２段階の二値化により輪郭を抽出する情報処理を行い、２本の輪郭の上下間隔３３がほぼ同じ部分が画像中の横方向に連続して存在する場所をキャストシャドウ３０であると判定して、キャストシャドウ３０を検出する。

もちろん、手前側投影面２００が手ではない場合、境界３２の画像中での性質は異なってくるため、手前側投影面２００の種類ごとに境界３２を抽出する処理を選ぶようにすることも可能である。さらに、キャストシャドウ３０の形状と手前側投影面２００の形状モデルを対応付ければ、入力画像７０２に映っている手前側投影面２００のスケールがわかるため、手前側投影面２００までの大まかな距離も判明する。また、手前側投影面２００およびキャストシャドウ３０を除いた領域を奥側投影面とみなす。

前述したように、手前側投影面２００を、図２の右側に示したように手前や奥に動かして、ＣＧの映像３０１〜３０３を切り替えて表示させるような場合、必ずしも絶対的な距離は必要ではない。例えば、カメラ１から観測できるキャストシャドウ３０の幅３３の変化だけで奥行き方向の操作をすることもできる。図２において、ＣＧの映像３０２が表示されている状態を基準の状態だとすると、その状態よりキャストシャドウ３０の幅３３が狭くなったときは手前側投影面２００は奥に、広くなったときは近くに移動したと判定して、ＣＧの映像３０１〜３０３を切り替える制御を投影像制御手段６の制御により実施することができる。この場合、手前側投影面２００と奥側投影面２０１の三次元な位置の相対的な関係を求めていることになる。

図５は、本発明による小型携帯端末の利用の一例を説明する図である。図５に示す実験例は、図４と同じ条件で実験を行った例である。ここでは、移動中の利用者が地図アプリで自分と他の作業者の位置を把握しつつ、ある作業者を選択して対話するというシナリオを想定している。図５において、入力画像７０１、入力画像７０２、入力画像７０３はそれぞれある時点での入力画像であり、入力画像７０１、入力画像７０２、入力画像７０３の順で時間が進んでいる。投影ソース画像８０１は、入力画像７０１、入力画像７０２の時点のものであり、投影ソース画像８０２は入力画像７０３の時点のものである。地図上の協調作業者を示すアイコン３０４を手に乗せる操作、例えば、手前投影面の手のひらにアイコン３０４が映るような操作を行うと(入力画像７０１、入力画像７０２)、その協調作業者の顔写真３０５が表示され、しばらくそのままにすると通話のために相手を呼び出すといった操作の流れになっている。

図３では、小型携帯端末１００が利用者６００の胸中央辺りに装着されている例を説明したが、手に持つのではなく装着する場合において、本発明による小型携帯端末の装着位置を客観的に判断するため、ここでの実物体操作を伴う作業の支援のためという観点でのシミュレーションによる評価を実施した。評価項目として、視界の広さ、作業領域の見易さ、動作中における安定性をあげ、それらの加重平均を総合的な評価結果とした。

図６は、小型携帯端末の装着位置を客観的に判断するために実物体操作を伴う作業の支援という観点でのシミュレーション評価の結果を説明する図である。図６には、そのシミュレーションの結果を可視化した評価の一例を示している。５１は視界の広さについて、５２は作業領域の見易さについて、５３は首振り動作中における安定性について、５４は歩行動作中における安定性についてのそれぞれの評価の結果である。５０はそれらの加重平均による総合的な評価結果の可視化図である。これらの図では、暗い方がよい評価であり、明るい方が悪い評価が与えられた部位を示している。この結果に基づき、本発明による小型携帯端末１００は、基本的には、利用者の胸部または肩部でさらに体の前方に位置する部位５５に小型携帯端末を装着して使用する。そのように装着するための装着具を小型携帯端末１００に設けている。

図７は、プロジェクタの変形例の光線間引き手段の動作を説明する図である。光線間引き手段の動作の概略を示している。光線間引き手段１２は、プロジェクタ２から投影される投影像の各画素が投影面上で重なり合って投影像が不鮮明にならないように、プロジェクタから投影される投影像の各画素を投影する光線群に対して、投影距離の近い投影面に投影される光線の本数を間引いて投影するように、プロジェクタ２を制御する制御手段である。４０は１本分の平行光線を表している。また、図７では、説明の簡略化のため、手前側投影面２００、奥側投影面２０１それぞれを平面で表し、プロジェクタ２の１スキャンライン分のみの図示としている。２次元スキャンの場合も同様の考え方で間引くことができる。また、プロジェクタ２から手前側投影面２００までの距離とプロジェクタ２から奥側投影面２０１までの距離は１：２となっている。

例えば、プロジェクタ２の光線群出力（４０）が、プロジェクタ２から奥側投影面２０１までの距離において、奥側投影面２０１上で各光線が重ならず、密に画素を表示できるように設定されているとすると、手前側投影面２００では、２本に１本の割合で光線を間引くことで、各画素が投影面上で重なり合って、投影像が不鮮明にならないようにすることができる。この割合は、投影面検出手段５により各投影面までの距離を求めることにより決定することができる。つまり、光線間引き手段１２を用いることにより、手前側投影面２００においても奥側投影面２０１においても、同時に投影像が鮮明に投影される。

図８は、プロジェクタの別の変形例の隠蔽領域撮影手段の動作を説明する図である。隠蔽領域投影手段による動作の概略を示している。これも、図７と同様、１スキャンライン分のみの図示となっているが、２次元スキャンの場合も同様の考え方を採用することができる。隠蔽領域投影手段１３は、手前側投影面２００で隠蔽されることにより利用者視点６０１からは観測できないが、カメラ１からは観測できる奥側投影面２０１中の部分領域６０に対し、直線や点群、円、三角形、格子模様などの幾何学的なパターン光を投影し、カメラ１で撮影することにより、部分領域６０の３次元形状や、カメラ１と部分領域６０との距離を計測する情報処理を行う。部分領域６０は、利用者視点６０１からは観測することができないため、利用者にとって有用な視覚情報をそこに提示しても無駄になってしまう。隠蔽領域投影手段１３では、部分領域６０の位置を、投影面検出手段５により求めて、幾何学的なパターン光を投影する。これにより、部分領域６０に対しては、カメラ１とプロジェクタ２によるアクティブステレオ法を用いたレンジファインダとして小型携帯端末１００を使用することができる。

図９は、ユーザの手により隠蔽される投影領域にパターン光を提示している様子を説明する図である。図９（ａ）にユーザの視線の画像を示し、図９（ｂ）にカメラにより撮影される画像を示している。前述したように、ユーザ視線（図９（ａ）の画像）からは、手前側投影面２００および奥側投影面２０１が観測されるが、奥側投影面２０１には、ユーザからは観測できないが、カメラからは観測できる領域６０が奥側投影面２０１の中に存在する（図９（ｂ）の画像）。そのような領域６０の一部に、例えば、図９（ｂ）に示されるように、パターン光を投影する。領域６０に投影されたパターン光は、ユーザの手によりユーザ視線が遮られて、ユーザからは観測することはできないため、領域６０に投射する画像を利用して、ユーザが気づかない間にキャリブレーションや３次元形状取得などを実行することができる。また、奥側投影面２０１上に存在する手前側投影面２００のキャストシャドウ２０２についても、両投影面の関係を知る上で重要な情報源として利用できる。

本発明による小型携帯端末１００は、プロジェクタとカメラとを組み合わせたシステムであり、前述したプロカムシステムと呼ばれるシステムである。この小型携帯端末１００によって、頭部を拘束しない新しい装着型インタフェースが提供される。この装着型インタフェースにより、実世界と仮想世界をシームレスに融合させた新しいインタラクション技法が、いつでもどこでもユーザに提供されるようになる。装着型インタフェースのユーザインタフェースの詳細については、本発明者等は、ＢＯＷＬ ＰｒｏＣａｍ（ＢＯｄｙ−Ｗｏｒｎ Ｌａｓｅｒ Ｐｒｏｊｅｃｔｏｒ Ｃａｍｅｒａ）と称してこれまでに継続して、その細部に構成について実証しながら提案しているシステムである。これまでの実験結果について説明する。

ＢＯＷＬ ＰｒｏＣａｍシステムには、特徴的には、焦点深度の深いレーザプロジェクタを用いて様々なコンテンツの投影像を投影し、広範囲な状況把握を可能にする高精細の魚眼カメラによりその投影像を撮像して画像処理を行い、さらには、投影像の安定化のために有効な姿勢角センサを備え、安定して利用者に新しいインタラクションの操作が行えるように構成している。これらの構成についての評価も行っている。

ＰｒｏＣａｍシステムの装着部位評価のために、そのシミュレーション実験とその結果について説明する。実物体操作を伴う作業の支援に適したＰｒｏＣａｍシステムという観点から評価を実施し、その装着部位としては胸部を選んでいる。これは、インタフェースの操作としては、具体的には、机や壁などの投影面に呈示されたコンテンツを、ユーザの手に代表される手前の投影面で遮り、すくい取るように選択する操作を行えやすくするためである。デスクトップ画像とその投影像を撮影した入力画像とを用いたアクティブステレオ法と、ライトバルブ式プロジェクタを用いて開発したシステムによる評価である。

ＷＡＣＬに関するユーザテストの結果に基づいた新しい装着型入出力インタフェースのＢＯＷＬ ＰｒｏＣａｍ（ＢＯｄｙ−Ｗｏｒｎ Ｌａｓｅｒ Ｐｒｏｊｅｃｔｏｒ Ｃａｍｅｒａ）は、レーザプロジェクタ、高精細広角カメラの高精細魚眼カメラ、慣性センサまたは姿勢角センサなどを用いる安定化装置から構成されており、いくつもの優れた特徴を備えている。

具体的には、高精細の広角カメラを用いることにより、作業者の動きに関わらず作業空間を把握しやすいというＷＡＣＬの特徴を維持している。これにより、同一対象を継続的に観測でき、その把握が可能であり、投影像のスタビライズや作業履歴記録なども容易になる。アクティブカメラと比較し、高精細化や広角化に伴うモーションブラーや露光の難しさなどの問題があるが、アクチュエータが不要であるという利点は大きい。

レーザプロジェクタの特徴は、高度な視覚情報を実世界に直接投影可能であるだけでなく、焦点深度が深く、小型化が容易、消費電力が低いなどの特徴があげられる。このレーザプロジェクタでは、ステンレス製のミラー、駆動部、及びその駆動部上にエアロゾルデポジション（ＡＤ）法により形成される圧電素子からなる小型スキャニングミラーを採用しており、一般的なＭＥＭＳスキャナと比較し、高速走査、高画角化、低コスト化の実現が容易である。

さらに、ＰｒｏＣａｍシステムとしては、アクティブステレオ技術やＳｈａｐｅ−ｆｒｏｍ−Ｍｏｔｉｏｎ技術の組み合わせにより実世界の３次元構造獲得も可能となるため、システムがユーザや実環境をより把握した状態での直感的なインタラクション技法を提供できる。

カメラの装着位置を決定する場合は、考慮される点として、装着者視点からの映像を得るため、装着者周囲（前方、後方、全体）の状況を捉えるため、手指の動作や歩行動作を捉えるため、また、日常無理なく装着できるようにするためなど、さまざまな理由を考慮して設定される。これらは経験的、もしくは実験的見地により決められたものが多いが、より客観的にカメラの装着位置を評価するために、Ｍａｙｏｌらは１８００ポリゴンからなる人間の多関節モデルを用いたシミュレータを開発して評価している。

図６を参照して説明したように、実物体操作を伴う作業の支援のためのＰｒｏＣａｍシステムという観点により、Ｍａｙｏｌらのシミュレータを改良して、ＢＯＷＬ ＰｒｏＣａｍの装着位置の評価実験を行った。評価項目としては、視界の広さ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）、作業領域の見易さ（ｈａｎｄｌｉｎｇ ｓｐａｃｅ）、動作中における安定性（ｓｔａｂｉｌｉｔｙ）をあげ、次の式のように、それらの加重平均Ｅを総合的な評価結果とした。

ここで、ｗ_ｆｏｖ、ｗ_ｈｓ、ｗ_ｓｔｂは各評価項目の重みである。ここでは、作業領域の見易さ、安定性を重視し、ｗ_ｆｏｖ＝０．１，ｗ_ｈｓ＝０．５，ｗ_ｓｔｂ＝０．４としている。視界の広さＥｆｏｖは、理想的な全方向カメラを体の各部位に装着した場合の自己隠蔽（ｓｅｌｆ−ｏｃｃｌｕｓｉｏｎ）の割合の小ささにより評価する（図６左上）。作業領域の見易さの評価では、両腕を、図６左下のような状態にして上下させた時に、両手先を結ぶ直線が通る領域を典型的な作業領域として設定する。そして、その領域中の各サンプル点をユーザ視点で見た場合の視線方向を示す単位ベクトルと、体の部位から見た投影した）場合の視線方向（投影方向）を示す単位ベクトルとの内積の大きさを評価値Ｅ_ｈｓとする。動作中の安定性については、歩行動作（図６右下）と首を回転させての見回し動作（図６右上）における各部位の変位量の少なさにより評価した（Ｅ_ｗａｌｋ，Ｅ_ｌｏｏｋ）。

この結果、図６の中央に示すように、このシミュレーションによる評価では、上半身の前側上部がもっともＰｒｏＣａｍシステムの装着位置として適しているという結果が得られた。評価項目やその重みの設定により多少結果が変動する場合もあるが、この評価結果に沿って、「ＢＯＷＬ ＰｒｏＣａｍ」のシステムを設計している。

焦点深度が深く画角が広いというレーザプロジェクタの特徴を活かしたインタラクション技法としては、図２により前述したように、ユーザの手に代表される手前の投影面（手前側投影面２００）、および机や壁などの奥の投影面（奥側投影面２０１）の双方を効果的に利用している。これらの例では、手を上下左右に動かして壁面に表示されている投影像を遮りすくい取るような感覚でコンテンツを選択し、前後に動かすことで、選択部分のさらなる情報を引き出し閲覧する指示を与えている。

一般に、液晶やＤＭＤなどを用いた従来型のライトバルブ式プロジェクタでは、その光学的特性から、手前の投影面（手）と奥の投影面（壁面）のそれぞれに視覚情報を結像させることは困難であったが、平行光線に近い光線により投影像を投影できるレーザプロジェクタを用いることで、その問題は軽減される。このため、このインタラクション技法は「ＢＯＷＬ ＰｒｏＣａｍ」システムに適したものであるといえる。ただし、どのプロジェクタを用いたとしても、どこに手前の投影面があり、さらには、どこに奥の投影面があるかを把握できなければ、コンテンツを選択したり、手の上の視覚情報のみを変化させたりすることはできない。

手前側投影面と奥側投影面とを用いたユーザインタフェースを実現する「ＢＯＷＬ ＰｒｏＣａｍ」システムに特有のインタラクション技法の実施するため、投影されるデスクトップ画像とその投影像を撮影した入力画像とを用いたアクティブステレオ法に基づく手前の面の検出処理を行う。

手前側投影面と奥側投影面とを検出すると共に、その位置関係まで検出する画像処理のデータ処理を行うに際しては、プロジェクタと掌の距離を約３５−５５ｃｍ程度、奥側投影面との距離を約６５ｃｍとし、なるべくどちらの投影像にも焦点が合うようにして投影できるようにする。また、奥側投影面としては平面を仮定している。

ここでの小型携帯端末においては、カメラ１は、広視野角の魚眼カメラを用いることにより、的確に投影像をその周辺部分をも含めて撮影して、撮影した画像に対する画像処理を行う。このため、投影面検出手段５には、図示しないが、魚眼カメラにより撮影された魚眼画像から透視射影画像への画像変換を行う画像変換手段を備える。そして、投影面検出手段５が、画像変換手段により画像変換された透視射影画像に基づいて、手前側投影面と奥側投影面の三次元的な位置関係を検出する。

図１０は、等距離射影（ｅｑｕｉｄｉｓｔａｎｃｅ ｐｒｏｊｅｃｔｉｏｎ）方式の魚眼カメラの撮像系とプロジェクタの投影系との関係を説明する図であり、図１１には、魚眼カメラからの入力画像と透視射影変換した結果の画像を示している。魚眼カメラにより撮影された魚眼画像に対して、図１０に示すような撮像系の関係の演算式を計算するデータ処理を行い、魚眼画像から透視射影画像への変換を行う。ここでの画像中心から画素ｘｃまでの距離ｌは像高と呼ばれ、等距離射影方式では、ｌ＝ｆ_ｗθ、透視射影方式ではｌ＝ｆ_ｗｔａｎ（θ）となる関係を有する。この関係に基づいて、魚眼画像から透視射影画像への変換を行う。変換結果の例を、図１１（ｂ）に示している。図１１（ａ）は魚眼カメラからの入力画像を示している。図１１（ｂ）に示された画像変換された画像では、魚眼画像の外周に対する円フィッティングによる簡易なパラメトリック補正のみを行った結果の例を示している。

図１２〜図１３は、それぞれ投影像撮像部分の平行化の処理と特徴点の対応付けの処理を説明する図である。投影像撮像部分の平行化の処理では、投影像の撮影された領域のみの平行化（ｒｅｃｔｉｆｉｃａｔｉｏｎ）した画像を、アスペクト比、解像度、原点がデスクトップ画像（図１２上）に合うようにして生成する。図１２下の図は、図１１（ｂ）の中央付近に撮像されている投影像を平行化した結果の画像を示している。

ここで、魚眼カメラから入力された入力画像の魚眼画像のデータを用いて、手前側投影面と奥側投影面とを検出するデータ処理について説明する。この処理では、次のようなステップ１〜ステップ５の処理を行い、手前側投影面と奥側投影面とを検出する。
ステップ１：魚眼カメラからの入力画像を透視射影像に変換する（図１１）
ステップ２：投影像の撮影領域のみを平行化する（図１２下）
ステップ３：デスクトップ画像中の特徴点を抽出する（図１３上）
ステップ４：正規化相互相関によるステレオマッチングを行う（図１３下）
ステップ５：手前の面の奥行きを推定する（図１３下）

次に、図１３に示すように、投影画像３００の中からデスクトップ画像中の特徴点２２０を抽出し、正規化相互相関によるステレオマッチングを行い、手前の面の奥行きを推定する処理を行うが、これらの処理について説明する。

ここでのステレオマッチングの処理では、前段で得られた平行化画像とデスクトップ画像を用いてステレオマッチングを行う。平行化画像は、デスクトップ画像と投影面のテクスチャ（手相など）とを合成したような特徴を持ち、さらに投影面の反射特性や法線方向などによる影響も受けている。そこで、ここで処理では、まず、特徴点の抽出処理としては、２次元的に十分な特徴を持つ点のみをデスクトップ画像から抽出する。ここでは公知の「Ｈａｒｒｉｓオペレータ」を用いて特徴点を検出する。図１３（ａ）は、デスクトップ画像（図１２（ａ）の画像）から得られた特徴点を示したものである。

選ばれた特徴点は、正規化相互相関を用いたステレオマッチングによって対応付けを行う。厳密には、特徴点に含まれる輝度勾配と逆位相のテクスチャが投影面上に偶然存在すると、この方法では探索に失敗する場合があるので、ここでは、デスクトップ画像には通常多くの特徴点が含まれていること、また、投影像を打ち消すほどのテクスチャを多く含む投影像はこのインタラクション技法には向かないため使われないことを仮定している。その仮定の範囲内であれば、正常に機能する。

図１３（ｂ）の画像は、ステレオマッチングの結果の一例であり、対応付けにより得られた視差を黒線及び灰色の線で示している。黒色は手の存在する距離に対応する視差を、灰色はそれ以外の視差を表現している。奥側投影面上の特徴点の視差はほぼ０の画素となっていることも、この図からわかる。楕円２２１は手の距離と一致する視差を持つ特徴点の平行化画像中での座標値の分散を示し、中心が平均値、内側の楕円が０．５σ、外側が１σとなっている。このように、手前側投影面と奥側投影面上の特徴点が視差（距離）により分離できるとともに、手前側投影面の存在範囲も得ることができる。

次に、実証実験を行ったシステム全体について概説する。図１４は、「ＢＯＷＬ ＰｒｏＣａｍ」システムとその周辺を含んだシステム構成の図である。このシステムの特徴としては、まず、スクリーンダンプにより得られたデスクトップ画像を、３Ｄグラフィックエンジンの「ＯｐｅｎＧＬ」でテクスチャとしてポリゴンに貼り付けてプロジェクタで投影している。これにより、さまざまな幾何補正をしながら任意のアプリケーションの画像を投影できるという利点を持つ。また、ここでの主な目的が、遠隔協調作業支援であるため、ウェブサービスベースのネットワークシステムと接続したシステム構成としており、コンテンツ共有や作業者同士の通信も想定したものとなっている。

実験では、作業者が主に地図アプリ（Ｇｏｏｇｌｅ Ｅａｒｔｈを使用）上で下記の４通りのシナリオ（Ａ）〜（Ｄ）に沿ったインタラクションを実施した。
シナリオ（Ａ）：共同作業者のうちの一人のアイコンを選び通話をはじめるインタラクションの例である。
シナリオ（Ｂ）：３階フロアを取り除き１階フロアを確認する虫眼鏡メタファを用いたインタラクションの例である。
シナリオ（Ｃ）：ＳＱＬサーバに蓄積された位置情報つき写真を選び、拡大された写真内の文字領域候補をさらに選んでＯＣＲアプリケーションに入力する例である。
シナリオ（Ｄ）：位置情報付きでＳＱＬサーバに蓄積されている他のユーザのウェアラブルシステムにより獲得されたＣＧモデルを選び回転させて閲覧する例である。

図１５〜図１７にシナリオ（Ａ）〜（Ｃ）におけるユーザ視点映像を示している。それぞれにユーザ視点画像として、ユーザがアクションを起こす前の投影画像（ａ）、ユーザが手前が投影面とする手を差し出した画像（ｂ）、さらに、指しだした手を動かして投影画像を変化させた画像（ｃ）を示している。図１５にはシナリオ（Ａ）のユーザ視点映像を示し、図１６にはシナリオ（Ｂ）のユーザ視点映像を示し、図１７にはシナリオ（Ｃ）のユーザ視点映像を示している。デスクトップ画像および平行化画像はともに５１２×３８４画素の解像度とした。「Ｈａｒｒｉｓオペレータ」のブロックサイズは１３×１３画素、正規化相関のブロックサイズは１９×１９画素であった。また、平行化画像も厳密には平行化できていないため、ステレオマッチングの走査線には左右１画素ずつの幅を持たせた。一般的なオフィス環境で実験を行い、天井の蛍光灯及び付近のデスクライトが環境光として存在した。

図１８〜図２０は、図１５〜図１７に対応している３通りのシナリオにおける手前側投影面の検出結果を示す図である。図１８にはシナリオ（Ａ）における手前側投影面の検出結果を示し、図１９にはシナリオ（Ｂ）における手前側投影面の検出結果を示し、図２０にはシナリオ（Ｃ）における手前側投影面の検出結果を示している。それぞれユーザがアクションを起こす前の投影画像（ａ）、ユーザが手前が投影面とする手を差し出した画像（ｂ）、さらに、指しだした手を動かして投影画像を変化させた画像（ｃ）に対して処理を行った結果を示している。

まず、手前側投影面の検出であるが、各シナリオ中において、手を含む１０画像と手を含まない４画像による実験の結果、手（手前側投影面）の誤検出、未検出とも見られなかった。次に、手が検出された１０画像に対して、投影コンテンツの選択についての誤差評価を実施した。ここでは、検出された手の重心の座標とユーザが選択したかったコンテンツの中心座標との距離を画像の対角線の距離で割ったものを誤差とした。その結果、平均６．６％、標準偏差３．７％の誤差であった（図１８〜図２０）。

図２１は、シナリオ（Ｄ）において、奥行きを変化させたときの手前側投影面の検出結果を示す図である。中央部の画像が基準となる奥行きを示し、上部の画像はそれよりも前に手を動かしたときの様子を示し、下部の画像はより奥に手を動かしたときの様子を示す図である。図２１に示すように、手前側投影面の奥行きが異なる場合についても、正しく投影面を検出できることが確認できる。

このように、本発明による小型携帯端末を用いることにより、作業空間を動き回りつつ作業をする利用者が携帯または装着でき、作業空間中の作業対象や設置物、利用者の持つ物体や体の一部などに、複雑な視覚情報を直接投影しながら作業手順や指示を与え、さらに、利用者の持つ物体や利用者の体の一部の形状、さらにはその奥の作業対象や設置物との位置関係を変化させることにより、投影像の一部を選択したり投影像の内容を変更したりすることができる小型携帯端末を提供することが可能となり、熟練労働者不足や安全管理問題の軽減のために非常に有益である。

本発明による小型携帯端末のシステム構成を説明する図である。 本発明の小型携帯端末において手前側投影面および奥側投影面の投影面に投影する投影像を変化させる制御を説明する図である。 本発明の小型携帯端末により投影する投影面が凹凸である場合の実施例を説明する図である。 キャストシャドウ検出法により手前側投影面または奥側投影面を検出する方法の一例を説明する図である。 本発明による小型携帯端末の利用の一例を説明する図である。 小型携帯端末の装着位置を客観的に判断するために実物体操作を伴う作業の支援という観点でのシミュレーション評価の結果を説明する図である。 プロジェクタの変形例の光線間引き手段の動作を説明する図である。 プロジェクタの別の変形例の隠蔽領域撮影手段の動作を説明する図である。 ユーザの手により隠蔽される投影領域にパターン光を提示している様子を説明する図である。 等距離射影方式の魚眼カメラの撮像系とプロジェクタの投影系との関係を示す図である。 魚眼カメラからの入力画像と透視射影変換した結果の画像を示す図である。 投影像撮像部分の平行化の処理を説明する図である。 投影像撮像部分の特徴点の対応付けの処理を説明する図である。 ＢＯＷＬ ＰｒｏＣａｍシステムとその周辺を含んだシステム構成の図である。 シナリオ（Ａ）におけるユーザ視点映像を示す図である。 シナリオ（Ｂ）におけるユーザ視点映像を示す図である。 シナリオ（Ｃ）におけるユーザ視点映像を示す図である。 シナリオ（Ａ）における手前側投影面の検出結果を示す図である。 シナリオ（Ｂ）における手前側投影面の検出結果を示す図である。 シナリオ（Ｃ）における手前側投影面の検出結果を示す図である。 シナリオ（Ｄ）において奥行きを変化させたときの手前側投影面の検出結果を示す図である。

符号の説明

１ カメラ
２ プロジェクタ
３ 自蔵式センサ
４ 情報処理システム
５ 投影面検出手段
６ 投影像制御手段
８ 無線通信手段
１２ 光線間引き手段
１３ 隠蔽領域投影手段
３０ キャストシャドウ
３１ 境界線
３２ 境界
３３ キャストシャドウの幅
４０ 平行光線
５０ 総合評価の可視化図
５１ 視野の広さの評価の可視化図
５２ 作業領域の見やすさの評価の可視化図
５３ 首振り動作中の安定性評価の可視化図
５４ 歩行動作中の安定性評価の可視化図
５５ 小型携帯端末の装着部位
６０ 部分領域
１００ 小型携帯端末
２００ 手前側投影面
２０１ 奥側投影面
２０２ キャストシャドウ
２０３ 投影光到達空間
３００ 投影像
３０１ ＣＧの映像
３０２ ＣＧの映像
３０３ ＣＧの映像
３０４ アイコン
３０５ 顔写真
４００ 投影像
４５０ 地図情報
４５１ 左の箱
４５２ 真ん中の箱
４５３ 右の箱
４５４ 線
５００ 机
６００ 利用者
６０１ 利用者視点
７００ 入力画像
７０１ 入力画像
７０２ 入力画像
７０３ 入力画像
８００ 投影ソース画像
８０１ 投影ソース画像
８０２ 投影ソース画像

Claims (6)

1. 平行光線または焦点深度の深い光線を１画素とした光線群により投影像を投影するプロジェクタと、
   前記投影像を含む実空間を撮影するカメラと、
   前記カメラにより撮影された画像から投影像を含む実空間の画像を解析し、その解析結果および前記カメラと前記プロジェクタとの位置関係に基づいて、前記プロジェクタに最も近い投影面である手前側投影面とその手前側投影面よりも遠い投影面である奥側投影面との前記画像中での位置および前記手前側投影面と奥側投影面の三次元的な位置関係を検出する投影面検出手段と、
   前記プロジェクタを制御して当該プロジェクタにより前記手前側投影面と奥側投影面の双方に焦点の合った投影像を投影しながら、前記手前側投影面と奥側投影面との位置関係およびその変化状況に応じて前記投影像の内容の制御を行う投影像制御手段と、
   前記プロジェクタに投影像を供給するデータ処理手段と
   を備えることを特徴とする小型携帯端末。
2. 請求項１に記載の小型携帯端末において、
   前記プロジェクタは、高周波の１次元スキャンミラーと低周波の１次元スキャンミラーを組み合わせた２次元スキャンミラーを用いたレーザプロジェクタであり、
   前記高周波のスキャンミラーのスキャン方向は、前記カメラの光学中心と前記プロジェクタの光学中心とを結ぶ直線にほぼ平行である
   ことを特徴とする小型携帯端末。
3. 請求項１または請求項２に記載の小型携帯端末において、さらに、
   当該小型携帯端末を利用者の胸部または肩部に装着するための装着具
   を備えることを特徴とする小型携帯端末。
4. 請求項１ないし請求項３のいずれかに記載の小型携帯端末において、さらに、
   前記プロジェクタから投影される投影像の各画素を投影する光線群に対して、投影距離の近い投影面に投影される光線の本数を間引いて投影する光線間引き手段を有し、
   前記プロジェクタは前記光線間引き手段の制御により投影像を投影し、
   前記手前側投影面においても奥側投影面においても、投影像が鮮明に投影される
   ことを特徴とする小型携帯端末。
5. 請求項１ないし請求項４のいずれかに記載の小型携帯端末において、さらに、
   手前側投影面で隠蔽されることにより利用者からは観測できないが、前記カメラからは観測できる奥側投影面の中の部分領域に対し、直線、点群、円、三角形、格子模様のいずれかの幾何学的なパターン光を前記プロジェクタを制御して投影し、前記カメラにより前記パターン光を撮影することにより、前記部分領域の形状または前記カメラと前記部分領域との距離を計測する隠蔽領域投影手段
   を有することを特徴とする小型携帯端末。
6. 請求項１ないし請求項５のいずれかに記載の小型携帯端末において、
   前記カメラは、魚眼カメラであり、さらに、
   投影面検出手段には、前記魚眼カメラにより撮影された魚眼画像から透視射影画像への画像変換を行う画像変換手段を備え、
   投影面検出手段が、前記画像変換手段により画像変換された透視射影画像に基づいて、手前側投影面と奥側投影面の三次元的な位置関係を検出する
   ことを特徴とする小型携帯端末。