JP6086474B2

JP6086474B2 - 情報端末装置

Info

Publication number: JP6086474B2
Application number: JP2012257421A
Authority: JP
Inventors: 加藤　晴久; 晴久加藤; 米山　暁夫; 暁夫米山
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2012-11-26
Filing date: 2012-11-26
Publication date: 2017-03-01
Anticipated expiration: 2032-11-26
Also published as: JP2014106603A

Description

本発明は、表示部により情報を提示する情報端末装置に関し、特に、撮像部と撮像対象との相対的位置関係の変化及び撮像対象の変形によって表示部での表示情報を制御できる情報装置端末に関する。

撮像対象との相対的な位置関係に応じて情報を提示する装置は、提示する情報を直感的に変化させることが可能であり、利用者の利便性を向上させることができる。このような装置を実現する技術として、以下のようなものが公開されている。

特許文献１では、物体の色に近似した色が付され、かつその外形及び配置の組み合わせにより識別情報を構成する複数のマーカエレメントで構成されるマーカユニットを物体に配置し、該物体のカメラ映像を解析することによって、現実環境における物体に仮想情報を重畳表示する際の位置合わせを行う複合現実感システムが開示されている。

特許文献２では、位置姿勢センサが配置された現実空間の実写画像に、位置姿勢センサとカメラの計測範囲を重ね合わせた合成画像を生成する画像合成装置が開示されている。

特許文献３では、モーションセンサが検出した移動、傾動の方向及び量に応じて、表示する情報をスクロールまたはズームするとともに、キー入力の所定キーを操作することによりスクロールまたはズームを停止する機能を有するポータブル機器が開示されている。

非特許文献１では、カメラで撮像した手の画像から曲率が大きな箇所を指先として検出し、楕円フィッティングの技術を利用して、検出された手の場所に位置合わせして情報を表示する手法が開示されている。

特開2009-020614号公報特開2007-233971号公報特開2009-003799号公報

非特許文献１： T.Lee, et al., "Handy AR: Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking," In Proc. IEEE International Symposium on Wearable Computers, pp.83-90, Oct. 2007. 2

特許文献１の複合現実感システムでは、カメラ画像におけるマーカユニットの位置により現実環境に重畳表示する仮想情報の位置が制御されるが、物体に予め人工的なマーカエレメントを配置しておく必要がある。このため、この複合現実感システムでの手法を利用できる場所が限定されるという課題がある。

特許文献２の画像合成装置では、位置姿勢センサを必要としている。また、特許文献３のポータブル機器では、モーションセンサを必要としている。このため、これらにおける手法を利用できる装置が限定されるという課題がある。また、センサ類の搭載は、端末のコスト上昇を招くだけでなく、装置の小型化や省電力化が困難になるという課題もある。

非特許文献１の手法では、特に曲率が大きな箇所を指先として検出するので、情報を正しく位置合わせして表示するには、指が丸く見えるくらいの近距離かつ高解像度画像を必要とする。また、処理負荷が大きい楕円フィッティングを用いて指先を検出するので、全ての指の指先を検出するとなると、処理時間がかかりすぎるという課題もある。

本発明の目的は、上記従来技術の課題を解決し、特別なマーカやセンサ等を用いることなく、表示部で表示する情報を確実かつ高精度に制御できる情報端末装置を提供することにある。

上記目的を達成するため、本発明は、撮像部を有する情報端末装置であって、該撮像部は所定の撮像対象を撮像してその画像を得ており、前記画像より前記撮像対象の所定の第1特徴量及び第2特徴量を抽出し、前記第1特徴量に基づいて前記撮像対象の前記撮像部に対する相対的な位置関係を推定すると共に、当該位置関係及び前記第2特徴量に基づいて前記撮像対象の形状を推定する推定部と、情報を表示する表示部と、該表示部で表示する情報を記憶する記憶部と、該記憶部から読み出して前記表示部で表示する情報を、前記推定された位置関係及び形状に基づいて制御する制御部と、を備えることを特徴とする。

本発明によれば、撮像部に対して撮像対象の位置及び姿勢を変化させる又は撮像対象の形状を変化させるだけで表示部での表示情報を制御することができるので、情報端末装置を利用するユーザに直感的な操作環境を提供することができる。また、当該制御は画像解析に基づくので、特殊なセンサ等を必要としない。さらに、位置及び姿勢と、形状と、の変化で制御を行うので、多様な制御が可能となる。

一実施形態に係る情報端末装置の機能ブロック図である。撮像対象の例としての手形状、当該手形状の特徴量及び当該特徴量の抽出手法の一例を説明するための図である。撮像対象の例としての手形状、当該手形状の特徴量及び当該特徴量の抽出手法の一例を説明するための図である。本発明による制御の一例を示す図である。

以下、図面を参照して本発明を説明する。以下では、情報端末装置として携帯端末を利用し、撮像対象を手とした場合について説明する。しかし、本発明の情報端末装置は、携帯端末に限られるものではなく、撮像部を備えたものであればどのような情報端末装置でもよく、例えば、デスクトップ型、ラップトップ型又はその他のコンピュータなどでもよい。また、画像処理上の同様の特徴を有していれば、利用する色情報などを適宜置き換えることで、手以外の撮像対象にも本発明を適用可能である。

図１は本発明の一実施形態に係る情報端末装置の機能ブロック図である。情報端末装置10は、撮像部1、推定部2、制御部3、記憶部4及び表示部5を備える。また、併記するように、推定部2は特徴抽出部21、特徴対応部22、姿勢推定部23及び形状推定部24を含む。

撮像部1は、所定のサンプリング周期で撮像対象を連続的に撮像して、その画像を推定部2へ出力する。撮像部1としては携帯端末に標準装備されるデジタルカメラを用いることができる。

推定部2には、撮像対象の位置及び姿勢の判断基準として既知の位置及び姿勢での撮像対象に対して基準特徴量が予め登録されている。推定部2は、特徴抽出部21にて撮像部1から入力される画像から基準特徴量に対応する特徴量を検出し、特徴対応部22にて両者の対応関係を推定する。次に、推定部2は、姿勢推定部23にて対応する特徴量と基準特徴量の座標位置から、予め設定された変換式に基づいて撮像部に対する撮像対象の相対的位置及び姿勢を表す係数を推定する。

さらに、推定部2は、形状推定部24にて前記姿勢推定処理に用いなかった基準特徴量に対して、該姿勢推定結果を適用し対応する特徴量との比較から撮像対象の形状の変化量を形状情報として推定する。推定部2において係数の推定に用いられた変換式、推定された係数及び形状情報は、制御部3へ出力される。

以上のような基準特徴量のうち、位置及び姿勢の推定に用いるものを第1特徴量、形状の推定に用いるものを第2特徴量と呼ぶこととする。推定部2での処理の詳細は後述する。

記憶部4は、表示部5に表示する表示情報を予め複数蓄積している。情報端末装置10を利用するユーザは、制御部3に対する入力操作で、記憶部4に蓄積されている表示情報の中から任意の表示情報を選択して表示部5に表示させることができる。

表示部5での情報表示の際、制御部3は、推定部2から入力された変換式及び変換係数を表示情報に適用して表示情報を加工するように表示情報を制御する。また、制御部3は推定部2から入力された形状情報に応じて表示情報を制御する。

以下、推定部2の詳細を説明する。推定部2では、特徴抽出部21の処理、特徴対応部22の処理、姿勢推定部23の処理、形状推定部24の処理を所定のタイミング間隔で入力される各画像を対象として順次繰り返し実行する。図2及び図3は共に、撮像対象の一例としての手形状と、その特徴量と、その抽出手法とを説明するための図であり、当該例を各処理の説明において適宜参照する。

図2では(1)に示すように、当該手形状は掌側を撮像用に利用して第3指乃至第5指を握り込むと共に、第1指及び第2指を開いて構成されている。当該形状例であれば、基準特徴量を以下のように設定することが望ましい。この場合、握り込んだ部分はそのままの状態を保って動かさないようにしたうえで、手の平自体の位置及び姿勢を変化させ、また、第1 指及び／又は第2 指を概ね開いた状態において変化させることで、制御がなされる。
第1特徴量…第3指乃至第5指の境界線((3)の各線分群L23,L34,L45及びL50)の端点、または、当該各指の第1関節及び第2関節の座標((3)の点P31,P32,P41,P42,P51及びP52)
第2特徴量…第1 指及び／又は第2 指の指先座標((3)の点P10及びP20)

図3では(1)に示すように、当該手形状は手を握り込んだうえで、手の甲の一つの側面である第1指及び第2指の見える側を撮像用に利用するものである。当該形状例であれば、基準特徴量を以下のように設定することが望ましい。
第1特徴量…握り込んだ第2指の側面に形成される線分群((3)の線分群L200)の端点((4)の点P201,P202,P203,P211,P212及びP221)
第2特徴量…第1指の先端座標((3)の点P30)

なお、図3の例における第1特徴量を定義する線分群L200の各々は具体的には(4)に示すように、握り込んで関節が折り畳まれた第2指の側面において、以下のようにして形成される各線分L201〜L220である。
線分L201…折り畳まれた第1関節により第2指の側面に形成される「しわ」(あるいは、第1関節を挟んだ指の腹同士が接して形成される境界線)
線分L202…折り畳まれた第2関節により第2指の側面に形成される「しわ」(あるいは、第2関節を挟んだ指の腹同士が接して形成される境界線)
線分L203…折り畳まれた第3関節により第2指の側面に形成される「しわ」(あるいは、第3関節を挟んだ指の腹及び付け根部分が接して形成される境界線)
線分L210…第1関節より先端側の指の腹と、第2関節及び第3関節の間の指の腹と、が接して形成される境界線
線分L220…第1関節より先端側の指の腹と第3関節つけ根の指の腹とが接して形成される境界線

(特徴抽出部21の処理)
まず、特徴抽出部21は、基準特徴量に該当する撮像対象の特徴量を、撮像部から入力される画像から抽出する。境界線抽出例としては、まずCanny 等のエッジ検出を行い、ノイズ除去及びエッジの拡幅等の整形をする。次に、Hough 変換によってエッジ成分の座標を極座標系に変換する。続いて、同じ座標になった個数が多い極座標上の点を直交座標系の直線として検出し、両端を境界線の端点座標として抽出する。当該抽出された例が図2及び3において共に、(1)の画像から抽出された線分として(2)に示されている。

最後に、後段の特徴対応処理で安定的に判定できるようにするため、当該抽出線分の中から境界線として正しい特徴量を選別する。選別には、図2の手形状を対象とする場合であれば、下記[1]〜[5]の全てまたは一部を満たすことを条件として課すことができる。また、図3の場合であれば[3]を除外して、[1],[2],[4],[5]の全てまたは一部を満たすことを条件として課すことができる。
[1] 線分の色が予め定めた閾値より小さいこと
[2] 線分の長さが予め定めた閾値より長いこと
[3] 近傍に平行な線分が存在すること(平行に関しては線分間の角にて閾値判定)
[4] 線分の近傍領域の色変化が予め設定された閾値より小さいこと
[5] 複数の線分の密度が予め定めた閾値より少ないこと

なお、上記[4]は境界線が手の平において形成されることから、手の平が概ね肌色をなすことに基づくものである。当該[4]を課す場合には、所定の色特徴に基づいて手の平の領域を検出したのち、当該手の平領域内及び領域境界を対象として線分を選出するようにしてもよい。また、当該[4]に該当する線分の選出に際して、線分が手の平領域の内部に形成されているのか、あるいは手の平領域とその他の領域との境界に形成されているか、についての情報を取得しておいてもよい。[4]の「近傍領域」は手の平内部に限定することが、特に境界に形成される線分を選出する場合において好ましい。

当該条件により、図2の(3)に概念的に示すような、第1指の境界線としての線分群L10及びL11と、第2指の境界線としての線分群L20及びL21と、前記第1特徴量において説明した第3指乃至第5指の境界線としての線分群L23乃至L50が得られる。特に上記[3]において線分群内の各線分のなす角が所定範囲に収まるようにすることで、各境界線に対応する線分群が得られる。

また、前記第1,第2特徴量における関節、指先等の座標の抽出例としては、前記境界線を抽出した後、予め設定された閾値より境界線同士の中心線が他のエッジ成分と近接した座標を関節座標若しくは指先座標として抽出する。あるいは、関節部位では他の部位と血流が異なるため、前記中心線に沿って輝度若しくは色差の変化を見たとき、極値を取る座標を関節座標として抽出する。

図2の(3)では例えば、境界線L23及びL34の中心線M30においてエッジ成分との近接箇所あるいは極値を取る箇所として点P31及びP32が関節座標として抽出される。同様に境界線L34及びL45の中心線M40から点P41及びP42が、境界線L45及びL50の中心線M50から点P51及びP52が、関節座標として抽出される。また同様に、境界線L10及びL11の中心線(不図示)から点P10が、境界線L20及びL21の中心線(不図示)から点P20が、指先座標として抽出される。

一方、当該条件により、図３の（３）に概念的に示すような、第2指が構成する前述の線分群L200と、第1指の先端座標P30に連なる線分L300とが、手の内部領域から得られる。これら線分群L200及びL300を「内部線」と呼ぶこととする。なお、線分L300は、握り込んだ状態における第1指と第2指との境界線として形成されている。

(特徴対応部22の処理)
次に、特徴対応部22は、前記特徴抽出部21で抽出された特徴量と、予め設定された基準特徴量(第1特徴量及び第2特徴量のそれぞれに対する基準値)との対応関係を決定する。

撮像対象が図2のような手形状の場合、当該対応関係は、特徴量として抽出された境界線がいずれの指の境界線であるかを決定することで定まる。当該手形状には配置及び長さに関して偏りがあるので、特徴量が含まれる領域(手の平の領域)における特徴量同士の配置又は特徴量の長さを利用できる。

配置によって対応関係を決定する一例として、該領域の重心を求め、重心との距離が短い順の上位2つの境界線を第3指が構成する特徴量として判断する。図2の(3)であれば、手の平の重心G1に最も近い境界線の上位2つはL23及びL34であるので、当該境界線L23及びL34は第3指によって生じた境界線であると判断できる。

あるいは、近接して対向する3つの境界線ペアとして、ペアL23及びL34と、ペアL34及びL45と、ペアL45及びL50と、の囲む領域(境界線の端点同士を直線でつないで囲んで得られる領域)の各重心を求め、手の平の重心と最も近い重心を有するペアL23及びL34として、第3指を構成する境界線を決定してもよい。

さらに、当該境界線L23及びL34と垂直な線分が交差する順に、第4 指が構成する特徴量、第5 指が構成する特徴量のように割り当てる。当該順は各境界線の中心線が当該境界線L23及びL34の中心線に近い順としてもよい。こうして、境界線L34及びL45が第4指によって生じた境界線であり、境界線L45及びL50が第5指によって生じた境界線であると判断できる。

あるいは、長さが最小となる境界線、すなわち境界線L50を第5 指によって生じる境界線として判断し、該特徴量と垂直な線分が交差する順に、上記と同様の割り当てを逆方向に行ってもよい。すなわち、第5指によって生じるもう１つの境界線がL45であり、第4 指によって生じる境界線がL45及びL34であり、第3 指によって生じる境界線がL34及びL23であると割り当てる。

なお、上記第3指乃至第5指の割り当てを実行する際には、予め境界線のうち第1指及び第2指によって生じたものを特定して探索対象から除外しておく必要がある。この際、前記手の平の重心を利用して、重心との距離が大きい側の４本の境界線を除外するようにしてもよい。また、前述のように近接して対向する境界線ペアの囲む領域の重心をペアL10及びL11とペアL20及びL21についても求め、5つのペアの重心のうち手の平の重心との距離が下位となる2つとして除外してもよい。

あるいは、概ね平行をなして近傍で対向している2本の境界線であって、当該2本の境界線が共に手の平の領域の境界線上にも存在しているものを除外するようにしてもよい。なおまた、上記重心等を求める際の手の平の領域は、前述のように肌色に関する所定の色特徴に基づいて画像より抽出しておけばよい。

あるいは、本発明者らによる特開2012-8936号公報に開示の技術により、手の平領域の外接多角形を求め、非肌色領域に形成される角度のうち最小の角度を形成する2辺の頂点を第1指及び第2指の先端であると判断してもよい。

また、当該対応関係の決定に従い、特徴抽出部21で求めた第2特徴量も対応が定まることとなる。図2の例であればすなわち、点P10が第1指の先端であり、点P20が第2指の先端であることが決定される。

一方、撮像対象が図3のような手形状の場合、当該対応関係における第1特徴量の特定に際してまず前記内部線のうち、線分群L200を線分L300から区別して抽出する必要がある。L200の抽出例としては、まず前記内部線を抽出した後、線分群の端点(境界に存在する点P30を除いた、手の平領域内部に存在する端点)の重心を求める。当該条件により、端点としては、第1指の先端座標P30に連なる線分L300のP30ではない端点（図3の(3)に示す、点P30の逆側の端点としての点P99）と、L200の3つの端点(図3の(4)に示す点P201,P202及びP203)との4つの端点が得られていることから、当該4端点の重心に最も近い端点を図３の（４）のL203の端点P203として抽出する。

さらに、L203の端点P203から他の3端点と結ぶ3線分を求め、傾きが最も異なる端点をL201の端点P201とし、L201から近い端点をL202の端点P202として抽出する。それぞれの端点に連なる線分がそれぞれL203,L201,L202として得られるので、残りの線分をL210,L220に割り当てる。

なお、上記抽出するための「端点」は内部線(L200及びL300)の全体を一体として見た場合に形成される端点である。第1特徴量として用いる端点は、線分群L200を構成する各線分L201,L202,L203,L210及びL220のそれぞれの端点であり、前述の点P201,P202及びP203にさらに線分L210の両端の2点(図3(4)にて白丸で示す点P211及びP212)と、線分L220のうち線分L210の端点ではない側の端点(点P221)とを加えた6点となる。

また、第2特徴量である点P30については、本発明者らによる特開2012-8936号広報に開示の技術により、手領域の外接多角形を求め、肌色領域に形成される角度のうち最小の角度を形成する2辺の頂点を選び、前記重心から遠い頂点を第1指の先端としてP30であると判断する。あるいは、線分L300の端点であって且つ手の平領域の境界部に存在する点としてP30を判断してもよい。

(姿勢推定部23の処理)
姿勢推定部23は、予め同一平面上に登録されている基準特徴量のうち第1特徴量と前記検出された第1特徴量とを比較することで、撮像部1と撮像対象の相対的な位置及び姿勢を変換係数として推定する。姿勢推定部23で推定された変換係数は形状推定部24及び制御部3へ送られる。

図2の例であれば、撮像部1に対して所定位置及び姿勢にある際の当該形状の手の平の画像から得られる第1特徴量を所定の基準値として予め登録しておき、姿勢推定対象の画像より検出された第1特徴量と比較して、当該基準値を与える所定位置及び姿勢からの変化として、画像中の手の平の位置及び姿勢の変化を推定する。図3の例の場合も同様である。

画像より検出され対応付けされた第1特徴量、すなわち、図2の例では第3指乃至第5指の境界線端点座標又は関節座標の座標を、また、図3の例では境界線分の各端点の座標を(x'_j, y'_j) (1≦j≦n)[図2及び図3の例では共にn=6だが、別種類の特徴量を用いる一般の場合も含めてnとする]とし、その基準特徴量としての座標を(x_j, y_j) (1≦j≦n)とし、予め設定した変換式において両者が一致するような変換係数a_k (1 ≦ k ≦ m , m ≦2n)を求める。変換式が次式(式1)及び(式2)の射影変換を利用するとき、m = 2n では2n 元連立方程式として解くことができる。m < 2n では最小二乗法で解くこともできる。

(形状推定部24の処理)
形状推定部24は、姿勢推定に用いなかった別の特徴量、すなわち第2特徴量に対して前記姿勢推定処理で推定された結果から所定位置及び姿勢の際の値を予測し、当該予測された値を基準特徴量の値とを比較することで、撮像対象の形状を推定する。形状推定部24で推定された形状情報は制御部3へ送られる。

図2の例であれば、画像より検出され対応付けされた第1指及び第2指の先端座標を、姿勢推定結果の射影変換を適用することで、第1特徴量が前記所定の基準値を取る際の手の平の位置及び姿勢で見た際の値として求める。すなわち、姿勢推定処理で推定された射影行列を第1 指及び第2 指の先端座標に適用し、それぞれ適用された基準特徴点座標を原点として前記特徴対応処理で対応付けされた第1 指及び第2 指の特徴点座標との距離を算出し形状情報とする。図3の例でも同様に、画像より求まった第1指の先端座標に、第1特徴量から求まった射影変換を適用して、第1特徴量が基準値を取る際の手の平の位置及び姿勢で見た際の値を求める。

当該基準座標系の原点を例えば手の平の領域の重心又は図2の例であれば第3指乃至第5指の重心(第1特徴量を構成する点の重心)として定めておき、基準値と比較することで、第1指及び第2指の先端がそれぞれ、当該重心に近いか遠いかを知ることができる。特に、図2の手形状であれば第1指及び第2指が外側へ向けて伸びているか、内側へ向けて曲がっているか、を所定精度で検知することができる。図3の手形状であれば、同様に手領域の重心又は第1特徴量の構成点の重心を原点として定め、第1指の第1関節より先の部分が外側へ向かって伸びているか、内側に向かって折り畳まれているか、を検知できる。

あるいは、図2の例であれば当該基準特徴点座標での値より、図2の(3)に示すような第1指及び第2指の先端点間の距離D12を形状情報としてもよい。この場合、第1指と第2指との距離が大きいか小さいか、すなわち第1指と第2指とが互いに離れているか、何かをつまみ込むように向かい合っているか、を所定精度で検知することができる。

ここで、第2特徴量の基準値も、第1特徴量の場合と同様に、手の平の所定形状において予め基準値として登録しておく。図2の例であれば、当該所定形状として、第1指と第2指とをそれぞれ手の平に対して所定の位置関係を持った状態における値を基準値として登録しておく。第1指と第2指とを当該位置から動かすことで、それぞれ当該所定形状から変化した形状となる。

図3の例であれば、第1指の第1関節から先を、握り込まれた第2〜第5指に対して所定の開き具合となした状態を当該所定形状として、その際の値を基準値として登録しておく。

なお、手の平自体の位置及び姿勢が変化すると、画像上から第2特徴量を特定しただけでは当該形状変化を推定することができないが、本発明では第2特徴量の値を画像上から特定してさらに手の平の位置及び姿勢が所定の基準配置にある際の値として求めるので、当該形状変化を推定することが可能となる。

図4は、本発明による表示情報の制御例であり、ここでは画面G10においてマウスカーソルを制御している。第1特徴量によって位置及び姿勢を推定し、このうち位置を所定xy平面に投影した2次元座標の値のみを利用して、動きA1として示すようにマウスカーソルの移動制御が行われ、位置M10から位置M11へ移動されている。推定された位置及び姿勢を全て用いた制御を行ってもよい。

一方、第2特徴量を用いて、例えばその原点との距離に閾値判定を加えることによってマウスカーソルの状態制御A2を行うこともでき、ここでは閾値より小さくなった場合にプレス状態M12へ遷移している。また、当該距離の時間変化に基づいて、指先端の動きに対応した各種の制御を行ってもよい。

ここで特に、第1特徴量による制御と第2特徴量による制御とが独立して実行可能である点により、本発明ではユーザにとって利便性の高い制御が可能となる。例えば図2の手形状を利用するものとして、手の平自体を移動させ、マウスカーソルの移動制御A1を実行している際には、第1指と第2指とを固定してさえおけば、画像上の見え方が変化しても、A2のプレス状態への移行が誤って生じることはない。

次に、本発明における補足事項を述べる。本発明は、図2及び図3で説明したような手形状に限らず、所定の取り決めによって手の平においてその一部分を固定して動かさないようにし、別の一部分を可動とし、固定部分に第1特徴量を設定し、可動部分に第2特徴量を設定することで、その他の手形状の場合でも適用可能である。手の平全体の位置及び姿勢が第1特徴量によって求まり、可動部分に起因する手の平の形状変化が第2特徴量によって求まり、これらを互いに独立に用いて表示情報の制御が可能となる。

また、その他の手形状の場合に第1特徴量及び第2特徴量を特定する際も、図2及び図3の例と同様に、手の平の領域内における相対的な位置関係等(例えば、重心などの所定点を基準とした際の配置の偏りや、長さの関係など)に基づいて特定する所定方式を予め定めておけばよい。図2及び図3の例の場合も、当該位置関係などの特徴に基づいて、説明した方式以外の方式で特定がなされてもよい。手の平以外を撮像対象として、以上と同様にしてもよい。

10…情報端末装置、1…撮像部、2…推定部、3…制御部、4…記憶部、5…表示部、21…特徴抽出部、22…特徴対応部、23…姿勢推定部、24…形状推定部

Claims

撮像部を有する情報端末装置であって、該撮像部は所定の撮像対象を撮像してその画像を得ており、
前記画像より前記撮像対象の所定の第1特徴量及び第2特徴量を抽出し、前記第1特徴量に基づいて前記撮像対象の前記撮像部に対する相対的な位置関係を推定すると共に、当該位置関係及び前記第2特徴量に基づいて前記撮像対象の形状を推定する推定部と、
情報を表示する表示部と、
該表示部で表示する情報を記憶する記憶部と、
該記憶部から読み出して前記表示部で表示する情報を、前記推定された位置関係及び形状に基づいて制御する制御部と、を備え、
前記撮像対象は、第1指及び第2指を開き、第3乃至第5指を握り込んだ手の平であり、
前記所定の第1特徴量は、第3指乃至第5指の境界線の端点又は当該各指の第1関節及び第2関節の座標であり、
前記所定の第2特徴量は、第1指及び／又は第2指の指先座標であり、
前記推定部が、
前記画像より指の境界線を抽出する特徴抽出部と、
当該抽出された境界線がいずれの指に起因するかの対応付けを特定して、前記第1特徴量及び前記第2特徴量の前記画像内での値を特定する特徴対応部と、
前記特定された第1特徴量と、前記手の平が前記撮像部に対して所定位置及び姿勢にある際の第1特徴量と、に基づいて前記手の平の前記撮像部に対する位置及び姿勢を推定する姿勢推定部と、
前記推定された位置及び姿勢により前記手の平の所定位置及び姿勢における前記第2特徴量を求め、当該求められた第2特徴量と、前記手の平の所定形状における第2特徴量と、に基づいて前記手の平の形状を推定する形状推定部と、を含むことを特徴とする情報端末装置。
前記撮像対象は手の平であって、前記所定の第1特徴量は当該手の平において固定することで設けられた第1部分において設定され、前記所定の第2特徴量は当該手の平において可動なように設けられた第2部分において設定されることを特徴とする請求項1に記載の情報端末装置。
前記特徴抽出部は、前記画像より線分を検出し、当該検出された線分の中から、線分の色、線分の長さ、線分近傍に概ね平行な線分が存在すること、線分近傍の色分布の単色性及び線分の密度のうちの少なくとも1つに基づいて前記境界線を抽出することを特徴とする請求項１または２に記載の情報端末装置。
前記特徴対応部は、前記抽出された境界線同士の配置関係と、前記抽出された境界線の長さと、所定の色特徴に基づいて前記画像より抽出した前記手の平の領域の重心の位置と前記抽出された境界線との配置関係と、のいずれかに基づいて前記対応付けを特定することを特徴とする請求項１ないし３のいずれかに記載の情報端末装置。
前記所定の第1特徴量は、第3指乃至第5指の第1関節及び第2関節の座標であり、
前記特徴対応部は、当該各指に起因する境界線同士の中心線が前記画像のエッジ成分に近接する座標として、または、当該各指に起因する境界線同士の中心線上において前記画像の輝度もしくは色差の変動が極値を取る箇所の座標として、前記第1特徴量の前記画像内での値を特定することを特徴とする請求項１ないし４のいずれかに記載の情報端末装置。
撮像部を有する情報端末装置であって、該撮像部は所定の撮像対象を撮像してその画像を得ており、
前記画像より前記撮像対象の所定の第1特徴量及び第2特徴量を抽出し、前記第1特徴量に基づいて前記撮像対象の前記撮像部に対する相対的な位置関係を推定すると共に、当該位置関係及び前記第2特徴量に基づいて前記撮像対象の形状を推定する推定部と、
情報を表示する表示部と、
該表示部で表示する情報を記憶する記憶部と、
該記憶部から読み出して前記表示部で表示する情報を、前記推定された位置関係及び形状に基づいて制御する制御部と、を備え、
前記撮像対象は各指を握り込んだ手の平を第1指及び第2指の側面から撮像するものであって、
前記所定の第1特徴量は、握り込んだ第2指の側面において第2指の腹側の部分が形成する境界線の各線分における端点座標であり、
前記所定の第2特徴量は、第1指の指先座標であり、
前記推定部が、
前記画像より指の握り込みに起因する境界線を抽出する特徴抽出部と、
当該抽出された境界線がいずれの部分に起因するかの対応付けを特定して、前記第1特徴量及び前記第2特徴量の前記画像内での値を特定する特徴対応部と、
前記特定された第1特徴量と、前記手の平が前記撮像部に対して所定位置及び姿勢にある際の第1特徴量と、に基づいて前記手の平の前記撮像部に対する位置及び姿勢を推定する姿勢推定部と、
前記推定された位置及び姿勢により前記手の平の所定位置及び姿勢における前記第2特徴量を求め、当該求められた第2特徴量と、前記手の平の所定形状における第2特徴量と、に基づいて前記手の平の形状を推定する形状推定部と、を含むことを特徴とする情報端末装置。