JP2010122879A - 端末装置、表示制御方法および表示制御プログラム - Google Patents

端末装置、表示制御方法および表示制御プログラム Download PDF

Info

Publication number
JP2010122879A
JP2010122879A JP2008295582A JP2008295582A JP2010122879A JP 2010122879 A JP2010122879 A JP 2010122879A JP 2008295582 A JP2008295582 A JP 2008295582A JP 2008295582 A JP2008295582 A JP 2008295582A JP 2010122879 A JP2010122879 A JP 2010122879A
Authority
JP
Japan
Prior art keywords
image
operator
dimensional object
face
viewpoint position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008295582A
Other languages
English (en)
Inventor
Takashi Kawakami
高 川上
Hiroyuki Kawakami
裕幸 川上
Kenta Omori
健太 大森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Mobile Communications AB
Original Assignee
Sony Ericsson Mobile Communications AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications AB filed Critical Sony Ericsson Mobile Communications AB
Priority to JP2008295582A priority Critical patent/JP2010122879A/ja
Priority to US12/581,398 priority patent/US8350896B2/en
Priority to EP09175136A priority patent/EP2189835A1/en
Priority to CN2009102228647A priority patent/CN101739567B/zh
Publication of JP2010122879A publication Critical patent/JP2010122879A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/40Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • G02B27/022Viewing apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】2次元の表示画面を有する移動体端末において直感的に分かりやすい操作で3次元物体の表示制御を行えるようにする。
【解決手段】撮像部104により表示画面を見ている状態の操作者を撮像する。撮影画像341に対する操作者の顔像341Aの位置に応じて、3次元物体370に対する視点位置381を変更する。予め定めた投影平面372に対して当該視点位置から見た3次元物体の各部を投影した投影画像120を得る。表示画面110に投影画像120を表示する。表示画面110に沿った操作者の顔の移動に視点位置331を追従させるよう視点位置331を変更する。また、撮影画像341に対する顔像341Aのサイズに応じて3次元物体370から視点位置331までの距離を変化させるよう視点位置331を変更する。
【選択図】図8

Description

本発明は、2次元の表示画面に3次元物体の投影画像を表示する端末装置、表示制御方法および表示制御プログラムに関する。
端末装置には表示装置に3次元物体の投影画像を表示するものがある。3次元物体を表示し操作者が操作可能にすることによって利便性、一覧性が増すことが期待できる。
そのような表示画面上の3次元物体の投影画像に対して、コントローラの操作によって、その視点を変える等の表示制御を可能にする技術が提案されている(特許文献1参照)。コントローラの操作としては単に押ボタンの操作に限らず、コントローラ自体の位置や姿勢の変化を測定し、利用することも提案されている。
また、本人の顔を送信する代わりにCGキャラクタの映像を相手に送信することによって人物映像を互いに通信するテレビ電話の用途において、操作者の頭部の姿勢情報および顔の表情を計測し、その計測結果に基づいてCGキャラクタの動きを制御する技術が提案されている(特許文献2参照)。
撮影画像の中から顔像を少ない演算量で迅速に判定する技術も提案されている(特許文献3参照)。
特開2007−260232号公報 特開2003−108980号公報 特開2005−284487号公報
上述のような3次元物体の表示および操作によって表示の臨場感が増すことなどが期待できる。
ところで、端末装置の表示画面上で3次元物体をその視点を変えて表示するためには、3次元物体を投影平面に投影した像を取得するためのカメラにあたる3次元視点位置の操作と、その被写体にあたる3次元物体に対する操作とを行う必要がある。
しかし、移動体端末などの端末装置の限られた入力手段でユーザが思うとおりに実行するのは困難である。
操作の簡単化のため、操作者が3次元視点位置の操作を行わず3次元物体に対する操作のみを行うものがあるが、その場合には視点変更による一覧性の確保をすることが難しくなる。
また、3次元視点位置の変更を直感的に行うために加速度センサやジャイロといった装置を組み込み、移動体端末を傾ける操作を行う技術がある。しかし、これらにも操作者あるいは移動体端末の姿勢に制限が生じるという欠点がある。
このように、複雑な視点変更を行わなければ3次元物体表示の利点を十分に享受できるとはいえないのに対し、現実には、視点変更を行うためには操作者に複雑な操作を要求する。
さらに、従来の技術では3次元物体を扱っていたとしても2次元の投影平面に投影された3次元物体は平坦に見え、臨場感も限定されたものである。2次元の表示装置に立体的に表示するためには操作者と表示装置の位置関係を知る必要がある。2次元表示装置への立体表示を実現するものとして赤外線受光器を使用した技術があるが、これは操作者が別途赤外線を受光する器具を装着する必要があり、使用するための負担が大きい。
本発明はこのような背景においてなされたものであり、2次元の表示画面を有する端末装置において直感的に分かりやすい操作で3次元物体の表示制御を行えるようにするものである。
本発明による端末装置は、2次元の表示画面に3次元物体の投影画像を表示する表示部と、表示画面を見ている状態の操作者を撮像する撮像部と、撮影画像に対する操作者の顔像の位置に応じて、3次元物体に対する視点位置を変更する手段と、予め定めた投影平面に対して当該視点位置から見た3次元物体の各部を投影した投影画像を得る投影画像生成手段とを備えたものである。
撮像部により、表示画面を見ている状態の操作者を撮像し、撮影画像に対する操作者の顔像の位置を求めることにより、3次元物体に対する視点位置を変更する。これにより、操作者は何からの手動操作を行うことなく、撮像部に対して単に顔を移動させることにより入力操作が行える。また、投影画像生成手段により、予め定めた投影平面に対して当該視点位置から見た3次元物体の各部を投影した投影画像を得ることにより、3次元物体が視点位置に合わせて遠近感をもって投影表示される。
前記投影画像生成手段は、前記表示画面に沿った操作者の顔の移動に前記視点位置を追従させるよう前記視点位置を変更することができる。これにより、顔の移動によって、現実の3次元物体を見るように動的に投影画像が変化する。
前記投影画像生成手段は、前記撮影画像に対する前記顔像のサイズに応じて前記3次元物体から前記視点位置までの距離を変化させるよう前記視点位置を変更することができる。これにより、3次元物体に顔を近づけるとやはり現実の3次元物体を見るように、3次元物体が大きく表示される。
本発明による表示制御方法が含むステップおよび表示制御プログラムの実行するステップは、2次元の表示画面を有する表示部および撮像部を有する端末装置において3次元物体を表示する表示制御方法であって、前記撮像部により表示画面を見ている状態の操作者を撮像するステップと、撮影画像に対する操作者の顔像の位置に応じて、3次元物体に対する視点位置を変更するステップと、予め定めた投影平面に対して当該視点位置から見た3次元物体の各部を投影した投影画像を得るステップと、表示画面に前記投影画像を表示するステップとである。
本発明によれば、操作者が端末装置への入力を顔位置の変更という簡便かつ直感的な方法で行うことが可能になる。さらに操作者の位置から眺めたような3次元画像が端末装置の投影平面に投影されるので、端末装置で3次元物体表示を行うシステムの操作性を高めつつ臨場感を向上させることができる。
以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。
図1は、本発明の端末装置の一実施の形態に係る移動体端末100の概略構成を示している。この移動体端末100は例えば携帯電話端末を想定している。
移動体端末100は、3次元物体の投影画像120を表示画面110に表示することができるとともに、この表示画面110を見ている操作者(すなわちユーザ)10の顔の画像(顔像)を得ることができる撮像部104を備えたものである。撮像部104は本発明における、表示画面を見ている状態の操作者を撮像するデジタルカメラのような装置に相当する。撮像部104は、操作者前方の被写体を撮影するための撮像部を操作者側に回転可能としたものでもよいし、このような撮像部とは別にテレビ電話などのためにレンズが固定的に操作者に向けられた撮像部であってもよい。また、図1には示さないが、通常、携帯電話端末等に備えられた各種操作キーなどを有する操作部を備えている。折り畳み型、スライド型、ストレート型等の端末の形態は特に限定しない。
図2は、図1に示した移動体端末100の概略ハードウェア構成を示している。
移動体端末100は、CPU101、記憶部102、表示部103、撮像部104、および操作部105を備える。
CPU101は、本発明の制御手段を構成する部位であり、各種プログラムを実行することにより移動体端末100全体の制御を司るとともに、各種の処理を行う。
記憶部102は、CPU101の実行するプログラムおよび必要なデータを格納する手段であり、ROM、RAM、フラッシュメモリ、HDD等の内蔵記憶装置の他、着脱可能な記録媒体も含みうる。後述する3次元物体情報、撮像により得られた撮影画像情報も記憶部102に格納される。
表示部103は、図1に示した表示画面110に3次元物体の投影画像120を表示する手段であり、LCD、有機EL等の表示デバイスを含む。
撮像部104は、図1で説明したとおり、操作者10の顔を撮像することができる撮像手段である。
操作部105は、図1で説明したとおり、操作者の入力操作を受ける手段である。
図示しないが、通常の携帯電話端末が有するような無線通信部、音声出力部、GPS部、等をさらに備えてもよい。
図3は、本実施の形態における移動体端末100の主要な機能を示した機能ブロック図である。
制御部300により、顔矩形検出部310、3次元物体投影視点計算部311、投影画像生成部312、投影画像表示指示部313が構成される。
記憶部102には、撮像部104で得られた撮影画像341(操作者顔像341Aを含む)を保存する撮影画像保存部340、撮影画像に基づいて得られた顔矩形情報351を保存する顔矩形情報保存部350、および、3次元物体の3次元の構造を表す3次元物体情報361を保存する3次元物体情報保存部360が設けられる。3次元物体情報361は、表示部に出力すべき3次元物体の形状や位置、色などの情報を含む。
制御部300により構成される顔矩形検出部310は、撮像部104により得られた撮影画像341中の操作者の顔の部分に対応する矩形(例えば両目または両目および鼻を含む矩形等)を検出し、顔矩形情報351を得る部位である。顔矩形情報351は顔矩形の所定の点(例えば左上点)の座標および顔矩形の幅および高さ等の情報である。幅および高さの代わりに顔矩形の対角点の座標を利用してもよい。顔矩形の検出手法としては、上述した特許文献3に開示されているような公知の技術を利用することができる。例えば、あらかじめ顔の情報を多数学習し、顔検索用辞書データとして構築しておく。次に入力された撮影画像情報を拡大縮小しながら顔検索用辞書に格納された情報と比較し、類似部分を判定することを繰り返して顔矩形を検出する。この方法を用いることで、撮影画像情報から、両目、鼻、口などの顔要素を抽出し、それらの位置、ひいては顔の領域を顔矩形情報として高速に検出することが可能である。顔矩形情報には、後述するように撮像部104に対する操作者の顔の位置や距離およびそれらの変化が反映される。
3次元物体投影視点計算部311は、検出された顔矩形情報に基づいて、3次元物体に対する3次元物体投影視点の位置を計算する部位である。例えば、3次元物体をどの角度、どの程度の距離の投影視点からみた画像として2次元平面に投影するのかを求める。
投影画像生成部312は、3次元物体投影視点計算部311の出力した投影視点に従い3次元物体情報361を用いて3次元物体投影画像120を生成する。3次元物体投影画像120は、3次元物体を所定の投影平面(表示画面または表示画面に平行な仮想的な平面)に投影した投影画像を生成する部位である。
投影画像表示指示部313は、投影画像生成部312によって生成された投影画像を表示画面上に表示するよう表示部103に指示する。
表示部103は、投影画像表示指示部313から指示された画像を表示する。
図4、図5、図6は、撮影画像情報とその撮影画像内に含まれる操作者顔像の関係について示している。それらの関係によって、撮影画像情報に基づいて操作者の顔が実際にどこにあるかが推定可能なことを説明する。各図(a)は、上方から見下ろした携帯端末と操作者の位置関係を示し、各図(b)では同図(a)の状況で撮影画像保存部340により保存される撮影画像341を示している。
撮影画像341から、上述のように既知の方法により、顔矩形情報を検出する。
以下では、図4、図5、図6を参照して、撮影画像341と操作者顔像341Aに対応する顔矩形との位置関係による操作者の顔位置推定方法を説明する。
まず図4(a)に示すように、操作者10(の顔)が移動体端末100の正面に位置している場合を想定する。この場合、図4(b)のように撮影画像341に含まれる操作者顔像341Aはその撮影画像341の中央に位置している。
一方、図5(a)に示すように操作者10が移動体端末100に向かって相対的に左側に移動した場合、撮影画像341に含まれる操作者顔像341Aは図5(b)に示すように、その撮影画像内の左側寄りに位置するようになる。この場合、実際の撮影画像では、撮影画像内の右側寄りに操作者顔像341Aが位置するが、図では操作者顔像341Aを便宜上図5(a)の操作者10の顔が位置する側に合わせて示している。撮影画像341に対する顔画像341Aの相対位置を求める際には、撮影画像341の左右反転画像を用いるか、または、撮影画像341で求めた顔画像341Aの位置を左右反転する。
これからわかるように撮影画像341に含まれる操作者顔像341Aの位置を検出することにより、操作者10が撮像部104に対して、ひいては移動体端末100に対してどの方向に位置するかを判断することができる。
また図6(a)のように操作者が撮像部104に近づいた場合は、図6(b)に示すように撮影画像情報に含まれる操作者顔像のサイズ(顔サイズ)、より具体的には例えば撮影画像上での操作者両目間距離は、撮影画像に対して大きなものとなる。実際上、顔検出手段を用いて撮影画像に対する顔サイズの相対的な大きさを検出すれば、操作者の撮像部104に対する距離を判断することができる。換言すれば顔サイズの変化に基づいて当該距離の変化を検出することができる。ここでは、顔サイズの指標としての、両目間の距離は、実質的に顔矩形の幅を利用することができる。また、その代わりに、他にも鼻や口、眉といった顔を構成する要素を用いてそれらの間の距離や、撮影画像情報に含まれる顔全体の大きさを使って顔サイズ情報を得て、この顔サイズ情報に基づいて同様に距離を判断することも可能である。
これらにより、本発明では操作者顔像341Aから操作者10が撮像部104に対してどのような位置にあるかを判断することが可能となる。
続いて図7、図8、図9を用いて、本実施の形態における3次元画像生成方法を説明する。各図の左側に示しているものは撮影画像情報とそれに含まれる操作者顔像341Aの様子である。各図の中央に示しているものは投影画像生成部312で用いられる3次元物体370と3次元視点位置331の関係であり、投影画像生成範囲371の様子を上方から見下ろして示したものである。各図の右側に示しているのが操作者から見た移動体端末と表示画面および投影平面372に投影された3次元物体投影画像120の様子である。操作者顔像341Aの変化に応じて、3次元視点位置331を変化させる。固定した投影平面372に対する3次元視点位置331の移動により、投影画像生成範囲371を変形させることで、右図の投影画像を変化させる。より具体的には、3次元視点位置331と3次元物体370の任意の点381とを通る直線380が投影平面372と交わる点382が当該点の表示点となる。これによって、投影平面372に投影される2次元投影画像を立体的に見せ、臨場感を高めることができる。なお、3次元視点位置331から見て3次元物体370の前面と後面の間に投影平面372が位置するように示したが、必ずしもこのような位置関係である必要はない。
図7、図8、図9での具体的な例について以下で説明する。
図7の例において、操作者顔像341Aは撮影画像内のほぼ中心に位置する。顔矩形検出部310は撮影画像情報から顔矩形情報を生成する。図7の例においてはこの顔矩形情報は、操作者10の顔が撮像部104に向かってほぼ中央に位置していることを示している。
続いて3次元物体投影視点計算部311はその顔矩形情報に基づいて操作者が移動体端末の正面に位置すると判断でき、また撮影画像に対する撮影画像上操作者両目間距離等の相対的な大きさから、3次元視点位置331を算出し、さらにそれをもとに投影画像生成範囲371の形状と位置を決定する。より具体的には、投影画像生成部312は、表示画面に沿った操作者の顔の移動に3次元視点位置331を追従させるよう3次元視点位置331を変更する。また、投影画像生成部312は、撮影画像に対する顔像のサイズに応じて3次元物体から3次元視点位置331までの距離を変化させるよう3次元視点位置331を変更する。
図7中央に示された逆台形が投影画像生成範囲371を示している。この台形の底辺が投影平面372に投影される領域と一致するよう固定され、底辺と3次元視点位置331から投影画像生成範囲371が決定される。図7中央に示されているのは上方から見下ろした水平方向の様子であるが、垂直方向にも同様の計算を実施し、四角錐台の形状をもつ投影画像生成範囲371を算出する。
続いて投影画像生成部312は投影画像生成範囲371と3次元物体情報361に基づいて3次元物体投影画像120を生成する。
最後に投影画像表示指示部313は、生成された3次元物体投影画像120を表示部103に表示するよう指示を出す。結果として図7の右側の表示画面110に示すような表示がなされる。
図8の例では、操作者顔像341Aは撮影画像内の右端に位置する。顔矩形検出部310は撮影画像情報に基づいて顔矩形情報を生成する。図8においては顔矩形情報は、操作者10の顔が撮像部104に向かって右側に位置していることを示している。
続いて3次元物体投影視点計算部311はこの顔矩形情報に基づいて操作者が移動体端末の右側に位置すると判断でき、また撮影画像に対する操作者両目間距離等の相対的な大きさから、3次元視点位置を算出し、さらにそれをもとに投影画像生成範囲371の形状と位置を決定する。
ここで図7と比較して操作者顔像341Aの位置の変化により3次元視点位置が変化し、図8中央に図示されるように底辺が共通した逆台形として投影画像生成範囲371が決定される。操作者顔像341Aが水平方向だけでなく垂直方向にも移動した場合には、垂直方向に対しても同様にして逆台形を算出し、それらを組み合わせた四角錐台を投影画像生成範囲371とする。
続いて投影画像生成部312は投影画像生成範囲371と3次元物体情報361に基づいて3次元物体投影画像120を生成する。
最後に投影画像表示指示部313は生成された3次元物体投影画像120を表示部103に表示するよう指示を出す。結果として図8の右側の表示画面110に示すような表示がなされる。
図9の例では、操作者顔像341Aは撮影画像内のほぼ中心に位置するが、図7と比較して相対的に大きな面積を占めている。顔矩形検出部310は撮影画像情報から顔矩形情報を生成する。図9においては顔矩形情報は中央を示している。3次元物体投影視点計算部311はほぼ中心を示している顔矩形情報に基づいて操作者が移動体端末の正面に位置すると判断でき、また撮影画像に対する操作者両目間距離等の相対的な大きさから、3次元視点位置を算出し、さらにそれをもとに投影画像生成範囲371の形状と位置を決定する。図9中央に図示されるように図7中央と比較して3次元視点位置が図中の上方向に変化しており、その結果、3次元視点位置と固定された底辺とにより求められる投影画像生成範囲371が上に広がった台形形状になっている。垂直方向に対しても同様にして逆台形を算出し、それらを組み合わせた四角錐台を投影画像生成範囲371とする。投影画像生成部312は投影画像生成範囲371と3次元物体情報361に基づいて3次元物体投影画像120を生成する。最後に、投影画像表示指示部313は生成された3次元物体投影画像120を表示部103に表示するよう指示を出す。結果として図9の右側の表示画面110に示すような表示がなされる。
これらによる効果として、操作者に対して、撮像部104を備えた移動体端末のほかには特別な装置や器具を要求することなく、2次元表示画面に3次元物体を投影して、遠近感を伴った3次元物体の表示画像を得ることにより臨場感を与えることができる。3次元視点位置の算出には、操作者の顔位置(ひいては顔画像)の撮像部104(ひいては撮像画像)に対する相対位置のみを使用するため、操作者の姿勢が変わっても同じように使用可能である。加えて、撮像部104から連続的に撮影画像情報を取得し、操作者顔位置を投影画像に反映し続けることで、操作者に自身の顔と撮像部104の位置関係に関するフィードバックを与え、視点操作をさらに容易なものとすることが可能である。
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。
上記説明では移動体端末として携帯電話端末を想定したが、必ずしも電話機能を有するものでなくてもよい。例えば、PDA、ゲーム機、小型PCなどの、表示画面を有する任意の移動体端末であってよい。また、本発明の移動体端末は好適には携帯型の移動体端末であるが、必ずしも携帯型に限るものでもない。
上記実施の形態で説明した機能をコンピュータで実現するためのコンピュータプログラム、およびプログラムをコンピュータ読み取り可能に格納した記録媒体も本願発明に含まれる。プログラムを供給するための「記録媒体」としては、例えば、磁気記憶媒体(フレキシブルディスク、ハードディスク、磁気テープ等)、光ディスク(MOやPD等の光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD+R、DVD−R、DVD−RW、DVD+RW等)、半導体ストレージ、紙テープなどを挙げることができる。
本発明の移動体端末の一実施の形態に係る移動体端末の概略構成を示した図である。 図1に示した移動体端末の概略ハードウェア構成を示した図である。 本発明の実施の形態における移動体端末の主要な機能を示した機能ブロック図である。 本発明の実施の形態における撮影画像情報とその撮影画像内に含まれる操作者顔像の関係について示した一例を示す図である。 本発明の実施の形態における撮影画像情報とその撮影画像内に含まれる操作者顔像の関係について示した他の例を示す図である。 本発明の実施の形態における撮影画像情報とその撮影画像内に含まれる操作者顔像の関係について示したさらに他の例を示す図である。 本発明の実施の形態における3次元画像生成方法を説明するための図である。 本発明の実施の形態における3次元画像生成方法を説明するための図である。 本発明の実施の形態における3次元画像生成方法を説明するための図である。
符号の説明
10…操作者、100…移動体端末、102…記憶部、103…表示部、104…撮像部、105…操作部、110…表示画面、120…3次元物体投影画像、300…制御部、310…顔矩形検出部、311…3次元物体投影視点計算部、312…投影画像生成部、313…投影画像表示指示部、331…3次元視点位置、340…撮影画像保存部、341…撮影画像、341A…操作者顔像、350…顔矩形情報保存部、351…顔矩形情報、360…3次元物体情報保存部、361…3次元物体情報、370…3次元物体、371…投影画像生成範囲、372…投影平面、380…直線、381…視点位置、381…点(3次元物体上の任意の点)、382…点(点381に対応する投影平面372上の点)

Claims (5)

  1. 2次元の表示画面に3次元物体の投影画像を表示する表示部と、
    表示画面を見ている状態の操作者を撮像する撮像部と、
    撮影画像に対する操作者の顔像の位置に応じて、3次元物体に対する視点位置を変更する手段と、
    予め定めた投影平面に対して当該視点位置から見た3次元物体の各部を投影した投影画像を得る投影画像生成手段と
    を備えた端末装置。
  2. 前記投影画像生成手段は、前記表示画面に沿った操作者の顔の移動に前記視点位置を追従させるよう前記視点位置を変更する請求項1に記載の端末装置。
  3. 前記投影画像生成手段は、前記撮影画像に対する前記顔像のサイズに応じて前記3次元物体から前記視点位置までの距離を変化させるよう前記視点位置を変更する請求項1に記載の端末装置。
  4. 2次元の表示画面を有する表示部および撮像部を有する端末装置において3次元物体を表示する表示制御方法であって、
    前記撮像部により表示画面を見ている状態の操作者を撮像するステップと、
    撮影画像に対する操作者の顔像の位置に応じて、3次元物体に対する視点位置を変更するステップと、
    予め定めた投影平面に対して当該視点位置から見た3次元物体の各部を投影した投影画像を得るステップと、
    表示画面に前記投影画像を表示するステップと
    を備えた表示制御方法。
  5. 2次元の表示画面を有する表示部および撮像部を有する端末装置において3次元物体を表示する表示制御プログラムであって、
    前記撮像部により表示画面を見ている状態の操作者を撮像するステップと、
    撮影画像に対する操作者の顔像の位置に応じて、3次元物体に対する視点位置を変更するステップと、
    予め定めた投影平面に対して当該視点位置から見た3次元物体の各部を投影した投影画像を得るステップと、
    表示画面に前記投影画像を表示するステップと
    をコンピュータに実行させる表示制御プログラム。
JP2008295582A 2008-11-19 2008-11-19 端末装置、表示制御方法および表示制御プログラム Pending JP2010122879A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008295582A JP2010122879A (ja) 2008-11-19 2008-11-19 端末装置、表示制御方法および表示制御プログラム
US12/581,398 US8350896B2 (en) 2008-11-19 2009-10-19 Terminal apparatus, display control method, and display control program
EP09175136A EP2189835A1 (en) 2008-11-19 2009-11-05 Terminal apparatus, display control method, and display control program
CN2009102228647A CN101739567B (zh) 2008-11-19 2009-11-19 终端装置和显示控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008295582A JP2010122879A (ja) 2008-11-19 2008-11-19 端末装置、表示制御方法および表示制御プログラム

Publications (1)

Publication Number Publication Date
JP2010122879A true JP2010122879A (ja) 2010-06-03

Family

ID=41351728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008295582A Pending JP2010122879A (ja) 2008-11-19 2008-11-19 端末装置、表示制御方法および表示制御プログラム

Country Status (4)

Country Link
US (1) US8350896B2 (ja)
EP (1) EP2189835A1 (ja)
JP (1) JP2010122879A (ja)
CN (1) CN101739567B (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012103746A (ja) * 2010-11-05 2012-05-31 Avix Inc 見る人の関心を惹きつける表示制御の方法、デジタルサイネージシステム、コンピュータープログラム
JP2014525089A (ja) * 2011-07-12 2014-09-25 アマゾン・テクノロジーズ、インコーポレイテッド 3次元特徴シミュレーション
JP2015156131A (ja) * 2014-02-20 2015-08-27 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US9342925B2 (en) 2011-07-28 2016-05-17 Sony Corporation Information processing apparatus, information processing method, and program
JP5961892B1 (ja) * 2015-04-03 2016-08-03 株式会社ハコスコ 表示端末ならびに情報記録媒体
US9449427B1 (en) 2011-05-13 2016-09-20 Amazon Technologies, Inc. Intensity modeling for rendering realistic images
US9557811B1 (en) 2010-05-24 2017-01-31 Amazon Technologies, Inc. Determining relative motion as input
US9626939B1 (en) 2011-03-30 2017-04-18 Amazon Technologies, Inc. Viewer tracking image display
US9852135B1 (en) 2011-11-29 2017-12-26 Amazon Technologies, Inc. Context-aware caching
US9857869B1 (en) 2014-06-17 2018-01-02 Amazon Technologies, Inc. Data optimization

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5361524B2 (ja) * 2009-05-11 2013-12-04 キヤノン株式会社 パターン認識システム及びパターン認識方法
CN101931823A (zh) * 2009-06-24 2010-12-29 夏普株式会社 显示3d图像的方法和设备
JP5259010B2 (ja) * 2010-02-24 2013-08-07 京セラ株式会社 携帯電子機器および投影システム
JP4903888B2 (ja) * 2010-08-09 2012-03-28 株式会社ソニー・コンピュータエンタテインメント 画像表示装置、画像表示方法、および画像補正方法
KR20120016386A (ko) * 2010-08-16 2012-02-24 주식회사 팬택 3d 객체 표시가 가능한 휴대용 장치 및 그 방법
KR101308475B1 (ko) * 2010-08-26 2013-09-16 엘지디스플레이 주식회사 입체 영상 표시 장치 및 이의 구동 방법
GB201106111D0 (en) * 2011-04-11 2011-05-25 Mccormick Malcolm Rendering images for autostereoscopic display
WO2012172719A1 (ja) * 2011-06-16 2012-12-20 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
JP5880199B2 (ja) * 2012-03-27 2016-03-08 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
CN103019507B (zh) * 2012-11-16 2015-03-25 福州瑞芯微电子有限公司 一种基于人脸跟踪改变视点角度显示三维图形的方法
CN103839032B (zh) * 2012-11-20 2018-03-23 联想(北京)有限公司 一种识别方法及电子设备
US9754415B2 (en) * 2014-03-27 2017-09-05 Microsoft Technology Licensing, Llc Display relative motion compensation
CN104133553B (zh) * 2014-07-30 2018-04-06 小米科技有限责任公司 网页内容展示方法及装置
CN104349155B (zh) 2014-11-25 2017-02-01 深圳超多维光电子有限公司 模拟立体图像显示方法及显示设备
EP3273331A4 (en) * 2015-03-20 2018-04-18 Ricoh Company, Ltd. Display apparatus, display control method, display control program, and display system
KR102290301B1 (ko) * 2015-05-06 2021-08-17 엘지전자 주식회사 이동 단말기 및 이의 제어방법
EP3511764B1 (en) * 2016-09-30 2021-07-21 Huawei Technologies Co., Ltd. 3d display method and user terminal
CN107147897A (zh) * 2017-06-09 2017-09-08 西安闻泰电子科技有限公司 图像显示方法及装置
CN113556416B (zh) * 2020-04-21 2022-06-03 Oppo广东移动通信有限公司 电子设备
EP4169247A4 (en) * 2020-06-22 2024-06-26 Troje, Nikolaus SYSTEM AND METHOD FOR DETERMINING THE DIRECTIONALITY OF IMAGES USING HEAD TRACKING

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04253281A (ja) * 1991-01-29 1992-09-09 Nec Corp 3次元図形表示装置
JP2000276613A (ja) * 1999-03-29 2000-10-06 Sony Corp 情報処理装置および情報処理方法
JP2007213623A (ja) * 2002-07-08 2007-08-23 Toshiba Corp 仮想化粧装置及びその方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5502481A (en) * 1992-11-16 1996-03-26 Reveo, Inc. Desktop-based projection display system for stereoscopic viewing of displayed imagery over a wide field of view
US5579026A (en) * 1993-05-14 1996-11-26 Olympus Optical Co., Ltd. Image display apparatus of head mounted type
US6377230B1 (en) * 1995-10-05 2002-04-23 Semiconductor Energy Laboratory Co., Ltd. Three dimensional display unit and display method
US6009210A (en) * 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
EP0874303B1 (en) 1997-04-25 2002-09-25 Texas Instruments France Video display system for displaying a virtual threedimensinal image
WO1999008178A1 (fr) * 1997-08-12 1999-02-18 Matsushita Electric Industrial Co., Ltd. Dispositif d'affichage a fenetres
KR20010015674A (ko) * 1998-07-30 2001-02-26 마츠시타 덴끼 산교 가부시키가이샤 동화상 합성장치
US6330356B1 (en) * 1999-09-29 2001-12-11 Rockwell Science Center Llc Dynamic visual registration of a 3-D object with a graphical model
JP3432816B2 (ja) 2001-09-28 2003-08-04 三菱電機株式会社 頭部領域抽出装置およびリアルタイム表情追跡装置
JP2003117144A (ja) 2001-10-18 2003-04-22 Sophia Co Ltd 遊技機
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US7646372B2 (en) * 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7538774B2 (en) * 2003-06-20 2009-05-26 Nippon Telegraph And Telephone Corporation Virtual visual point image generating method and 3-d image display method and device
JP5025893B2 (ja) * 2004-03-29 2012-09-12 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
EP1749232A2 (en) * 2004-04-05 2007-02-07 Michael A. Vesely Horizontal perspective display
US7382374B2 (en) * 2005-05-02 2008-06-03 Bitplane Ag Computerized method and computer system for positioning a pointer
JP2007260232A (ja) 2006-03-29 2007-10-11 Konami Digital Entertainment:Kk ゲーム装置、ゲーム制御方法、ならびに、プログラム
CN101479659B (zh) * 2006-07-03 2011-02-16 松下电器产业株式会社 投影***及影像投射方法
JP2008295582A (ja) 2007-05-29 2008-12-11 Aruze Corp 遊技機
TW200928860A (en) 2007-12-31 2009-07-01 Htc Corp Method and device for adjusting output frame

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04253281A (ja) * 1991-01-29 1992-09-09 Nec Corp 3次元図形表示装置
JP2000276613A (ja) * 1999-03-29 2000-10-06 Sony Corp 情報処理装置および情報処理方法
JP2007213623A (ja) * 2002-07-08 2007-08-23 Toshiba Corp 仮想化粧装置及びその方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSND200500374006; 飯尾 淳: '観測位置に対応した3次元物体の実時間表示 より自然なユーザインタフェースの実現を目指して' 画像ラボ 第14巻 第1号 IMAGE LAB 第14巻 第1号, 20030101, P.26-29, 日本工業出版株式会社 *
JPN6013009359; 飯尾 淳: '観測位置に対応した3次元物体の実時間表示 より自然なユーザインタフェースの実現を目指して' 画像ラボ 第14巻 第1号 IMAGE LAB 第14巻 第1号, 20030101, P.26-29, 日本工業出版株式会社 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9557811B1 (en) 2010-05-24 2017-01-31 Amazon Technologies, Inc. Determining relative motion as input
JP2012103746A (ja) * 2010-11-05 2012-05-31 Avix Inc 見る人の関心を惹きつける表示制御の方法、デジタルサイネージシステム、コンピュータープログラム
US9626939B1 (en) 2011-03-30 2017-04-18 Amazon Technologies, Inc. Viewer tracking image display
US9449427B1 (en) 2011-05-13 2016-09-20 Amazon Technologies, Inc. Intensity modeling for rendering realistic images
JP2014525089A (ja) * 2011-07-12 2014-09-25 アマゾン・テクノロジーズ、インコーポレイテッド 3次元特徴シミュレーション
US9342925B2 (en) 2011-07-28 2016-05-17 Sony Corporation Information processing apparatus, information processing method, and program
US9852135B1 (en) 2011-11-29 2017-12-26 Amazon Technologies, Inc. Context-aware caching
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
WO2015125709A1 (ja) * 2014-02-20 2015-08-27 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
JP2015156131A (ja) * 2014-02-20 2015-08-27 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US10192360B2 (en) 2014-02-20 2019-01-29 Sony Interactive Entertainment Inc. Information processing apparatus and information processing method
US9857869B1 (en) 2014-06-17 2018-01-02 Amazon Technologies, Inc. Data optimization
WO2016157523A1 (ja) * 2015-04-03 2016-10-06 株式会社SR laboratories 表示端末ならびに情報記録媒体
JP5961892B1 (ja) * 2015-04-03 2016-08-03 株式会社ハコスコ 表示端末ならびに情報記録媒体

Also Published As

Publication number Publication date
US8350896B2 (en) 2013-01-08
EP2189835A1 (en) 2010-05-26
CN101739567B (zh) 2013-06-12
US20100123772A1 (en) 2010-05-20
CN101739567A (zh) 2010-06-16

Similar Documents

Publication Publication Date Title
JP2010122879A (ja) 端末装置、表示制御方法および表示制御プログラム
JP5087532B2 (ja) 端末装置、表示制御方法および表示制御プログラム
US8388146B2 (en) Anamorphic projection device
US9001192B2 (en) Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
US8894486B2 (en) Handheld information processing apparatus and handheld game apparatus
US9445084B2 (en) Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
US9128293B2 (en) Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
US9693039B2 (en) Hand-held electronic device
US20120075424A1 (en) Computer-readable storage medium having image processing program stored therein, image processing apparatus, image processing system, and image processing method
TW200540458A (en) Motion sensor using dual camera inputs
JP6242039B2 (ja) 自動センタリング機能付きのジャイロ制御されるゲーム視点のための装置および方法
US10203837B2 (en) Multi-depth-interval refocusing method and apparatus and electronic device
JP2009064109A (ja) 画像投影装置及びその制御方法
JP6148714B2 (ja) 携帯型電子機器
JP2013029958A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2020110323A1 (ja) 動画合成装置、動画合成方法及び記録媒体
US9914056B2 (en) Storage medium having stored therein an image generation program, image generation method, image generation apparatus and image generation system
JP6559870B1 (ja) 動画合成装置、動画合成方法及び動画合成プログラム
JP2010117691A (ja) 情報処理装置、情報処理システム及びプログラム
JP5764390B2 (ja) 画像生成プログラム、画像生成方法、画像生成装置及び画像生成システム
US20220244788A1 (en) Head-mounted display
JP2020087429A (ja) 動画合成装置、動画合成方法及び動画合成プログラム
JP5222646B2 (ja) 端末装置、表示制御方法および表示制御プログラム
KR20210102210A (ko) 상호 작용을 위한 물리적 인터페이스로서의 모바일 플랫폼
WO2020110283A1 (ja) 表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130522

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130611