JP2017520026A - ウェアラブルデバイスの投影を制御する方法及び装置、ウェアラブルデバイス - Google Patents

ウェアラブルデバイスの投影を制御する方法及び装置、ウェアラブルデバイス Download PDF

Info

Publication number
JP2017520026A
JP2017520026A JP2017508721A JP2017508721A JP2017520026A JP 2017520026 A JP2017520026 A JP 2017520026A JP 2017508721 A JP2017508721 A JP 2017508721A JP 2017508721 A JP2017508721 A JP 2017508721A JP 2017520026 A JP2017520026 A JP 2017520026A
Authority
JP
Japan
Prior art keywords
projection
projection screen
screen
projected
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017508721A
Other languages
English (en)
Inventor
星星 ▲趙▼
星星 ▲趙▼
炎▲順▼ ▲陳▼
炎▲順▼ ▲陳▼
秋▲実▼ ▲許▼
秋▲実▼ ▲許▼
耀▲輝▼ 李
耀▲輝▼ 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Publication of JP2017520026A publication Critical patent/JP2017520026A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3155Modulator illumination systems for controlling the light source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/317Convergence or focusing systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3173Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3173Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3188Scale or resolution adjustment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Optics & Photonics (AREA)

Abstract

ウェアラブルデバイスの投影を制御する方法及び装置、ウェアラブルデバイスを提供し、前記投影方法は、前記ウェアラブルデバイス上に設置された3D収集デバイスによって投影スクリーンとなる物体の3D形状分布を収集し、収集された前記投影スクリーンとなる物体の3D形状分布により、前記投影スクリーンとなる物体に位置する投影区域の頂点座標を特定し、特定された前記頂点座標に従って、一つの投影平面を特定し、前記投影平面と前記投影手段の投影視野角の中心線との間の角度、前記投影平面の幾何中心と前記投影手段との間の距離、及び前記投影スクリーンとなる物体の3D形状分布により、前記投影手段から投射される投影画面を前記投影スクリーンとなる物体上の投影区域内に明晰で安定的に投影表示させるように、投影制御を行う。

Description

本発明の実施例は、ウェアラブルデバイスの投影を制御する方法及び装置、ウェアラブルデバイスに関する。
各種のウェアラブル型電子デバイスの機能は、電子技術の高速発展に伴って、ますます豊かになって人に優しくなり、ユーザは、ウェアラブル型電子デバイスを使う時に、より快適に体験することができる。現在、スマートウェアラブル型電子デバイス(ウェアラブルデバイスとも呼ぶ)が、徐々に傾向となる。これらのウェアラブルデバイスに投影手段を設置することにより、ウェアラブルデバイスが投影表示の機能を持つことにする。
ところで、ウェアラブル型電子デバイスを用いて投影表示を行う場合に、人体が不可避的に姿の調整を行うので、ウェアラブルデバイスの投影手段と、投影スクリーンとなる物体との間の相対位置が移動してしまう。もしくは、投影スクリーンとなる物体も人体のある器官(例えば、手掌)の表面であれば、この器官表面の変形などの問題により、投影スクリーンとなる物体の表面上に、ウェアラブルデバイスの投影手段から投射される投影画面が正しく表示されなくなる。
本発明の少なくとも一つの実施例は、ウェアラブルデバイスに設置された投影手段から投射される投影画面を、手掌に正しく投影表示できるウェアラブルデバイスの投影を制御する方法及び装置、ウェアラブルデバイスを提供する。
本発明の少なくとも一つの実施例は、投影手段が設置されたウェアラブルデバイスの投影を制御する方法を提供し、前記ウェアラブルデバイス上に設置された3D収集デバイスが投影スクリーンとなる物体の3D形状分布を収集することと、収集された前記投影スクリーンとなる物体の3D形状分布により、前記投影スクリーンとなる物体に位置する投影区域の頂点座標を特定することと、特定された前記頂点座標に従って一つの投影平面を特定することと、前記投影平面と前記投影手段の投影視野角の中心線との間の角度、前記投影平面の幾何中心と前記投影手段との間の距離、及び前記投影スクリーンとなる物体の3D形状分布により、投影制御を行うことと、を含む。
本発明の少なくとも一つの実施例は、投影手段が設置されたウェアラブルデバイスの投影を制御する装置をさらに提供し、前記ウェアラブルデバイス上に設置される3D収集デバイスが投影スクリーンとなる物体の3D形状分布を収集する収集モジュールと、収集モジュールによって収集された投影スクリーンとなる物体の3D形状分布により、前記投影スクリーンとなる物体に位置する投影区域の頂点座標を特定し、且つ、特定された投影区域の頂点座標に従って一つの投影平面を特定する特定モジュールと、前記投影手段の投影視野角の中心線と特定モジュールによって特定された投影平面との間の角度、前記投影平面の幾何中心と前記投影手段との間の距離、及び前記投影スクリーンとなる物体の3D形状分布により、前記投影手段から投射される投影画面を投影スクリーンとなる物体上の投影区域内に明晰で安定的に投影表示させるように、投影制御を行う制御モジュールと、を含む。
以下、本発明の実施形態の技術方案をより明確に説明するために、実施形態の図面を簡単に説明し、以下の記述中の図面は、本発明を制限するものではなく、本発明の実施形態の一部のみに関するものであることが明白である。
本発明の実施形態の一つが提供する、ウェアラブルデバイスの投影を制御する方法のフローチャートである。 本発明の実施形態の一つが提供するスマートリングと、手掌との間の角度及び距離の概略図である。 本発明の実施形態の一つが提供するスマートリングが投射する投影画面の大きさの概略図である。 本発明の実施形態の他の一つが提供する、ウェアラブルデバイスの投影を制御する装置の構造の概略図である。
以下、本発明の実施形態の目的、技術方案、及び利点をより明確にするために、本発明の実施形態の図面と連合して、本発明の実施形態の技術方案を明確で完全的に記述する。もちろん、記述される実施形態は、本発明の実施形態の全てではなく、一部の実施形態である。記述の本発明の実施形態に基づいて、当業者が創造的な労働をしないことを前提に、得られる他の実施形態の全ては、本発明の保護の範囲に含まれる。
図1は、本発明の実施形態が提供する、ウェアラブルデバイスの投影を制御する方法の実現フローチャートであり、次のステップを含む
S101:ウェアラブルデバイス上に設置された3D(三次元)収集デバイスにより、投影スクリーンとなる物体の3D形状分布を収集する。
本発明の少なくとも一つの実施形態では、ウェアラブルデバイス上に設置された3D収集デバイスは、構造化光三次元スキャナ、両眼カメラや飛行時間検出器(time of flight,TOF)などであればよい。この3D収集デバイスは、3D収集デバイスを座標原点とする三次元座標系内における、投影スクリーンとなる物体の表面の全ての点の座標を収集することができ、さらに、3D収集デバイスを座標原点とする三次元座標系内における、投影スクリーンとなる物体の3D形状分布を特定することができる。
取得した3D収集デバイスを座標原点として設定される三次元座標系における、投影スクリーンとなる物体の位置座標により、投影スクリーンとなる物体の変形程度、投影スクリーンとなる物体に対するウェアラブルデバイス上の投影手段の角度変化や位置変化などを特定することができる。
S102:収集される投影スクリーンとなる3D形状分布により、投影スクリーンとなる物体に位置する投影区域の頂点座標を特定することができる。
投影スクリーンとなる物体での投影区域の形状は、実際の状況によって設定することができ、例えば、円形、矩形などであってもよい。投影区域の形状により、異なる数の頂点座標を特定することができ、例えば、本発明の少なくとも一つの実施形態では、大部分の投影設備に適応するために、投影区域の形状は、例えば、矩形形状であり、この時に、矩形区域の四つの頂点を選択して、特定された四つの頂点を順に連接して形成される図形を、矩形に近似する。以下、四つの頂点座標を特定して矩形投影区域を形成することを例にして説明するが、本発明は、これに限らない。
投影スクリーンとなる物体は、各種の投影表示可能な投影媒体であってもよく、例えば、手掌を投影媒体としてもよい。手掌は、一般の投影スクリーンに対して小さい。本発明の少なくとも一つの実施形態では、手掌で特定される投影区域は、手掌で最大投影可能な区域であり、故に、この時に、対応する四つの頂点は、手首の近くにある手掌の二つの端点、小指位置の近くにある手掌の端点、及び人差し指位置の近くにある端点であってもよく、これらの四つの端点を連接して矩形に近似させる。
S103:特定された頂点座標により、一つの投影平面を特定する。
投影スクリーンとなる物体は、変形する可能性があるので(例えば、手掌)、変形した投影スクリーンでは、特定される頂点が同一の平面に位置していない可能性があり、特定された頂点座標により一つの投影平面を特定して、この投影平面を、投影スクリーンの物体が存在する平面として、投影制御を行う。
本発明の少なくとも一つの実施形態では、投影画面を精確的に表示するために、特定された頂点と最も近い平面を、投影平面として選択し、最も近い投影平面を特定する時には、特定された頂点座標との間の距離の分散の和が最も小さな平面を、投影平面と特定する。
S104:投影平面とウェアラブルデバイスの投影手段の投影視野角の中心線との間の角度、投影平面の幾何中心とウェアラブルデバイスの投影手段との間の距離、及び投影スクリーンとなる物体の3D形状分布により、投影スクリーンとなる物体での投影区域内で、ウェアラブルデバイスの投影手段から投射された投影画面が明晰で安定的に投影表示されるように、投影制御を行う。
本発明の少なくとも一つの実施形態では、投影平面と投影手段の投影視野角の中心線との間の角度により、投影スクリーンとなる物体に投影される投影画面が投影スクリーンとなる物体での投影区域の形状に適応するように、投影手段から投射される投影画面の形状を調整することができる。投影平面の幾何中心と投影手段との間の距離により、投影スクリーンとなる物体に投影される投影画面が投影スクリーンとなる物体での投影区域の大きさに適応するように、投影手段から投射される投影画面の大きさを調整する。投影スクリーンとなる物体の3D形状分布により、投影スクリーンとなる物体上の投影区域内に投影される投影画面の表示輝度を、補正する。
例えば、投影視野が矩形である場合に、投影視野角の中心線は、投影手段がこの矩形の四つの端点と連接して形成される頂角の中心線であり、投影視野が円形である場合に、投影視野角の中心線は、投影手段がこの円形と連接して形成される円錐角の中心線である。
本発明の少なくとも一つの実施形態では、角度変化と距離変化により、図形の形状と大きさを適応調整し、且つ、投影スクリーンとなる物体の3D形状分布により、投影画面の表示輝度を適応調整し、それにより、ウェアラブルデバイスの投影手段と投影スクリーンとなる物体との間の相対位置の変化、及び投影スクリーンとなる物体の変形による画面表示の不正常に対して、より正確的に適応調整することができる。
本発明の少なくとも一つの実施形態では、投影平面と投影手段の投影視野角の中心線との間の角度により、投影手段から投射される投影画面の形状を調整するには、次の方式を採用することができる。投影平面と投影手段の投影視野角の中心線との間の角度により、投影手段から投射される投影画面に対して台形補正を行うための補正角度を特定し、そして、特定された補正角度により、投影手段から投射される投影画面に対して台形補正を行って、画面の形状をより簡単的に調整することができる。
本発明の少なくとも一つの実施形態では、投影平面の幾何中心と前記投影手段との間の距離により、投影手段から投射される投影画面の大きさを調整するには、次の方式を採用することができる。
Figure 2017520026
本発明の少なくとも一つの実施形態では、適切な圧縮比例を特定して投影画面を圧縮することにより、投影スクリーンとなる物体での投影区域内に投影画面を完全に投射するように、投影画面の大きさを適応的に調整する。
本発明の少なくとも一つの実施形態では、投影スクリーンとなる物体の3D形状分布により、投影スクリーンとなる物体での投影区域内に投射される投影画面の表示輝度を補正するには、次の方式を採用することができる。
Figure 2017520026
本発明の少なくとも一つの実施形態では、積分演算により、投影スクリーンとなる物体の非平面を変形して平面上に変換し、且つ、この積分演算により、投影スクリーンとなる物体の変形程度を特定して、投影スクリーンとなる物体の変形程度に従って、輝度調整をより精確的に行える。
本発明の少なくとも一つの実施形態が提供するウェアラブルデバイスの投影を制御する方法では、ウェアラブルデバイス上に設置された3D収集デバイスが収集した投影スクリーンとなる物体の3D形状分布により、投影スクリーンとなる物体に位置する投影区域の頂点座標を特定し、そして、特定された投影区域の頂点座標に従って一つの投影平面を特定し、この投影平面と投影手段の投影視野角の中心線との間の角度、投影平面の幾何中心と投影手段との間の距離、及び投影スクリーンとなる物体の3D形状分布により、投影手段から投射される投影画面を手掌での投影区域内に投影表示させるように、投影制御を行う。つまり、本発明の少なくとも一つの実施形態では、ウェアラブルデバイスの投影手段と投影スクリーンとなる物体との間の相対位置が変化する場合、又は投影スクリーンとなる物体が変形する場合に、対応の変化を角度、距離及び投影スクリーンとなる物体の3D形状の変形に反映し、そして、ウェアラブルデバイス上の投影手段から投射される投影画面を投影スクリーンとなる物体の表面に明晰で安定で正常的に投影表示させるように、投影画面に対して調整制御を行う。
以下、実際の応用を結合して、上記の実施形態にかかるウェアラブルデバイスの投影を制御する方法を詳しく説明する。
本発明の少なくとも一つの実施形態では、ウェアラブルデバイスがスマートリングであり、投影スクリーンとなる物体が手掌であることを例にして説明するが、もちろん、これに限らない。例えば、ウェアラブルデバイスは、スマートブレスレット、スマートウォッチ、スマートガラスなどの投影表示機能を持つウェアラブルデバイスであってもよく、投影スクリーンとなる物体は、壁、テーブル、腕などの各種のものであってもよい。
図2に示すように、手指の移動により、手指に着けるスマートリングから投射される投影画面の投影角度が変化したり、スマートリングと手掌との間の距離が変化したりし、そして、角度の変化と距離の変化は、いずれも投影画面の変化の原因となり、S103において、投影平面を特定して、この投影平面は手掌と考えられ、故に、スマートリングから投射される投影視野角の中心線と投射平面との間の夾角は、スマートリングと手掌の平面との間の夾角と定義され、スマートリングと投射平面の幾何中心との間の距離は、スマートリングと手掌の平面との間の距離と定義される。投影平面Mと投影視野角の中心線1との間の角度θ、投影平面の幾何中心Kとスマートリングとの間の距離dにより、投影画面の調整制御を行い、手指の移動によるスマートリングから投射される投影画面の投影角度の変化に適合して、正常的に表示するようにする。
手掌の変形より手掌が非平面体になり、この時に手掌に投影される投影画面が変形し、3D収集デバイスで収集される手掌の3D形状に従って、特定される投影平面に対する変形後の手掌での点のそれぞれの傾斜角度を特定する。この傾斜角度により、手掌の対応位置の変形変量を特定し、さらに、対応位置の画素データを補正し、手掌の非平面による画面変形を回避する。
本発明の少なくとも一つの実施形態では、投影平面と投影視野角の中心線との間の角度により、手掌に投影される投影画面が手掌の投影区域の形状に適応するように、スマートリングから投射される投影画面の形状を調整し、投影平面の幾何中心とスマートリングとの間の距離により、手掌に投影される投影画面が手掌での投影区域の大きさに適応するように、スマートリングから投射される投影画面の大きさを調整し、手掌の3D形状分布により、手掌での投影区域内に投影される投影画面の表示輝度を、補正する。
本発明の少なくとも一つの実施形態では、投影平面と投影視野角の中心線との間の角度が変化する時に、台形補正の方式を採用してスマートリングから投射される投影画面の形状を調整し、投影平面と投影視野角の中心線との間の角度により、スマートリングから投射される投影画面に対して台形補正を行うための補正角度を特定し、特定された補正角度により、スマートリングから投射される投影画面を台形補正する。
従来の台形補正を良く使う場面は、投影スクリーンに傾斜的に投影し、投影スクリーンは、依然として平面である、しかし、手掌に投影する時に、手掌での投影区域の四つの頂点は、一つの平面に存在しない可能性が高い。故に、四つの頂点により一つの投影平面を特定し、そして、投影平面と投影視野角の中心線との間の角度により、台形補正を行うための補正角度を特定し、それにより、スマートリングと手掌との相対角度が変化する時に、手掌での投影区域に投影される投影画面が正常的に表示される。
本発明の少なくとも一つの実施形態では、台形補正の過程は、例えば、投影機中の台形補正方式を採用してもよく、スマートリングから投射される投射画面の形状が畸形である可能性があるとしても、最後に手掌での投影区域に投影される投影画面が正常である。具体的な台形補正過程は、従来の台形補正過程を採用してもよく、本発明の実施形態では、重複の説明を省略する。
注意すべきは、投影平面と投影視野角の中心線との間の角度が変化する時に、台形補正の方式を採用して処理することだけではなく、例えば、物理・機械調整の方式を採用して、スマートリングの投射角度を調整して、投影画面に安定性を維持させてもよい。
さらに、投影変面の幾何中心とスマートリングとの間の距離が変化する時に、投影区域に投射される投影画面の大きさも変化する。図3に示すように、d0、d1、及びd2のそれぞれは、投影平面の中心とスマートリングとの間の距離である。図3から見ると、手掌の大きさが不変であるが、投影平面の幾何中心とスマートリングとの間の距離が変化する時に、一部の投影画面が手掌に投影できなくなり、そのため、投影平面の幾何中心とスマートリングとの間の距離により、スマートリングから投射される投影画面の大きさを調整する必要がある。
本発明の少なくとも一つの実施形態では、スマートリングから投射される初期投影画面の大きさは、一般的には、固定的な大きさであり、且つ、一般的には、手掌での投影区域が小さいので、多くの場合には、スマートリングと手掌との間の距離が変化する時に、投射される投影画面が手掌の大きさを超え、故に、スマートリングから投射される投影画面を適切な比例で圧縮して、投影画面を手掌での投影区域内に投射する。
Figure 2017520026
本発明の少なくとも一つの実施形態では、次の方式を採用して、手掌の3D形状分布に従って、手掌での投影区域内の投影画面の表示輝度を補正する。
Figure 2017520026
本発明の少なくとも一つの実施形態では、手掌の3D形状分布における、対応位置の座標点を積分演算することにより、特定される投影平面に対して対応位置の傾斜程度を得て、さらに、手掌の変形程度を反映することができ、異なる位置の変形程度により輝度調整して、それにより、手掌の変形による画面変形に適応して、画面を正常的に表示させる。
本発明の実施形態が提供するウェアラブルデバイスの投影を制御する方法では、スマートリング上に設置される3D収集デバイス収集した手掌の3D形状分布により、手掌に位置する投影区域の頂点座標を特定し、且つ、特定の投影区域の頂点座標に従って一つの投影平面を特定して、この投影平面とスマートリングの投影視野角の中心線との間の角度、投影平面の幾何中心とスマートリングとの間の距離、及び手掌の3D形状分布により、スマートリングから投射される投影画面を手掌での投影区域内に投影表示させるように、手掌での投影制御を行う。つまり、手指と手掌が変化する場合に、対応の変化を角度、距離及び手掌の変形程度に反映し、且つ、スマートリングから投射される投影画面を手掌に正常的に投影表示させるように、投影画面に対して調整制御を行う。
上記の実施形態が提供するウェアラブルデバイスの投影を制御する方法によれば、本発明の少なくとも一つの実施形態は、図4に示すように、収集モジュール1、特定モジュール2、制御モジュール3を含む、ウェアラブルデバイスの投影を制御する装置をさらに提供する。
収集モジュール1は、次のように用いられる。ウェアラブルデバイスに設置される3D収集デバイスにより、投影スクリーンとなる物体の3D形状分布を収集して得る。
特定モジュール2は、次のように用いられる。収集モジュール1によって収集される、投影スクリーンとなる物体の3D形状分布により、投影スクリーンとなる物体での投影区域に位置する頂点座標を特定し、且つ、特定された頂点座標により、一つの投影平面を特定する。
制御モジュール3は、次のように用いられる。ウェアラブルデバイスでの投影手段の投影視野角の中心線と特定モジュールによって特定される投影平面との間の角度、投影平面の幾何中心とウェアラブルデバイスでの投影手段との間の距離、及び投影スクリーンとなる物体の3D形状分布により、投影スクリーンとなる物体での投影区域内に、ウェアラブルデバイスの投影手段から投射された投影画面が明晰で安定的に投影表示されるように、投影制御を行う
本発明の少なくとも一つの実施形態において、例えば、特定モジュール2は、次のように用いられる。特定される頂点座標との間の距離の分散の和が最小になる平面を、投影平面として特定する。
本発明の少なくとも一つの実施形態において、例えば、制御モジュール3は、次のように用いられる。ウェアラブルデバイスでの投影手段の投影視野角の中心線と特定モジュール2によって特定される投影平面との間の角度により、投影スクリーンとなる物体に投影される投影画面が投影スクリーンとなる物体での投影区域の形状に適応するように、投影手段から投射される投影画面の形状を調整し、ウェアラブルデバイスでの投影手段と特定モジュール2によって特定される投影平面の幾何中心との間の距離により、投影スクリーンとなる物体に投影される投影画面が投影スクリーンとなる物体での投影区域の大きさに適応するように、投影手段から投射される投影画面の大きさを調整し、投影スクリーンとなる物体の3D形状分布により、投影スクリーンとなる物体での投影区域内に投影される投影画面の表示輝度を、補正する。
本発明の少なくとも一つの実施形態において、例えば、制御モジュール3は、次のように用いられる。投影平面と投影手段の投影視野角の中心線との間の角度により、投影手段から投射される投影画面に対して台形補正を行うための補正角度を特定し、特定される補正角度により、前記投影手段から投射される投影画面を台形補正する。
Figure 2017520026
Figure 2017520026
本発明の実施形態において、ウェアラブルデバイスがスマートリングであり、投影スクリーンとなる物体が手掌である。
本発明の少なくとも一つの実施形態が提供するウェアラブルデバイスの投影を制御する装置では、ウェアラブルデバイス上に設置される3D収集デバイスが収集した投影スクリーンとなる物体の3D形状分布により、投影スクリーンとなる物体に位置する投影区域の頂点座標を特定し、且つ、特定された投影区域の頂点座標に従って一つの投影平面を特定し、この投影平面と投影手段の投影視野角の中心線との間の角度、投影平面の幾何中心と投影手段との間の距離、及び投影スクリーンとなる物体の3D形状分布により、投影手段から投射される投影画面を手掌での投影区域内に投影表示させるように、投影制御を行う。つまり、ウェアラブルデバイスの投影手段と投影スクリーンとなる物体との間の相対位置が変化する場合、又は投影スクリーンとなる物体が変形する場合に、対応の変化を角度、距離及び投影スクリーンとなる物体の3D形状の変形に反映することができ、且つ、ウェアラブルデバイス上の投影手段から投射される投影画面を、投影スクリーンとなる物体の表面に明晰で安定で正常的に投影表示させるように、投影画面に対して調整制御を行う。
上記の実施形態にかかるウェアラブルデバイスの投影を制御する方法と装置によれば、本発明の少なくとも一つの実施形態は、ウェアラブルデバイスをさらに提供し、このウェアラブルデバイスは、投影手段と、ウェアラブルデバイスの投影を制御する装置とを含み、このウェアラブルデバイスの投影を制御する装置は、上記の実施形態にかかるウェアラブルデバイスの投影の装置である。
本発明の少なくとも一つの実施形態において、ウェアラブルデバイスでは、ウェアラブルデバイスの投影を制御する装置以外の他の部分が従来の構造と同様であり、ここで、重複の説明を省略する。
以上、スマートリングと手掌を例にして説明したが、当業者は、本発明がこれに限られないと理解すべきである。例えは、ウェアラブルデバイスは、スマートブレスレット、スマートウォッチ、スマートガラスなどの投影表示機能を持つウェアラブルデバイスであってもよく、投影スクリーンとなる物体は、壁、テーブル、腕などの各種のものであってもよい。
以上の記述は、本発明の代表的な実施の形態だけであり、本発明の保護範囲を制限するものではなく、本発明の保護範囲は、付属の請求の範囲によって決められる。
本願は、2014年4月28日に提出した中国専利申請第201410175550.7号の優先権を要求し、ここで、この中国専利申請公開の内容の全文を、本願の一部として引用する。
1 収集モジュール
2 特定モジュール
3 制御モジュール

Claims (15)

  1. 投影手段が設置されたウェアラブルデバイスの投影を制御する方法であって、
    前記ウェアラブルデバイス上に設置された3D収集デバイスが投影スクリーンとなる物体の3D形状分布を収集することと、
    収集された前記投影スクリーンとなる物体の3D形状分布により、前記投影スクリーンとなる物体に位置する投影区域の頂点座標を特定することと、
    特定された前記頂点座標に従って、一つの投影平面を特定することと、
    前記投影平面と前記投影手段の投影視野角の中心線との間の角度、前記投影平面の幾何中心と前記投影手段との間の距離、及び前記投影スクリーンとなる物体の3D形状分布により、投影制御を行うことと
    を含むウェアラブルデバイスの投影を制御する方法。
  2. 特定された前記頂点座標との間の距離の分散の和が最小になる平面を、投影平面として特定する
    請求項1に記載の方法。
  3. 前記投影平面と前記投影手段の投影視野角の中心線との間の角度により、前記投影スクリーンとなる物体に投影される投影画面が前記投影スクリーンとなる物体での投影区域の形状に適応するように、前記投影手段から投射された投影画面の形状を調整し、
    前記投影平面の幾何中心と前記投影手段との間の距離により、前記投影スクリーンとなる物体に投影される投影画面が前記投影スクリーンとなる物体での投影区域の大きさに適応するように、前記投影手段から投射される投影画面の大きさを調整し、
    前記投影スクリーンとなる物体の3D形状分布により、投影スクリーンとなる物体上の投影区域内に投影される投影画面の表示輝度を補正する
    請求項1又は請求項2に記載の方法。
  4. 前記投影平面と前記投影手段の投影視野角の中心線との間の角度により、前記投影手段から投射される投影画面に対して台形補正を行うための補正角度を特定し、
    前記補正角度により、前記投影手段から投射される投影画面を台形補正する
    請求項3に記載の方法。
  5. 数式
    Figure 2017520026
    に従って、前記投影手段から投射される投影画面に対して圧縮を行うための圧縮比例を特定し、
    前記投影手段から投射される投影画面の大きさを、前記投影手段から投射される投影画面を前記圧縮比例で圧縮した後の大きさになるように調整し、
    ここで、
    Figure 2017520026
    は、前記投影手段から投射される投影画面に対して圧縮するための圧縮比例であり、
    Figure 2017520026
    は、投影スクリーンとなる物体のサイズであり、
    Figure 2017520026
    は、予め設定された投影スクリーンのサイズであり、
    Figure 2017520026
    は、投影平面の幾何中心と前記投影手段との間の距離であり、
    Figure 2017520026
    は、投影区域のサイズと投影スクリーンのサイズが等しい時対応する投影平面の幾何中心と前記投影手段との間の距離である
    請求項3に記載の方法。
  6. 数式
    Figure 2017520026
    を従って、前記投影スクリーンとなる物体での投影区域内の投影画面の表示輝度を特定し、
    特定される表示輝度により、投影スクリーンとなる物体での投影区域内に投射される投影画面の表示輝度を補正し、
    ここで、
    Figure 2017520026
    は、前記投影スクリーンとなる物体での投影区域内、座標点
    Figure 2017520026
    位置の投影画面に対応する表示輝度であり、
    Figure 2017520026
    は、座標点
    Figure 2017520026
    位置に投射される表示画面の表示輝度であり、
    Figure 2017520026
    は、前記投影スクリーンとなる物体の3D形状分布において、前記投影スクリーンとなる物体での投影区域内、座標点
    Figure 2017520026
    に対応する三次元座標点の積分である
    請求項3に記載の方法。
  7. 前記ウェアラブルデバイスは、スマートリングであり、
    前記投影スクリーンとなる物体は、手掌である
    請求項1〜6のいずれかに記載の方法。
  8. 投影手段が設置されたウェアラブルデバイスの投影を制御する装置であって、
    前記ウェアラブルデバイス上に設置される3D収集デバイスによって、投影スクリーンとなる物体の3D形状分布を収集する収集モジュールと、
    前記収集モジュールによって収集された前記投影スクリーンとなる物体の3D形状分布により、前記投影スクリーンとなる物体に位置する投影区域の頂点座標を特定し、且つ、特定された前記頂点座標に従って一つの投影平面を特定する特定モジュールと、
    前記投影手段の投影視野角の中心線と特定モジュールによって特定された投影平面との間の角度、前記投影平面の幾何中心と前記投影手段との間の距離、及び前記投影スクリーンとなる物体の3D形状分布により、投影制御を行う制御モジュールと
    を含むウェアラブルデバイスの投影を制御する装置。
  9. 前記特定モジュールは、特定された前記頂点座標との間の距離の分散の和が最小になる平面を、投影平面として特定する
    請求項8に記載の装置。
  10. 前記制御モジュールは、
    前記投影平面と前記投影手段の投影視野角の中心線との間の角度により、前記投影スクリーンとなる物体に投影される投影画面が前記投影スクリーンとなる物体での投影区域の形状に適応するように、前記投影手段から投射される投影画面の形状を調整し、
    前記投影平面の幾何中心と前記投影手段との間の距離により、前記投影スクリーンとなる物体に投影される投影画面が投影スクリーンとなる物体での投影区域の大きさに適応するように、前記投影手段から投射される投影画面の大きさを調整し、
    前記投影スクリーンとなる物体の3D形状分布により、投影スクリーンとなる物体での投影区域内に投影される投影画面の表示輝度を補正する
    請求項8又は9に記載の装置。
  11. 前記制御モジュールは、
    前記投影平面と前記投影手段の投影視野角の中心線との間の角度により、前記投影手段から投射される投影画面に対して台形補正を行うための補正角度を特定し、
    前記補正角度により、前記投影手段から投射される投影画面を台形補正する
    請求項10に記載の装置。
  12. 前記制御モジュールは、
    数式
    Figure 2017520026
    に従って、前記投影手段から投射される投影画面に対して圧縮を行うための圧縮比例を特定し、
    前記投影手段から投射される投影画面の大きさを、前記投影手段から投射される投影画面を前記圧縮比例で圧縮した後の大きさになるように調整し、
    ここで、
    Figure 2017520026
    は、前記投影手段から投射される投影画面に対して圧縮するための圧縮比例であり、
    Figure 2017520026
    は、投影スクリーンとなる物体のサイズであり、
    Figure 2017520026
    は、予め設定された投影スクリーンのサイズであり、
    Figure 2017520026
    は、投影平面の幾何中心と前記投影手段との間の距離であり、
    Figure 2017520026
    は、投影区域のサイズと投影スクリーンのサイズが等しい時対応する投影平面の幾何中心と前記投影手段との間の距離である
    請求項10に記載の装置。
  13. 前記制御モジュールは、
    数式
    Figure 2017520026
    に従って、前記投影スクリーンとなる物体での投影区域内の投影画面の表示輝度を特定し、
    特定された表示輝度により、前記投影スクリーンとなる物体での投影区域内に投射される投影画面の表示輝度を補正し、
    ここで、
    Figure 2017520026
    は、前記投影スクリーンとなる物体での投影区域内、座標点
    Figure 2017520026
    位置の投影画面に対応する表示輝度であり、
    Figure 2017520026
    は、座標点
    Figure 2017520026
    位置に投射される表示画面の表示輝度であり、
    Figure 2017520026
    は、前記投影スクリーンとなる物体の3D形状分布において、前記投影スクリーンとなる物体での投影区域内、座標点
    Figure 2017520026
    に対応する三次元座標点の積分である
    請求項10に記載の装置。
  14. 前記ウェアラブルデバイスは、スマートリングであり、
    前記投影スクリーンとなる物体は、手掌である
    請求項8〜13のいずれかに記載の装置。
  15. ウェアラブルデバイスであって、
    投影手段と、
    請求項8〜14のいずれかに記載の、ウェアラブルデバイスの投影を制御する装置と、を含む
    ウェアラブルデバイス。
JP2017508721A 2014-04-28 2014-08-26 ウェアラブルデバイスの投影を制御する方法及び装置、ウェアラブルデバイス Pending JP2017520026A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410175550.7 2014-04-28
CN201410175550.7A CN103974048B (zh) 2014-04-28 2014-04-28 控制可穿戴设备投影的方法及装置、可穿戴设备
PCT/CN2014/085210 WO2015165181A1 (zh) 2014-04-28 2014-08-26 控制可穿戴设备投影的方法及装置、可穿戴设备

Publications (1)

Publication Number Publication Date
JP2017520026A true JP2017520026A (ja) 2017-07-20

Family

ID=51243026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017508721A Pending JP2017520026A (ja) 2014-04-28 2014-08-26 ウェアラブルデバイスの投影を制御する方法及び装置、ウェアラブルデバイス

Country Status (6)

Country Link
US (1) US9872002B2 (ja)
EP (1) EP3139599B1 (ja)
JP (1) JP2017520026A (ja)
KR (1) KR101669780B1 (ja)
CN (1) CN103974048B (ja)
WO (1) WO2015165181A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103974048B (zh) * 2014-04-28 2016-05-04 京东方科技集团股份有限公司 控制可穿戴设备投影的方法及装置、可穿戴设备
KR20160055577A (ko) * 2014-11-10 2016-05-18 엘지전자 주식회사 웨어러블 디바이스
CN104461003B (zh) * 2014-12-11 2019-02-05 联想(北京)有限公司 一种信息处理方法及电子设备
CN104486573B (zh) * 2014-12-22 2017-11-28 联想(北京)有限公司 一种信息处理方法和电子设备
CN106034212B (zh) * 2015-03-10 2019-02-26 深圳富泰宏精密工业有限公司 投影装置、控制装置及穿戴式投影***
CN104698728A (zh) * 2015-03-27 2015-06-10 百度在线网络技术(北京)有限公司 微型投影装置及其操作方法和操作装置
EP3280136B1 (en) * 2015-03-30 2021-04-28 MegaChips Corporation Projection systems and projection methods
CN106331666B (zh) 2015-07-03 2020-02-07 中兴通讯股份有限公司 一种投影终端梯形校正方法、装置及投影终端
CN105430189A (zh) * 2015-12-10 2016-03-23 合肥虔视光电科技有限公司 一种智能投影手环
CN105578163B (zh) * 2015-12-31 2020-02-21 联想(北京)有限公司 一种信息处理方法及电子设备
CN106028010A (zh) * 2016-06-17 2016-10-12 联想(北京)有限公司 一种显示控制方法及装置
CN106060310A (zh) * 2016-06-17 2016-10-26 联想(北京)有限公司 一种显示控制方法及装置
DE102017219790A1 (de) * 2017-11-07 2019-05-09 Volkswagen Aktiengesellschaft System und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille, System und Verfahren zum Einmessen einer Augmented-Reality-Brille, Verfahren zum Unterstützen einer Posenbestimmung einer Augmented-Reality-Brille und für das Verfahren geeignetes Kraftfahrzeug
KR102558106B1 (ko) * 2018-05-30 2023-07-21 엘지디스플레이 주식회사 디스플레이 패널, 디스플레이 장치 및 가상 현실/증강 현실 장치
CN111123625B (zh) * 2019-12-13 2021-05-18 成都极米科技股份有限公司 投影仪及投影方法
CN112716117B (zh) * 2020-12-28 2023-07-14 维沃移动通信有限公司 智能手环及其控制方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005039558A (ja) * 2003-07-15 2005-02-10 Casio Comput Co Ltd プロジェクタ、プロジェクタの傾斜角度取得方法及び投影像補正方法
JP2006140556A (ja) * 2004-11-10 2006-06-01 Seiko Epson Corp プロジェクタ
US20090295712A1 (en) * 2008-05-29 2009-12-03 Sony Ericsson Mobile Communications Ab Portable projector and method of operating a portable projector
JP2010537302A (ja) * 2007-08-19 2010-12-02 リングボウ エルティディ. 指に装着される装置とその使用方法
JP2012151670A (ja) * 2011-01-19 2012-08-09 Renesas Electronics Corp 画像投影システム及び半導体集積回路
US20120249409A1 (en) * 2011-03-31 2012-10-04 Nokia Corporation Method and apparatus for providing user interfaces
JPWO2011105502A1 (ja) * 2010-02-24 2013-06-20 京セラ株式会社 携帯電子機器および投影システム
JP2014042210A (ja) * 2012-08-23 2014-03-06 Nippon Telegr & Teleph Corp <Ntt> 投影型3次元形状復元装置、投影型3次元形状復元方法及び投影型3次元形状復元プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7352913B2 (en) 2001-06-12 2008-04-01 Silicon Optix Inc. System and method for correcting multiple axis displacement distortion
JP2007078821A (ja) 2005-09-12 2007-03-29 Casio Comput Co Ltd 投影装置、投影方法及びプログラム
CN100388319C (zh) 2006-07-25 2008-05-14 深圳大学 三维主动视觉传感器的多视点姿态估计和自标定方法
FR2907246B1 (fr) * 2006-10-12 2008-12-12 Airbus France Sas Procede et dispositifs de projection de motifs bidimensionels sur des surfaces complexes d'objets tridimensionnels
DE102007055204B4 (de) 2007-11-19 2010-04-08 Deutsches Zentrum für Luft- und Raumfahrt e.V. Roboter, medizinischer Arbeitsplatz und Verfahren zum Projizieren eines Bildes auf die Oberfläche eines Objekts
US20110123694A1 (en) * 2009-11-24 2011-05-26 Hussmann Corporation Table with ethylene scrubber
CN102193631A (zh) 2011-05-05 2011-09-21 上海大学 可穿戴式三维手势交互***及其使用方法
US8228315B1 (en) 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
KR101627634B1 (ko) 2011-12-26 2016-06-08 한국전자통신연구원 프로젝터 영상 보정 장치 및 방법
JP6127366B2 (ja) * 2012-03-07 2017-05-17 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
KR20130121526A (ko) * 2012-04-27 2013-11-06 한국전자통신연구원 착용형 프로젝션 장치
JP5958072B2 (ja) * 2012-05-18 2016-07-27 株式会社Jvcケンウッド 投射装置および画像補正方法
US9626748B2 (en) * 2012-07-02 2017-04-18 Seiko Epson Corporation Projector and method for controlling the same
CN103338342A (zh) * 2013-03-19 2013-10-02 卿婷 自适应投影仪
CN103974048B (zh) * 2014-04-28 2016-05-04 京东方科技集团股份有限公司 控制可穿戴设备投影的方法及装置、可穿戴设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005039558A (ja) * 2003-07-15 2005-02-10 Casio Comput Co Ltd プロジェクタ、プロジェクタの傾斜角度取得方法及び投影像補正方法
JP2006140556A (ja) * 2004-11-10 2006-06-01 Seiko Epson Corp プロジェクタ
JP2010537302A (ja) * 2007-08-19 2010-12-02 リングボウ エルティディ. 指に装着される装置とその使用方法
US20090295712A1 (en) * 2008-05-29 2009-12-03 Sony Ericsson Mobile Communications Ab Portable projector and method of operating a portable projector
JPWO2011105502A1 (ja) * 2010-02-24 2013-06-20 京セラ株式会社 携帯電子機器および投影システム
JP2012151670A (ja) * 2011-01-19 2012-08-09 Renesas Electronics Corp 画像投影システム及び半導体集積回路
US20120249409A1 (en) * 2011-03-31 2012-10-04 Nokia Corporation Method and apparatus for providing user interfaces
JP2014042210A (ja) * 2012-08-23 2014-03-06 Nippon Telegr & Teleph Corp <Ntt> 投影型3次元形状復元装置、投影型3次元形状復元方法及び投影型3次元形状復元プログラム

Also Published As

Publication number Publication date
KR20150135765A (ko) 2015-12-03
EP3139599A4 (en) 2018-01-24
EP3139599A1 (en) 2017-03-08
KR101669780B1 (ko) 2016-10-27
CN103974048A (zh) 2014-08-06
CN103974048B (zh) 2016-05-04
EP3139599B1 (en) 2022-04-06
US9872002B2 (en) 2018-01-16
WO2015165181A1 (zh) 2015-11-05
US20160301906A1 (en) 2016-10-13

Similar Documents

Publication Publication Date Title
JP2017520026A (ja) ウェアラブルデバイスの投影を制御する方法及び装置、ウェアラブルデバイス
EP3446282B1 (en) Image processing apparatus and method
CN108154864B (zh) 显示屏处理方法、第一电子设备以及第二电子设备
TWI703870B (zh) 投影裝置、投影系統及影像校正方法
JP2017525052A (ja) 表示のためにキャプチャ画像の視野を調整する技術
TWI714018B (zh) 顯示牆的排版辨識方法以及使用此方法的電子裝置
JP2015114818A (ja) 情報処理装置、情報処理方法及びプログラム
JP2009225432A (ja) 光投影装置、照明装置
KR20180042030A (ko) 외부 디스플레이 장치의 화면 보정 장치 및 방법
WO2015126939A1 (en) Active parallax correction
JP2017187667A (ja) 頭部装着型表示装置およびコンピュータープログラム
US10867174B2 (en) System and method for tracking a focal point for a head mounted device
CN103974047A (zh) 一种穿戴式投影装置及其调焦方法、投影方法
US20150042559A1 (en) Information Processing Method And Electronic Device Thereof, Image Calibration Method And Apparatus, And Electronic Device Thereof
US11962946B2 (en) Image processing apparatus, display system, image processing method, and medium
CN105282535A (zh) 三维空间环境下的3d立体投影***及其投影方法
US20200045277A1 (en) Projection device, projection system and an image calibration method
US10296098B2 (en) Input/output device, input/output program, and input/output method
JP2004140845A (ja) プロジェクタ装置
WO2017091289A1 (en) Projecting an image on an irregularly shaped display surface
TWI543046B (zh) 光學觸控系統
JP2019140530A (ja) サーバ装置、表示装置、映像表示システム、及び映像表示方法
CN105867616A (zh) 显示画面的变换方法和变换***
TWI621356B (zh) 光雕投影方法
CN117590942A (zh) 电子设备的控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190513