JP7291244B2 - プロジェクタの台形補正方法、装置、システム及び読み取り可能な記憶媒体 - Google Patents

プロジェクタの台形補正方法、装置、システム及び読み取り可能な記憶媒体 Download PDF

Info

Publication number
JP7291244B2
JP7291244B2 JP2021557705A JP2021557705A JP7291244B2 JP 7291244 B2 JP7291244 B2 JP 7291244B2 JP 2021557705 A JP2021557705 A JP 2021557705A JP 2021557705 A JP2021557705 A JP 2021557705A JP 7291244 B2 JP7291244 B2 JP 7291244B2
Authority
JP
Japan
Prior art keywords
projection
coordinate
coordinate system
optical engine
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021557705A
Other languages
English (en)
Other versions
JP2022528659A (ja
Inventor
ジョォン，ボ
シアオ，シ
ワン，シン
ユィ，ジンチン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu XGIMI Technology Co Ltd
Original Assignee
Chengdu XGIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu XGIMI Technology Co Ltd filed Critical Chengdu XGIMI Technology Co Ltd
Publication of JP2022528659A publication Critical patent/JP2022528659A/ja
Application granted granted Critical
Publication of JP7291244B2 publication Critical patent/JP7291244B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は光学デバイスの技術分野に関し、特にプロジェクタの台形補正方法、装置、システム及びコンピュータ読み取り可能な記憶媒体に関する。
マルチメディア技術の発展に伴い、プロジェクタは、教育訓練、企業会議、ホームシアターなどのさまざまな場所で広く使用されている。ただし、プロジェクタが画像を投影するとき、投射環境には不確実な要素が多く、投影した画像が歪むことが多く、たとえば、通常の状況では、プロジェクタが投影する画面は長方形であるが、プロジェクタの配置位置が傾斜し、投影方向が投影面に完全に垂直であるわけではないなどの要素のため、投影した画面が台形などの非長方形の四辺形になり、ユーザーの視聴効果に深刻な影響を及ぼす。
このため、プロジェクタの使用前に、プロジェクタの投影画面を修正することが不可避である。現在、プロジェクタに対して台形補正を行うほとんどの方法では、複雑な幾何学的計算を行い、投影面に対するプロジェクタの偏向状況を取得し、さらに台形補正を実現する必要がある。
本発明は、プロジェクタの投影画面を補正し、ユーザーに良好な投影画面を提供することを簡単かつ迅速に実現できる、プロジェクタの台形補正方法、装置、システム及びコンピュータ読み取り可能な記憶媒体を提供することを目的とする。
上記技術課題を解決するために、本発明は、プロジェクタの台形補正方法を提供し、前記プロジェクタの台形補正方法は、
投影光学エンジンの投影面上の複数の位置点の第１の座標系における第１の座標値をＲＧＢＤカメラによる撮影により取得するステップであって、前記第１の座標系は、前記ＲＧＢＤカメラの光学システムにおける空間三次元直角座標系であるステップと、
予め決定された前記第１の座標系と前記第２の座標系との変換関係、及び前記第１の座標値に基づいて、前記位置点の前記第２の座標系における第２の座標値を決定するステップであって、前記第２の座標系は、前記投影光学エンジンの光学システムにおける空間三次元直角座標系であるステップと、
複数の前記位置点の前記第２の座標値に対して平面フィッティングを行い、フィッティング平面を取得するステップと、
前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行うステップとを含む。
本出願では、ＲＧＢＤカメラが、撮影した画像中の各点と、このＲＧＢＤカメラとの間の距離を取得できる技術を活用し、投影光学エンジンが投影すべき投影面上の画像をＲＧＢＤカメラにより撮影し、投影面上の複数の位置点とＲＧＢＤカメラとの相対位置情報を取得し、投影光学エンジンが使用された後、投影光学エンジンとＲＧＢＤカメラとの相対姿勢が変わらないという原理を組み合わせ、この位置点と投影光学エンジンとの相対位置情報、すなわち、位置点の投影光学エンジンの座標系における座標情報を取得し、この投影光学エンジンの偏向状況をさらに決定し、この偏向状況を用いてこの投影光学エンジンに対して台形補正を行い、全プロセスが簡単かつ迅速であり、投影光学エンジンの台形補正を正確かつ効率的に行うことができる。
本出願の別の任意選択的な実施例では、予め決定された前記変換関係のプロセスは、
前記投影光学エンジンによって特徴点付きのオリジナル画像を投影スクリーンに予め投影し、前記特徴点の前記投影スクリーンにおける投影点を取得するステップと、
前記投影点の前記第１の座標系における投影点の第１の座標値を前記ＲＧＢＤカメラによる撮影により取得するステップと、
前記投影点と前記特徴点とが満たすピンホールイメージングの原理に基づいて、前記投影点の前記第１の座標系、及び前記第２の座標系の各々における座標値が満たす変換関係を組み合わせ、前記投影点の第１の座標値及び前記特徴点の座標値が満たす対応関係：(u,v)T ＝ F(R,t,fx,fy,cx,cy)・(x,y,z)Tを決定するステップであって、式中、(u,v)Tは、前記特徴点の前記投影光学エンジンの画素座標系における特徴点の座標値の列ベクトルであり、(x,y,z)Tは、前記投影点の第１の座標値の列ベクトルであり、F(R,t,fx,fy,cx,cy)は、R,t,fx,fy,cx,cyに関する関数であり、R及びtは、前記変換関係の変換パラメータであり、fx及びfyは、それぞれ、前記投影光学エンジンのｘ軸方向に画素を単位として表す焦点距離パラメータ及びｙ軸方向に画素を単位として表す焦点距離パラメータであり、 cx及び cyは、それぞれ、前記投影光学エンジンのｘ軸方向の光心パラメータとｙ軸方向の光心パラメータであるステップと、
前記対応関係に基づいて、複数組の前記投影点の第１の座標値及び前記特徴点の座標値を組み合わせて、パラメータR,t,fx,fy,cx,cyを取得するステップとを含む。
本実施例では、投影光学エンジンによって、大量の特徴点を有するパターンを投影し、投影光学エンジンにおけるオリジナル画像上の特徴点と、投影画面上の投影点とが満たすピンホールイメージングの原理、及び投影点の、ＲＧＢＤカメラの第１の座標系における座標と、投影光学エンジンの第２の座標系における座標値とが満たす変換関係を用い、ＲＧＢＤカメラにより撮影された投影点から取得された投影点の第１の座標値と、オリジナル画像中の特徴点の画素座標系における特徴点の座標値との対応関係を作成し、この対応関係を用いて、投影光学エンジンの内部パラメータ、及び投影光学エンジンとＲＧＢＤカメラとの間の外部パラメータを計算し、予め決定された前記第１の座標系と前記第２の座標系との変換関係をさらに決定する。
投影光学エンジンの使用前に、より簡単かつ操作しやすい特定の投影環境を作成し、カメラ補正原理を用いて、各種のパラメータの計算プロセスを実現し、投影光学エンジンのこの後の使用に、有効的なパラメータデータを提供し、投影光学エンジンのこの後の使用での計算プロセスを簡略化し、投影光学エンジンの台形補正プロセスを加速する。
本出願の別の任意選択的な実施例では、前記位置点の前記第２の座標系における第２の座標値を決定した後、
ピンホールイメージングの原理及び複数の前記第２の座標値に基づいて、前記投影光学エンジンの投影領域を決定するステップと、
前記ＲＧＢＤカメラによる撮影により取得された投影面画像において最大の純色領域又はスクリーン領域を認識し、前記投影光学エンジンのターゲット投影領域を決定し、次に、前記した複数の前記位置点の前記第２の座標値に対して平面フィッティングを行うステップを実行するステップをさらに含み、
前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行う前記ステップは、
前記投影光学エンジンに対して台形補正を行い、前記投影光学エンジンの実際投影領域が全て前記ターゲット投影領域内にあるようにするステップを含む。
本実施例では、台形補正を行う前に、ターゲット投影領域を分割することで、投影光学エンジンが台形補正プロセスにおいて、適切な投影領域を適応的に選択し、さらに環境による影響を低減させる。
本出願の別の任意選択的な実施例では、複数の前記位置点の前記第２の座標値に対して平面フィッティングを行う前記ステップは、
前記ターゲット投影領域外の位置点を除去するステップと、
前記ターゲット投影領域内にある位置点の第２の座標値に基づいて平面フィッティングを行うステップとを含む。
ターゲット領域は、ＲＧＢＤカメラが認識した純色領域又はスクリーンが所在する領域に基づいて決定されるものであり、すなわち、投影光学エンジンが最後に投影すべき領域であり、つまり、ターゲット投影領域は、環境干渉がなくかつ投影に適する領域であるため、このターゲット投影領域内の位置点に基づいてフィッティングしたフィッティング平面は、外界環境による干渉を排除したものであり、それにより、遮蔽部位の位置点も平面フィッティングされ、最後に取得したフィッティング平面の精度が低いという問題を回避する。
本出願の別の任意選択的な実施例では、前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行った後、
前記投影光学エンジンに内蔵されたジャイロによって検出された加速度方向と前記投影光学エンジンの投影方向との夾角に従って、前記投影光学エンジンに対して光軸方向に沿う回転角を調整するステップをさらに含む。
投影領域の形状を補正することに加えて、ジャイロの投影光学エンジンに対するピッチ角を調整することで、さらに、投影光学エンジンの投影プロセスにおいて、投影画面をより完璧に調節することを実現し、投影光学エンジンの投影効果を確保し、投影光学エンジンの投影効果を向上させる。
本出願は、プロジェクタの台形補正装置をさらに提供し、このプロジェクタの台形補正装置は、
投影光学エンジンの投影面上の複数の位置点の第１の座標系における第１の座標値をＲＧＢＤカメラによる撮影により取得する第１の座標モジュールであって、前記第１の座標系は、前記ＲＧＢＤカメラの光学システムにおける空間三次元直角座標系である第１の座標モジュールと、
予め決定された前記第１の座標系と前記第２の座標系との変換関係、及び前記第１の座標値に基づいて、前記位置点の前記第２の座標系における第２の座標値を決定する第２の座標モジュールであって、前記第２の座標系は、前記投影光学エンジンの光学システムにおける空間三次元直角座標系である第２の座標モジュールと、
複数の前記位置点の前記第２の座標値に対して平面フィッティングを行い、フィッティング平面を取得する平面フィッティングモジュールと、
前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行う台形補正モジュールとを含む。
本実施例は、上記プロジェクタの台形補正方法に対応するソフトウェアモジュールの実施例であり、その技術的効果が上記台形補正方法の技術案及び技術的効果と同様であり、ここで詳しく説明しない。
本出願は、プロジェクタの台形補正システムをさらに提供し、このプロジェクタの台形補正システムは、投影光学エンジンと、ＲＧＢＤカメラと、プロセッサとを含み、
前記投影光学エンジンは、投影画面を投射し、
前記ＲＧＢＤカメラは、前記投影画面が所在する平面を撮影し、
前記プロセッサは、前記投影光学エンジン及び前記ＲＧＢＤカメラのそれぞれに接続され、前記ＲＧＢＤカメラにより撮影された画面に基づいて、請求項１～請求書５のいずれかに記載のプロジェクタの台形補正方法の操作ステップを実行する。
本実施例では、ＲＧＢＤカメラと、投影光学エンジンと、プロセッサとが互いに協働し、ＲＧＢＤカメラは、投影光学エンジンが投影した投影画面を撮影し、プロセッサは、ＲＧＢＤカメラが投影画面を撮影して得られた位置点の奥行き情報に基づいて、上記プロジェクタの台形補正方法の操作ステップを実行し、投影光学エンジンの台形補正を簡単かつ正確に実現し、ユーザーに良好な視聴効果を提供する。
本出願の別の任意選択的な実施例では、前記ＲＧＢＤカメラは、構造化光カメラ、ｔｏｆカメラ又は両眼カメラのうちのいずれか１種のカメラである。
本出願の別の任意選択的な実施例では、前記プロジェクタにジャイロが内蔵される。
ジャイロによって投影光学エンジンの光軸方向での回転角を調整し、投影光学エンジンの調整効果をさらに向上させる。
本出願は、コンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、以上のいずれかに記載のプロジェクタの台形補正方法の操作ステップを実現できる。
本実施例に係るコンピュータ読み取り可能な記憶媒体におけるコンピュータプログラムが実行されると、投影光学エンジンの台形補正を正確かつ効率的に行うことができる。
本発明の実施例と従来技術の技術的解決手段をより明確に説明するため、以下に実施例と従来技術の記述において必要な図面を用いて簡単に説明を行うが、当然ながら、以下に記載する図面は単に本発明の実施例の一部の実施例であって、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面に想到しうる。
本出願の実施例に係るプロジェクタの台形補正方法のフローチャートである。 本出願の実施例に係る変換関係を決定するフローチャートである。 カメラ補正原理の光路原理の模式図である。 本出願の実施例に係るオリジナル画像の模式図である。 図４におけるオリジナル画像の歪み画像の模式図である。 本出願の実施例に係るターゲット投影領域の模式図である。 本出願の実施例に係る別のターゲット投影領域の模式図である。 本出願の別の実施例に係るプロジェクタの台形補正方法のフローチャートである。 本発明の実施例に係るプロジェクタの台形補正装置の構造ブロック図である。
本発明の核心は、複雑な幾何学的計算を行うことなく、プロジェクタの台形補正を実現できる、プロジェクタの台形補正方法、装置、システム及びコンピュータ読み取り可能な記憶媒体を提供することである。
当業者が本発明の技術的解決手段をよりよく理解するために、本発明は、添付の図面および特定の実施形態を参照して、以下でさらに詳細に説明される。明らかに、記載された実施形態は、すべての実施形態ではなく、本発明の実施形態の一部にすぎない。本発明の実施形態に基づいて、創造的な労働なしに当業者によって得られる他のすべての実施形態は、本発明の保護範囲に含まれるものとする。
図１に示すように、図１は、本出願の実施例に係るプロジェクタの台形補正方法のフローチャートであり、この方法は、ステップＳ１１～ステップＳ１４を含む。
ステップＳ１１において、ＲＧＢＤカメラが投影光学エンジンの投影面の画像を撮影し、投影面上の複数の位置点の第１の座標系における第１の座標値を取得する。
なお、ＲＧＢＤカメラの光軸方向と、投影光学エンジンの光軸方向とは、ほぼ一致し、投影光学エンジンが投影面に投影画面を投影するとき、この投影画面は、ＲＧＢＤカメラにより撮影された画像内に位置すべきである。
具体的には、投影面とは、投影光学エンジンが画面を投射する面であり、本実施例では、ＲＧＢＤカメラが画像を撮影するとき、投影光学エンジンは、投影面に投影してもよいし、投影しなくてもよく、ＲＧＢＤカメラにより撮影された画像が投影光学エンジンが画面を投射すべき面上の画像である限り、本出願の実現に影響を与えない。
また、第１の座標系は、ＲＧＢＤカメラの光学システムにおける空間三次元直角座標系である。つまり、第１の座標値は、投影面上の位置点の、ＲＧＢＤカメラの空間三次元直角座標系における座標値である。このＲＧＢＤカメラの三次元直角座標系は、第１の座標系において、Ｘ軸及びＹ軸がいずれもＲＧＢＤカメラのイメージング平面の辺に平行し、Ｚ軸方向がこのＲＧＢＤカメラの光軸であり、原点がＲＧＢＤカメラのレンズ光心位置であるものである。
ステップＳ１２において、予め決定された第１の座標系と第２の座標系との変換関係、及び第１の座標値に基づいて、位置点の第２の座標系における第２の座標値を決定する。
なお、第１の座標系と第２の座標系との変換関係は、空間中の一点の、第１の座標系及び第２の座標系の２つの座標系における２つの座標値の変換関係である。
また、第２の座標系は、投影光学エンジンの光学システムにおける空間三次元直角座標系であり、Ｚ軸が投影光学エンジンの投射方向であり、原点が投影光学エンジンのレンズの光心である。
投影光学エンジンが実際に使用された後、投影光学エンジンとＲＧＢＤカメラとの相対位置及び姿勢は変わらず、つまり、両者の相対位置関係が固定されており、さらに第１の座標系と第２の座標系との変換関係が固定されている。これによって、投影光学エンジンに対応する第２の座標系と、ＲＧＢＤカメラに対応する第１の座標系との変換関係を予め取得できる。この変換関係に基づいて、投影面上の任意の位置点の、第１の座標系における座標値を知ると、この位置点の第２の座標系における座標値を決定することができる。
ステップＳ１３において、複数の位置点の第２の座標値に対して平面フィッティングを行い、フィッティング平面を取得する。
通常の場合、投影面は、平面であり、この平面上の複数の位置点の、第２の座標系における座標を取得すると、この第２の座標系においてこの投影面をフィッティングすることができ、この投影面と投影光学エンジンとの間の角度関係を決定することができる。
ステップＳ１４において、フィッティング平面と第２の座標系の座標軸平面との間の夾角にしたがって、投影光学エンジンに対して台形補正を行う。
第２の座標系のＺ軸と投影光学エンジンの光軸とが重なるため、フィッティング平面及び第２の座標系における座標軸を決定すると、この投影面が第２の座標系に対してＸ軸に沿って回転する角度及びＹ軸に沿って回転する角度を決定でき、これによって、投影光学エンジンの台形補正を実現できる。
通常の台形補正プロセスにおいて、一般的に、投影光学エンジンが投射面に特定のパターンを有する投影画面を投射し、投影画面上の特定の特徴点間の相対位置情報をカメラによる撮影により取得し、複雑な幾何学的計算を行い、投影画面の投影光学エンジンに対する偏向角度を決定し、さらに台形補正を実現する。しかし、この方法は、投影光学エンジンが投射するパターンが特定の特徴点を有し、この特徴点に基づいて台形補正を行う必要があり、特徴点の局所が遮蔽されると、補正精度が低くなったり、補正に失敗したりしてしまう。
従って、本出願のＲＧＢＤカメラは、投影面を撮影するとき、一部の特定の位置点を認識することなく、投影面上の大量の位置点とＲＧＢＤカメラとの相対位置情報を取得すればよい。ＲＧＢＤカメラを用いて位置点の奥行き情報を取得できるため、この位置点は、任意の形態の点であり、さらに、認識性がない純色領域を含む点である。つまり、本出願の台形補正は、投影光学エンジンが投射した画面に依存せず、さらに投影光学エンジンが画面を投射しなくても、投影光学エンジンの台形補正を実現することができ、それにより、投影遮蔽の問題を完全に回避することができる。投影面上の各位置点の投影光学エンジンに対する相対位置座標を決定すると、各位置点に対して平面フィッティングを行ってフィッティング平面を取得する。このフィッティング平面が、位置点の、投影光学エンジンに対応する第２の座標系における座標値に基づいてフィッティングして取得されるため、フィッティング平面と、ｘｏｙ面などの第２の座標系の座標軸平面との相対位置関係を決定することができる。前述したように、第２の座標系のＺ軸方向は、投影光学エンジンの撮影光軸方向であり、従って、フィッティング平面の、投影光学エンジンの投射方向に対する偏向角度及び方向を決定でき、さらにこの偏向角度及び方向に基づいて、投影光学エンジンの台形補正を実現することができる。
なお、本出願に係るプロジェクタの台形補正方法は、長焦点距離のプロジェクタ、短焦点距離のプロジェクタ、レーザテレビなど、画像投影に関する機器の台形補正に広く適用され、これについては、本出願では具体的に限定しない。
本出願では、ＲＧＢＤカメラが撮影する投影面上の位置点の奥行き情報を取得できる利点を用い、ＲＧＢＤカメラと投影光学エンジンとの相対姿勢が変わらない原理を組み合わせ、投影光学エンジンの空間三次元直角座標系における各位置点の座標値を決定し、すなわち、各位置点と投影光学エンジンとの間の相対位置関係を決定することに相当し、フィッティング平面により、各位置点が所在する平面と投影光学エンジンの投射方向との間の相対位置関係を決定し、幾何学計算を行うことなく、投影光学エンジンが特定のパターンを投影することなく、プロジェクタの台形補正を迅速かつ効果的に行うことができる。
前述したように、本出願では、ＲＧＢＤカメラと投影光学エンジンとの間の相対位置及び姿勢を予め決定し、第１の座標系と第２の座標系との変換関係を決定する必要がある。以下、具体的な実施例にて、本出願で上記ステップＳ１３の変換関係を決定するプロセスについて説明し、図２に示すように、図２は、本出願の実施例に係る、変換関係を決定するフローチャートであり、このプロセスは、ステップＳ２１～ステップＳ２４を含むことができる。
ステップＳ２１において、投影光学エンジンによって、特徴点付きのオリジナル画像を投影スクリーンに投影する。
なお、本実施例に係る、変換関係を決定するプロセスは、投影光学エンジンの使用前に、工場で完了されてもよい。
特徴点付きのオリジナル画像として、格子画像、又は、大量の特徴点を有する他の配列画像を用いてもよいが、これについては、本出願では具体的に限定しない。
ステップＳ２２において、投影点の第１の座標系における第１の座標値をＲＧＢＤカメラによる撮影により取得する。
ステップＳ２３において、投影点と特徴点とが満たすピンホールイメージングの原理に基づいて、投影点の、第１の座標系及び第２の座標系の各々における座標値が満たす変換関係を組み合わせ、投影点の第１の座標値と特徴点の座標値とが満たす対応関係を決定する。
具体的には、特徴点の座標値は、オリジナル画像中の特徴の、投影光学エンジンの画素座標系における座標値である。
ステップＳ２４において、対応関係に基づいて、複数組の投影点の、第１の座標値及び特徴点の座標値を組み合わせ、変換関係の関連パラメータを計算する。
具体的には、図３は、ピンホールイメージングの原理の光路原理の模式図である。図３に示すように、ピンホールイメージングの原理に基づいて、カメラ座標系において、点Ｐは、カメラの光心を通り、カメラのイメージング平面にＰ'点をイメージングし、Ｐ'のカメラの画素座標系における座標値と、Ｐ点のカメラ座標系における座標値とは、相似三角形の幾何的原理を満たし、つまり、Ｐ点のｘ軸座標値及びｙ軸座標値と、Ｐ'点のｘ軸座標値及びｙ軸座標値とは、所定の割合関係を満たす。ピンホールイメージングの原理が光学デバイスにおける成熟した光学モデル技術であるため、Ｐ点とＰ'点とが２つの座標系において満たす座標関係については、ここで詳しく説明しない。
本実施例では、投影光学エンジンのオリジナル画像中の特徴点の、投影光学エンジンの画素座標系における座標値は、特徴点の座標値であり、このオリジナル画像中の特徴点を投影画面に投影してイメージングして形成した投影点の、投影光学エンジンの第２の座標系における座標は、投影点の第２の座標値である。明らかに、特徴点と投影点とは、投影光学エンジンのレンズ光心を基準として互いに投射するため、特徴点の座標値と投影点の第２の座標値とはピンホールイメージングの原理を満たす。
オリジナル画像を実際に選択して設定するとき、図４に示す格子画像を選択することができ、図４は、本出願の実施例に係るオリジナル画像の模式図であり、格子の交差点を特徴点とし、高い認識性、特徴点の数も非常に多い。
オリジナル画像中のある特徴点をA点とし、投影光学エンジンの画素座標系が平面直角座標系であるため、A点の特徴点の座標値を(u,v)、投影点Acの投影点の第２の座標値を(xc,yc,zc)とする。
Acの投影点の座標値は、(xc,yc,zc)であり、三次元直角座標系における座標値であり、A点の特徴点の座標値は、(u,v)であり、二次元直角座標系における座標値であり、従って、Acの投影点の座標値を二次元直角座標系における座標に変換する必要があり、変換式は、
Figure 0007291244000001
 であり、変換後のAcの投影点の二次元座標値は、(x',y')である。
さらに投影光学エンジンの投影プロセスにおいて、A点からAc点への歪みを考慮すると、図５に示すように、図５は、図４におけるオリジナル画像の歪み画像の模式図である。このため、Acの投影点の二次元座標値に対して歪み補正を行い、具体的な補正式は、以下のとおりである。
Figure 0007291244000002
Figure 0007291244000003
これによって、Acを歪み補正した投影点の二次元座標値(x",y")を取得し、式中、r2 ＝ x'2 ＋ y'2、k1、k2、k3、k4、k5、k6、p1、p2、s1、s2、s3及びs4は、いずれも投影光学エンジンに関連する定数パラメータである。
さらに、以上に記載のピンホールイメージングの原理、特徴点Aと投影点Acの座標値が満たす幾何関係に基づいて、以下の式を得ることができる。
Figure 0007291244000004
 式中、fx及びfyは、それぞれ前記投影光学エンジンのｘ軸方向に、画素を単位として示す焦点距離パラメータ、及びｙ軸方向に画素を単位として示す焦点距離パラメータであり、cx及びcyは、それぞれ、前記投影光学エンジンのｘ軸方向の光心パラメータ及びｙ軸方向の光心パラメータである。
ＲＧＢＤカメラが投影点Acを撮影することで決定した、Ac点のＲＧＢＤカメラに対応する第１の座標系における座標値を投影点の第１の座標値(x,y,z)とし、投影点Acの投影点の第１の座標値と、投影点の第２の座標値とは、
(x,y,z)T ＝ R・(xc,yc,zc)T＋ tの変換関係を満たすように設定し、式中、(x,y,z)Tは、投影点の第１の座標値の列ベクトルであり、(xc,yc,zc)Tは、投影点の第２の座標値の列ベクトルであり、R及びtは、前記変換関係の変換パラメータであり、この変換関係は、第１の座標系と第２の座標系との変換関係である。
さらに、この変換関係と上記導出式とを組み合わせることで、投影点AcのＲＧＢＤカメラにおける投影点の第１の座標値と、オリジナル画像中の特徴点のＲＧＢＤカメラの画素座標系における特徴点の座標値は、
(u,v)T ＝ F(R,t,fx,fy,cx,cy)・(x,y,z)Tを満たし、式中、(u,v)Tは、前記特徴点の座標値の列ベクトルであり、F(R,t,fx,fy,cx,cy)は、R,t,fx,fy,cx,cyに関する関数である。
オリジナル画像に大量の特徴点があり、特徴点の画素座標系における特徴点の座標値が既知のものであり、画像中の特徴点マッチング原理に基づいて、各特徴点の投影画像における対応する投影点を決定し、各投影点の投影点の第１の座標系における第１の座標値がＲＧＢＤカメラによって取得され、これによって、複数組の(u,v)T及び(x,y,z)Tに基づいて、上記導出式を組み合わせることで、k1、k2、k3、k4、k5、k6、p1、p2、s1、s2、s3、s4及びR,t,fx,fy,cx,cyなどのパラメータを計算することができる。
R及びtは、変換関係の変換パラメータであり、従って、R及びtを計算した後に、第１の座標系と第２の座標系との変換関係、すなわち、空間中の一点の、２つの座標系における座標値の変換関係を決定することができる。
本実施例では、投影光学エンジンが大量の特徴点を有するパターンを投影し、投影光学エンジンのオリジナル画像中の特徴点と、投影画面上の投影点とが満たすピンホールイメージングの原理の関係、及び投影点のＲＧＢＤカメラの第１の座標系における座標と、投影光学エンジンの第２の座標系における座標との関係を用い、ＲＧＢＤカメラが投影点を撮影することで取得した投影点の第１の座標値と、オリジナル画像中の特徴点の画素座標系における特徴点の座標値との対応関係を作成し、この対応関係を用い、投影光学エンジンの内部パラメータ、及び投影光学エンジンとＲＧＢＤカメラとの間の外部パラメータを計算し、さらに前記第１の座標系と前記第２の座標系との変換関係を決定する。
プロジェクタの使用前に、より簡単かつ操作しやすい特定の投影環境を作成し、カメラ補正原理を用いて様々なパラメータの計算プロセスを実現し、プロジェクタのこの後の使用に、有効的なパラメータデータを提供し、プロジェクタのこの後の使用での計算プロセスを簡略化し、プロジェクタの台形補正プロセスを加速する。
上記任意の実施例によれば、プロジェクタが投影面に投射してイメージングした各位置点と、投影光学エンジンにおける既存のオリジナル画像中の点とは、ピンホールイメージングの原理を満たす。
オリジナル画像中の点を投影面に投影することを投影マッピング関係とすれば、投影光学エンジンの投影領域内の各位置点に対応するオリジナル画像中の投影マッピング点は、オリジナル画像が所在する平面上の小さい画素領域内に集中し、この画素領域は、オリジナル画像の所在領域であり、この画素領域に位置する投影マッピング点の画素座標値も、この画素領域に属すべきである。
ＲＧＢＤカメラが投影面の画像を撮影するとき、撮影した画像領域は、投影光学エンジンよりやや大きい投影領域である。そのため、ＲＧＢＤカメラにより撮影された投影面上の位置点に対応する投影マッピング点が画素領域内に位置しない場合、この位置点が投影光学エンジンの投影領域内に位置しないことが示される。
そのため、本出願の別の特定の実施例では、上記ステップＳ１２の後であって、ステップＳ１３の前、すなわち、ＲＧＢＤカメラにより、投影面上の各位置点の第１の座標値を取得し、対応する第２の座標値を決定した後であって、複数の第２の座標値に基づいて平面フィッティングを行う前に、
ピンホールイメージングの原理及び複数の第２の座標値に基づいて、投影光学エンジンの投影領域を決定するステップと、
ＲＧＢＤカメラにより撮影して取得された投影面の画像において、最大の純色領域又はスクリーン領域を認識し、投影光学エンジンのターゲット投影領域を決定し、複数の位置点の第２の座標値に対して平面フィッティングを行うステップを実行するステップとをさらに含むことができ、
フィッティング平面と第２の座標系の座標軸平面との間の夾角にしたがって、投影光学エンジンに対して台形補正を行うステップは、
投影光学エンジンに対して台形補正を行い、投影光学エンジンの実際投影領域が全てターゲット投影領域内にあるようにするステップを含む。
前の実施例と同様に、本実施例では、平面上の位置点と、投影光学エンジンの画素領域中の点とが満たすピンホールイメージングの原理に基づいて、ＲＧＢＤカメラにより撮影された投影面上のどの領域が投影領域に属するかを決定することができる。
投影環境が遮蔽されたり、又は、投影領域がスクリーンからずれたりすることがあることに配慮し、台形補正を行う前、ＲＧＢＤカメラにより、投影領域を含む領域の画像を撮影し、画像において、投影することに最適なターゲット投影領域を認識する。
ターゲット投影領域については、図６ａ及び図６ｂを参照することができ、図６ａは、本出願の実施例に係るターゲット投影領域の模式図であり、図６ｂは、本出願の実施例に係る別のターゲット投影領域の模式図である。
図６ａにおいて、ＲＧＢＤカメラにより撮影された画像１では、純色領域３は、ターゲット投影領域であり、台形の投影領域２は、現在の投影光学エンジンが画面を投射できる領域である。一般的な状況で、投影領域２と純色領域３とに、重なり領域があり、台形補正を行うとき、投影光学エンジンがターゲット投影領域外に投射した一部の画素を無効にすることができる。投影光学エンジンが最後に投射できる領域は、ターゲット投影領域と投影領域２とが重なっている領域のみであり、つまり、投影画面は、最後にターゲット投影領域と投影領域２とが重なっている領域のみに位置し、この領域内に長方形画面を投射する。
図６ｂにおいて、画像１の純色領域３と台形の投影領域３との重なり領域をターゲット投影領域４に分割し、台形補正を行うとき、同様に、投影画面全体をターゲット投影領域４内にし、長方形画面を投射する。
図６ａと図６ｂにおいて、ターゲット投影領域の領域分割がやや異なることを除いて、台形補正を行う方法は、完全に同様であり、台形補正の実現プロセスは、完全に同様である。
なお、投影光学エンジンにより投射された画面の領域を調整する方法は、２つあり、１つは、投影光学エンジンの位置、光軸などを調整し、さらに投影光学エンジンにより投射された画面をスクリーンなどの投影面において移動することを実現することであり、もう１つは、投影光学エンジンのオリジナル画像を調整し、たとえば、投影光学エンジンの投影領域が台形であると、オリジナル画像を台形に調整し、投影光学エンジンが投射した後、投影平面に長方形画面を表示するととともに、投影光学エンジンの光軸を調整する必要がなくなることである。
投影光学エンジンの位置及び光軸を変えることなく、投影光学エンジンが投射できる領域範囲は、固定されており、すなわち、上記ステップでピンホールイメージングの原理により取得された投影領域である。オリジナル画像に対して所定の調整を行い、すなわち、投影光学エンジンのオリジナル画像中の一部の画素領域を無効にすることで、実際投影領域がこの投影領域に比べて所定の程度に収縮し、最後に長方形の実際投影領域になることを実現できる。
本実施例では、プロジェクタに対して台形補正を行うとき、投影光学エンジンの実際投影領域を投影領域及び純色領域（又はスクリーン）の重なり領域に収縮させ、投影環境での遮蔽物の干渉を回避し、プロジェクタの投影効果を向上させる。
さらに、本出願の別の特定の実施例では、ターゲット投影領域を決定した後、平面フィッティングを行うとき、具体的には、
ターゲット投影領域外の位置点を除去するステップと、
ターゲット投影領域内にある位置点の第２の座標値に基づいて平面フィッティングを行うステップとを含むことができる。
前述したように、本出願の位置点は、実際にＲＧＢＤカメラにより撮影できる画像中の位置点であり、ＲＧＢＤカメラにより撮影された画像中の各位置点がいずれも同一の平面に位置する場合、位置点にしたがってフィッティングされた平面は、必然的に投影領域が所在する平面である。一方、コーナー領域が遮蔽されており、又は、一部の領域がスクリーンフレーム領域ではない場合、撮影された画像中の位置点は、全て投影面上の位置点であるわけではなく、ＲＧＢＤカメラにより撮影されたすべての位置点の第２の位置座標に対していずれも平面フィッティングを行い、フィッティングした平面は、投影領域が位置する平面を表すことができず、この位置点をフィッティングして得られた平面に対して台形補正を行うと、明らかに、台形補正の精度を低減させてしまう。
また、投影光学エンジンの現在の投影領域における使用可能な位置点は、ターゲット投影領域との重なり部分の位置点であり、投影光学エンジンは、最後に、投射すべき画面が必ずターゲット投影領域内に位置する必要があり、従って、ターゲット投影領域内の位置点をフィッティング根拠とし、さらに外界環境による台形補正への影響を解消する。
上記任意の実施例によれば、本出願の別の特定の実施例では、図６に示すように、図７は、本出願の別の実施例に係るプロジェクタの台形補正方法のフローチャートであり、この方法は、ステップＳ３１～ステップＳ３９を含むことができる。
ステップＳ３１において、ＲＧＢＤカメラは、投影面が所在する平面の投影画像を撮影し、投影画像中の複数の位置点の第１の座標系における第１の座標値を取得する。
ステップＳ３２において、予め決定された第１の座標系と第２の座標系との変換関係、及び第１の座標値に基づいて、位置点の第２の座標系における第２の座標値を決定する。
ステップＳ３３において、各位置点の第２の座標値と、対応するソース位置点のソース位置点座標との投影マッピング関係に基づいて、ソース位置点の予め設定された領域における対応する位置点を決定する。
予め設定された領域は、投影光学エンジンの画素座標系における、オリジナルパターンが所在する領域である。
ステップＳ３４において、投影マッピング点の予め設定された画素点における対応する位置点の第２の座標値に基づいて、ＲＧＢＤカメラにより撮影された投影画像中の投影領域を決定する。
ステップＳ３５において、ＲＧＢＤカメラが投影面を撮影して取得した投影画像において、純色領域又はスクリーン領域を認識し、投影領域を組み合わせてターゲット投影領域を決定する。
本実施例の投影領域は、図６ｂにおけるターゲット投影領域である。
ステップＳ３６において、ターゲット投影領域外に位置する位置点を除去する。
ステップＳ３７において、ターゲット投影領域内にある位置点の第２の座標値に基づいてフィッティングしてフィッティング平面を取得する。
ステップＳ３８において、フィッティング平面と第２の座標系の座標軸平面との間の夾角にしたがって、投影光学エンジンに対して台形補正を行い、台形補正後の投影光学エンジンの投影領域が全てターゲット領域にあるようにする。
ステップＳ３９において、投影光学エンジンに内蔵されたジャイロによって検出された加速度方向と投影光学エンジン投影方向との夾角に従って、投影光学エンジンに対して光軸方向に沿う回転角を調整する。
なお、ＲＧＢＤカメラにより撮影された投影平面の画像によって、投影光学エンジンを補正することで、投影光学エンジンが投射した投影領域が長方形であることだけ確保できるが、投影光学エンジンが投射した画面が光軸を中心として回転したか否かを決定できない。
そのため、本実施例では、さらにジャイロによって、投影光学エンジンの光軸方向を検出し、このジャイロの１本の直角座標軸は、投影光学エンジンの光軸と垂直であってもよいし、又は、他の一定の角度をなすように常に維持されてもよい。この場合、投影光学エンジンが光軸を中心として回転すると、対応するジャイロも回転し、ジャイロにより検出された重力方向によって、この投影光学エンジンの回転角度を決定することができる。
たとえば、従来のほとんどの投影光学エンジンは、垂直平面に画面を投射するものである。通常の場合、光軸はジャイロのｚ軸方向に平行し、重力方向はｘ軸方向に平行し、この場合、重力方向とｘ軸方向とが４５度の夾角をなすことをジャイロが検出すると、この投影光学エンジンが回転したことを決定でき、これによって、投影光学エンジンを調整することができる。
以下、本発明の実施例に係るプロジェクタの台形補正装置について説明し、以下に説明されるプロジェクタの台形補正装置と、以上に説明されたプロジェクタの台形補正方法とは、互いに対応して参照することができる。
図８は、本発明の実施例に係るプロジェクタの台形補正装置の構造ブロック図であり、図８を参照したプロジェクタの台形補正装置は、
投影光学エンジンの投影面上の複数の位置点の、第１の座標系における第１の座標値をＲＧＢＤカメラによる撮影により取得する第１の座標モジュール１００であって、前記第１の座標系は、前記ＲＧＢＤカメラの光学システムにおける空間三次元直角座標系である第１の座標モジュール１００と、
予め決定された前記第１の座標系と前記第２の座標系との変換関係、及び前記第１の座標値に基づいて、前記位置点の前記第２の座標系における第２の座標値を決定する第２の座標モジュール２００であって、前記第２の座標系は、前記投影光学エンジンの光学システムにおける空間三次元直角座標系である第２の座標モジュール２００と、
複数の前記位置点の前記第２の座標値に対して平面フィッティングを行い、フィッティング平面を取得する平面フィッティングモジュール３００と、
前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行う台形補正モジュール４００とを含むことができる。
任意選択的には、本出願の別の特定の実施例では、前記変換関係を予め決定するプロセス用の変換関係モジュールをさらに含むことができ、具体的には、
前記投影光学エンジンによって特徴点付きのオリジナル画像を投影スクリーンに予め投影し、前記特徴点の前記投影スクリーンにおける投影点を取得する投影点ユニットと、
前記投影点の前記第１の座標系における投影点の第１の座標値を前記ＲＧＢＤカメラによる撮影により取得する座標ユニットと、
前記投影点と前記特徴点とが満たすピンホールイメージングの原理に基づいて、前記投影点の前記第１の座標系、及び前記第２の座標系の各々における座標値が満たす変換関係を組み合わせ、前記投影点の第１の座標値及び前記特徴点の座標値が満たす対応関係：
(u,v)T ＝ F(R,t,fx,fy,cx,cy)・(x,y,z)Tを決定する対応関係ユニットとであって、式中、(u,v)Tは、前記特徴点の前記投影光学エンジンの画素座標系における特徴点の座標値の列ベクトルであり、(x,y,z)Tは、前記投影点の第１の座標値の列ベクトルであり、F(R,t,fx,fy,cx,cy)は、R,t,fx,fy,cx,cyに関する関数であり、R及びtは、前記変換関係の変換パラメータであり、fx及びfyは、それぞれ、前記投影光学エンジンのｘ軸方向に画素を単位として表す焦点距離パラメータ及びｙ軸方向に画素を単位として表す焦点距離パラメータであり、 cx及び cyは、それぞれ、前記投影光学エンジンのｘ軸方向の光心パラメータ及びｙ軸方向の光心パラメータである対応関係ユニットと、
前記対応関係に基づいて、複数組の前記投影点の第１の座標値及び前記特徴点の座標値を組み合わせて、パラメータR,t,fx,fy,cx,cyを取得するパラメータユニットとを含む。
任意選択的には、本出願の別の特定の実施例では、
ピンホールイメージングの原理及び複数の前記第２の座標値に基づいて、前記投影光学エンジンの投影領域を決定し、前記ＲＧＢＤカメラによる撮影により取得された投影面画像において最大の純色領域又はスクリーン領域を認識し、前記投影光学エンジンのターゲット投影領域を決定し、次に、前記した複数の前記位置点の前記第２の座標値に対して平面フィッティングを行うステップを実行するターゲット領域モジュールをさらに含むことができ、
台形補正モジュール４００は、具体的には、前記投影光学エンジンに対して台形補正を行い、前記投影光学エンジンの実際投影領域が全て前記ターゲット投影領域内にあるようにする。
任意選択的には、本出願の別の特定の実施例では、平面フィッティングモジュール３００は、具体的には、前記ターゲット投影領域外の位置点を除去し
前記ターゲット投影領域内にある位置点の第２の座標値に基づいて平面フィッティングを行う。
任意選択的には、本出願の別の特定の実施例では、
前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行った後、前記投影光学エンジンに内蔵されたジャイロによって検出された加速度方向と前記投影光学エンジンの投影方向との夾角に従って、前記投影光学エンジンに対して光軸方向に沿う回転角を調整する回転補正モジュールをさらに含むことができる。
本実施例のプロジェクタの台形補正装置が前述のプロジェクタの台形補正方法を実現するため、プロジェクタの台形補正装置の具体的な実施形態については、以上のプロジェクタの台形補正方法の実施例部分を参照することができ、たとえば、第１の座標モジュール１００、第２の座標モジュール２００、平面フィッティングモジュール３００、台形補正モジュール４００は、それぞれ、上記プロジェクタの台形補正方法のステップＳ１１、Ｓ１２、Ｓ１３及びＳ１４を実現し、従って具体的な実施形態については、対応する各部分の実施例の説明を参照することができ、ここで詳しく説明しない。
本出願では、プロジェクタの台形補正システムをさらに提供し、このプロジェクタの台形補正システムは、投影光学エンジンと、ＲＧＢＤカメラと、プロセッサとを含み、
投影光学エンジンは、投影画面を投射し、
ＲＧＢＤカメラは、投影画面が所在する平面を撮影し、
プロセッサは、投影光学エンジン及びＲＧＢＤカメラのそれぞれに接続され、ＲＧＢＤカメラにより撮影された画面に基づいて、以上の任意の実施例のプロジェクタの台形補正方法の操作ステップを実行する。
本実施例では、ＲＧＢＤカメラとプログラム計算可能なプロセッサの協働により、プロジェクタに対して台形補正を行い、計算プログラムが簡単かつ容易であり、台形補正の精度が高く、環境により影響されにくい。
任意選択的には、本出願の別の特定の実施例では、
前記ＲＧＢＤカメラは、構造化光カメラ、ｔｏｆカメラ又は両眼カメラのうちのいずれか１種のカメラである。
任意選択的には、本出願の別の特定の実施例では、
前記プロジェクタにジャイロが内蔵される。
投影光学エンジンの光軸方向に垂直な回転角をジャイロによって検出し、投影画面の品質をさらに向上させる。
本出願は、コンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ読み取り可能な記憶媒体に記憶されているコンピュータプログラムは、以上の任意の実施例に記載のプロジェクタの台形補正方法の操作ステップを実現できる。
具体的には、このコンピュータ読み取り可能な記憶媒体は、具体的には、ランダムアクセスメモリ（ＲＡＭ）、メモリー、読み出し専用メモリ（ＲＯＭ）、電気的プログラマブルＲＯＭ、電気的消去可能プログラマブルＲＯＭ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ、又は、技術分野における公知の任意の他の形態の記憶媒体であってもよい。
本明細書の各実施例は漸次的に記載しており、各実施例では他の実施例との違いを重点的に説明している。各実施例間の同一及び類似の部分については互いを参照すればよい。実施例に開示されている装置は、実施例に開示されている方法に対応するため、簡単に説明され、関連部分は、方法についての説明を参照すればよい。
当業者であれば、本明細書に開示された実施形態において説明される各例と組み合わせて、ユニットおよびアルゴリズム段階が、電子的ハードウェアまたは両者の組み合わせによって実装されてよいことを認識されよう。ハードウェア及びソフトウェアの交換性をより明瞭に説明するために、上記の説明では、機能に従って各例の構成及びステップが一般的に記述されている。これらの機能がハードウェアによって実行されるかソフトウェアによって実行されるかは、技術案の特定のアプリケーションおよび設計制約条件に依存する。当業者であれば、特定のアプリケーションごとに、説明した機能を実装するために異なる方法を用い得るが、この実装は、本発明の範囲を越えるものとみなされるべきではない。

Claims (9)

  1. 投影光学エンジンの投影面上の複数の位置点の第１の座標系における第１の座標値をＲＧＢＤカメラによる撮影により取得するステップであって、前記第１の座標系は、前記ＲＧＢＤカメラの光学システムにおける空間三次元直角座標系であるステップと、
    予め決定された前記第１の座標系と第２の座標系との変換関係、及び前記第１の座標値に基づいて、前記位置点の前記第２の座標系における第２の座標値を決定するステップであって、前記第２の座標系は、前記投影光学エンジンの光学システムにおける空間三次元直角座標系であるステップと、
    複数の前記位置点の前記第２の座標値に対して平面フィッティングを行い、フィッティング平面を取得するステップと、
    前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行うステップとを含み、
    予め決定された前記変換関係のプロセスは、
    前記投影光学エンジンによって特徴点付きのオリジナル画像を投影スクリーンに予め投影し、前記特徴点の前記投影スクリーンにおける投影点を取得するステップと、
    前記投影点の前記第１の座標系における投影点の第１の座標値を前記ＲＧＢＤカメラによる撮影により取得するステップと、
    前記投影点と前記特徴点とが満たすピンホールイメージングの原理に基づいて、前記投影点の前記第１の座標系、及び前記第２の座標系の各々における座標値が満たす変換関係を組み合わせ、前記投影点の第１の座標値及び前記特徴点の座標値が満たす対応関係：(u,v)T ＝ F(R,t,fx,fy,cx,cy)・(x,y,z)Tを決定するステップであって、式中、(u,v)Tは、前記特徴点の前記投影光学エンジンの画素座標系における特徴点の座標値の列ベクトルであり、(x,y,z)Tは、前記投影点の第１の座標値の列ベクトルであり、F(R,t,fx,fy,cx,cy)は、R,t,fx,fy,cx,cyに関する関数であり、R及びtは、前記変換関係の変換パラメータであり、fx及びfyは、それぞれ、前記投影光学エンジンのｘ軸方向に画素を単位として表す焦点距離パラメータ及びｙ軸方向に画素を単位として表す焦点距離パラメータであり、 cx及び cyは、それぞれ、前記投影光学エンジンのｘ軸方向の光心パラメータとｙ軸方向の光心パラメータであるステップと、
    前記対応関係に基づいて、複数組の前記投影点の第１の座標値及び前記特徴点の座標値を組み合わせて、パラメータR,t,fx,fy,cx,cyを取得するステップとを含む、ことを特徴とするプロジェクタの台形補正方法。
  2. 前記位置点の前記第２の座標系における第２の座標値を決定した後、
    ピンホールイメージングの原理及び複数の前記第２の座標値に基づいて、前記投影光学エンジンの投影領域を決定するステップと、
    前記ＲＧＢＤカメラによる撮影により取得された投影面画像において最大の純色領域又はスクリーン領域を認識し、前記投影光学エンジンのターゲット投影領域を決定し、次に、複数の前記位置点の前記第２の座標値に対して平面フィッティングを行う前記ステップを実行するステップとをさらに含み、
    前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行う前記ステップは、
    前記投影光学エンジンに対して台形補正を行い、前記投影光学エンジンの実際投影領域が全て前記ターゲット投影領域内にあるようにするステップを含む、ことを特徴とする請求項１に記載のプロジェクタの台形補正方法。
  3. 複数の前記位置点の前記第２の座標値に対して平面フィッティングを行う前記ステップは、
    前記ターゲット投影領域外の位置点を除去するステップと、
    前記ターゲット投影領域内にある位置点の第２の座標値に基づいて平面フィッティングを行うステップとを含む、ことを特徴とする請求項２に記載のプロジェクタの台形補正方法。
  4. 前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行った後、
    前記投影光学エンジンに内蔵されたジャイロによって検出された加速度方向と前記投影光学エンジンの投影方向との夾角に従って、前記投影光学エンジンに対して光軸方向に沿う回転角を調整するステップをさらに含む、ことを特徴とする請求項１に記載のプロジェクタの台形補正方法。
  5. 投影光学エンジンの投影面上の複数の位置点の第１の座標系における第１の座標値をＲＧＢＤカメラによる撮影により取得する第１の座標モジュールであって、前記第１の座標系は、前記ＲＧＢＤカメラの光学システムにおける空間三次元直角座標系である第１の座標モジュールと、
    予め決定された前記第１の座標系と前記第２の座標系との変換関係、及び前記第１の座標値に基づいて、前記位置点の前記第２の座標系における第２の座標値を決定する第２の座標モジュールであって、前記第２の座標系は、前記投影光学エンジンの光学システムにおける空間三次元直角座標系である第２の座標モジュールと、
    複数の前記位置点の前記第２の座標値に対して平面フィッティングを行い、フィッティング平面を取得する平面フィッティングモジュールと、
    前記フィッティング平面と前記第２の座標系の座標軸平面との間の夾角にしたがって、前記投影光学エンジンに対して台形補正を行う台形補正モジュールとを含み、
    前記変換関係を予め決定するプロセス用の変換関係モジュールをさらに含み、具体的には、
    前記投影光学エンジンによって特徴点付きのオリジナル画像を投影スクリーンに予め投影し、前記特徴点の前記投影スクリーンにおける投影点を取得する投影点ユニットと、
    前記投影点の前記第１の座標系における投影点の第１の座標値を前記ＲＧＢＤカメラによる撮影により取得する座標ユニットと、
    前記投影点と前記特徴点とが満たすピンホールイメージングの原理に基づいて、前記投影点の前記第１の座標系、及び前記第２の座標系の各々における座標値が満たす変換関係を組み合わせ、前記投影点の第１の座標値及び前記特徴点の座標値が満たす対応関係：(u,v)T ＝ F(R,t,fx,fy,cx,cy)・(x,y,z)Tを決定する対応関係ユニットであって、式中、(u,v)Tは、前記特徴点の前記投影光学エンジンの画素座標系における特徴点の座標値の列ベクトルであり、(x,y,z)Tは、前記投影点の第１の座標値の列ベクトルであり、F(R,t,fx,fy,cx,cy)は、R,t,fx,fy,cx,cyに関する関数であり、R及びtは、前記変換関係の変換パラメータであり、fx及びfyは、それぞれ、前記投影光学エンジンのｘ軸方向に画素を単位として表す焦点距離パラメータ及びｙ軸方向に画素を単位として表す焦点距離パラメータであり、 cx及び cyは、それぞれ、前記投影光学エンジンのｘ軸方向の光心パラメータとｙ軸方向の光心パラメータである対応関係ユニットと、
    前記対応関係に基づいて、複数組の前記投影点の第１の座標値及び前記特徴点の座標値を組み合わせて、パラメータR,t,fx,fy,cx,cyを取得するパラメータユニットとを含む、ことを特徴とするプロジェクタの台形補正装置。
  6. 投影光学エンジンと、ＲＧＢＤカメラと、プロセッサとを含み、
    前記投影光学エンジンは、投影画面を投射し、
    前記ＲＧＢＤカメラは、前記投影画面が所在する平面を撮影し、
    前記プロセッサは、前記投影光学エンジン及び前記ＲＧＢＤカメラのそれぞれに接続され、前記ＲＧＢＤカメラにより撮影された画面に基づいて、請求項１～４のいずれかに記載のプロジェクタの台形補正方法の操作ステップを実行する、ことを特徴とするプロジェクタの台形補正システム。
  7. 前記ＲＧＢＤカメラは、構造化光カメラ、ｔｏｆカメラ又は両眼カメラのうちのいずれか１種のカメラである、ことを特徴とする請求項６に記載のプロジェクタの台形補正システム。
  8. 前記プロジェクタにジャイロが内蔵される、ことを特徴とする請求項６に記載のプロジェクタの台形補正システム。
  9. コンピュータに請求項１～４のいずれかに記載のプロジェクタの台形補正方法が含む各操作ステップを実現させるためのプログラムを記録した、ことを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2021557705A 2019-11-27 2020-03-13 プロジェクタの台形補正方法、装置、システム及び読み取り可能な記憶媒体 Active JP7291244B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911182586.7A CN110677634B (zh) 2019-11-27 2019-11-27 投影仪的梯形校正方法、装置、***及可读存储介质
CN201911182586.7 2019-11-27
PCT/CN2020/079164 WO2021103347A1 (zh) 2019-11-27 2020-03-13 投影仪的梯形校正方法、装置、***及可读存储介质

Publications (2)

Publication Number Publication Date
JP2022528659A JP2022528659A (ja) 2022-06-15
JP7291244B2 true JP7291244B2 (ja) 2023-06-14

Family

ID=69088210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021557705A Active JP7291244B2 (ja) 2019-11-27 2020-03-13 プロジェクタの台形補正方法、装置、システム及び読み取り可能な記憶媒体

Country Status (5)

Country Link
US (1) US20220286654A1 (ja)
EP (1) EP3937486A4 (ja)
JP (1) JP7291244B2 (ja)
CN (1) CN110677634B (ja)
WO (1) WO2021103347A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677634B (zh) * 2019-11-27 2021-06-29 成都极米科技股份有限公司 投影仪的梯形校正方法、装置、***及可读存储介质
CN111292316B (zh) * 2020-03-11 2023-09-01 成都极米科技股份有限公司 测试方法、装置、电子设备及存储介质
CN111768396B (zh) * 2020-07-03 2024-02-09 深圳惠牛科技有限公司 虚拟显示设备的畸变测量方法及装置
CN112261396B (zh) * 2020-10-26 2022-02-25 成都极米科技股份有限公司 投影方法、装置、投影设备及计算机可读存储介质
CN112584113B (zh) * 2020-12-02 2022-08-30 深圳市当智科技有限公司 基于映射校正的宽屏投影方法、***及可读存储介质
CN112203070B (zh) * 2020-12-03 2021-04-23 深圳市当智科技有限公司 基于单色光发射器的投影方法、***及可读存储介质
CN114697623B (zh) * 2020-12-29 2023-08-15 极米科技股份有限公司 投影面选取和投影图像校正方法、装置、投影仪及介质
CN114727074B (zh) * 2021-01-05 2023-09-01 成都极米科技股份有限公司 用于投影装置的投影校正方法、投影校正装置及投影装置
CN112734721B (zh) * 2021-01-08 2024-01-16 昆山丘钛微电子科技股份有限公司 一种光轴偏转角度检测方法、装置、设备和介质
CN112995624B (zh) * 2021-02-23 2022-11-08 峰米(北京)科技有限公司 用于投影仪的梯形误差校正方法及装置
CN112995625B (zh) * 2021-02-23 2022-10-11 峰米(北京)科技有限公司 用于投影仪的梯形校正方法及装置
CN114791687B (zh) * 2021-03-05 2024-02-27 成都极米科技股份有限公司 投影校正方法、装置及投影***
CN115150596B (zh) * 2021-03-31 2023-05-02 成都极米科技股份有限公司 投影显示方法、装置及投影设备
WO2022267027A1 (zh) * 2021-06-25 2022-12-29 闻泰科技(深圳)有限公司 图像矫正方法、装置、电子设备和存储介质
CN115883799A (zh) * 2021-09-29 2023-03-31 中强光电股份有限公司 投影机以及投影方法
CN113824942B (zh) * 2021-10-25 2023-08-29 河南中光学集团有限公司 梯形校正方法、装置、投影仪及计算机可读存储介质
WO2023087951A1 (zh) * 2021-11-16 2023-05-25 海信视像科技股份有限公司 一种投影设备及投影图像的显示控制方法
CN116208749A (zh) * 2021-12-01 2023-06-02 成都极米科技股份有限公司 一种图像调整方法、遮挡装置及计算机存储介质
CN114827564A (zh) * 2022-05-27 2022-07-29 深圳市火乐科技发展有限公司 投影设备控制方法、装置、存储介质以及投影设备
CN114727081B (zh) * 2022-06-09 2022-09-06 深圳新智联软件有限公司 投影仪投影校正方法、装置及投影仪
CN115278184B (zh) * 2022-07-18 2024-03-15 峰米(重庆)创新科技有限公司 投影画面校正方法及装置
CN115314689A (zh) * 2022-08-05 2022-11-08 深圳海翼智新科技有限公司 投影校正方法、装置、投影仪和计算机程序产品
CN115314691B (zh) * 2022-08-09 2023-05-09 北京淳中科技股份有限公司 一种图像几何校正方法、装置、电子设备及存储介质
CN116883510A (zh) * 2023-07-13 2023-10-13 中国人民解放军军事科学院***工程研究院 一种用于增强现实虚实对齐的标定校准***及方法
CN116886881A (zh) * 2023-07-26 2023-10-13 深圳市极鑫科技有限公司 一种基于全向梯形技术的投影仪

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004260785A (ja) 2002-07-23 2004-09-16 Nec Viewtechnology Ltd 画像歪み補正機能を備えたプロジェクタ装置
JP2010050540A (ja) 2008-08-19 2010-03-04 Seiko Epson Corp 投写型表示装置および表示方法
JP2010130225A (ja) 2008-11-26 2010-06-10 Seiko Epson Corp 投写型表示装置および投写用調整方法
JP2010183219A (ja) 2009-02-04 2010-08-19 Seiko Epson Corp 投写光学系のズーム比測定方法、そのズーム比測定方法を用いた投写画像の補正方法及びその補正方法を実行するプロジェクタ
CN110336987A (zh) 2019-04-03 2019-10-15 北京小鸟听听科技有限公司 一种投影仪畸变校正方法、装置和投影仪

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6520647B2 (en) * 2000-08-17 2003-02-18 Mitsubishi Electric Research Laboratories Inc. Automatic keystone correction for projectors with arbitrary orientation
US7125122B2 (en) * 2004-02-02 2006-10-24 Sharp Laboratories Of America, Inc. Projection system with corrective image transformation
CN101697233B (zh) * 2009-10-16 2012-06-06 长春理工大学 一种基于结构光的三维物体表面重建方法
US8322863B1 (en) * 2010-06-18 2012-12-04 Samuel Seungmin Cho Apparatus and method for automated visual distortion adjustments for a portable projection device
JP5961945B2 (ja) * 2011-08-18 2016-08-03 株式会社リコー 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
JP5970873B2 (ja) * 2012-03-08 2016-08-17 セイコーエプソン株式会社 画像処理装置、画像処理方法、およびプロジェクター
AU2015275255A1 (en) * 2015-12-22 2017-07-06 Canon Kabushiki Kaisha Multi-projector alignment refinement
US9756303B1 (en) * 2016-12-30 2017-09-05 Texas Instruments Incorporated Camera-assisted automatic screen fitting
JP2018159838A (ja) * 2017-03-23 2018-10-11 キヤノン株式会社 画像投影装置とその制御方法、プログラム及び記憶媒体
US10684537B2 (en) * 2017-11-14 2020-06-16 Texas Instruments Incorporated Camera-assisted arbitrary surface characterization and correction
CN108289208B (zh) * 2018-01-24 2020-11-27 歌尔股份有限公司 一种投影画面自动校正方法和装置
US10939081B2 (en) * 2018-05-25 2021-03-02 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US20220030206A1 (en) * 2018-12-03 2022-01-27 Sony Group Corporation Information processing apparatus, information processing method, program, and projection system
CN110099267B (zh) * 2019-05-27 2021-08-24 广州市讯码通讯科技有限公司 梯形校正***、方法以及投影仪
CN110677634B (zh) * 2019-11-27 2021-06-29 成都极米科技股份有限公司 投影仪的梯形校正方法、装置、***及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004260785A (ja) 2002-07-23 2004-09-16 Nec Viewtechnology Ltd 画像歪み補正機能を備えたプロジェクタ装置
JP2010050540A (ja) 2008-08-19 2010-03-04 Seiko Epson Corp 投写型表示装置および表示方法
JP2010130225A (ja) 2008-11-26 2010-06-10 Seiko Epson Corp 投写型表示装置および投写用調整方法
JP2010183219A (ja) 2009-02-04 2010-08-19 Seiko Epson Corp 投写光学系のズーム比測定方法、そのズーム比測定方法を用いた投写画像の補正方法及びその補正方法を実行するプロジェクタ
CN110336987A (zh) 2019-04-03 2019-10-15 北京小鸟听听科技有限公司 一种投影仪畸变校正方法、装置和投影仪

Also Published As

Publication number Publication date
CN110677634A (zh) 2020-01-10
CN110677634B (zh) 2021-06-29
JP2022528659A (ja) 2022-06-15
EP3937486A4 (en) 2022-12-14
WO2021103347A1 (zh) 2021-06-03
US20220286654A1 (en) 2022-09-08
EP3937486A1 (en) 2022-01-12

Similar Documents

Publication Publication Date Title
JP7291244B2 (ja) プロジェクタの台形補正方法、装置、システム及び読み取り可能な記憶媒体
CN110336987B (zh) 一种投影仪畸变校正方法、装置和投影仪
CN112689135B (zh) 投影校正方法、装置、存储介质及电子设备
JP6764533B2 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN106846409B (zh) 鱼眼相机的标定方法及装置
WO2019049331A1 (ja) キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
JP5596972B2 (ja) 撮像装置の制御装置および制御方法
CN107665483B (zh) 免定标便捷的单目镜头鱼眼图像畸变矫正方法
WO2021120422A1 (zh) 一种梯形校正方法、装置和电子设备及可读存储介质
CN207766424U (zh) 一种拍摄装置及成像设备
CN114727081B (zh) 投影仪投影校正方法、装置及投影仪
CN111083457A (zh) 多光机投影图像的校正方法、装置和多光机投影仪
Amano Projection center calibration for a co-located projector camera system
JPWO2016204068A1 (ja) 画像処理装置および画像処理方法、ならびにプロジェクションシステム
TWI676855B (zh) 投影機校正方法與使用此方法的投影系統
CN114286068B (zh) 对焦方法、装置、存储介质以及投影设备
JP2022024688A (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
CN116524022B (zh) 偏移数据计算方法、图像融合方法、装置及电子设备
CN115174878B (zh) 投影画面校正方法、装置和存储介质
CN114332246A (zh) 摄像头畸变的虚拟仿真方法及装置
KR100867731B1 (ko) 전방향 카메라의 위치 추정 방법
WO2023066331A1 (zh) 一种自动标定方法、设备、***和计算机可读存储介质
WO2024080234A1 (ja) 投影装置、補正装置、投影システム、補正方法及びコンピュータプログラム
CN115174879B (zh) 投影画面校正方法、装置、计算机设备和存储介质
US20160212395A1 (en) Method of determining an optimal point in three-dimensional space

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230602

R150 Certificate of patent or registration of utility model

Ref document number: 7291244

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150