JP2014033342A - 画像補正装置 - Google Patents
画像補正装置 Download PDFInfo
- Publication number
- JP2014033342A JP2014033342A JP2012172732A JP2012172732A JP2014033342A JP 2014033342 A JP2014033342 A JP 2014033342A JP 2012172732 A JP2012172732 A JP 2012172732A JP 2012172732 A JP2012172732 A JP 2012172732A JP 2014033342 A JP2014033342 A JP 2014033342A
- Authority
- JP
- Japan
- Prior art keywords
- plate surface
- image
- axis
- sides
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003702 image correction Methods 0.000 title claims abstract description 21
- 230000003287 optical effect Effects 0.000 claims abstract description 18
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 20
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000012937 correction Methods 0.000 abstract description 25
- 238000000034 method Methods 0.000 description 31
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000003708 edge detection Methods 0.000 description 5
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 3
- 102100029860 Suppressor of tumorigenicity 20 protein Human genes 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 102100036848 C-C motif chemokine 20 Human genes 0.000 description 1
- 101000760620 Homo sapiens Cell adhesion molecule 1 Proteins 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】板面を斜めから撮影する画像における歪みが生じることがないように補正する。
【解決手段】カメラにより撮影された撮影画像に対してカメラによる光学的歪曲を補正し、その光学的補正画像における板面の4辺を検出する。板面の縦横軸が画面xy軸に対して傾き、また縦横軸の軸線回りに板面が回転し、光学的補正画像における4辺の形態に至ったとして、それぞれの傾き角度及び回転角度を求め、各角度に基づいて補正することにより4辺を矩形にする。カメラが初期設置状態からずれて、撮影画像中の板面が相対的に画面に対して傾きかつ回転するようになっても、適切に補正することができる。
【選択図】図2
【解決手段】カメラにより撮影された撮影画像に対してカメラによる光学的歪曲を補正し、その光学的補正画像における板面の4辺を検出する。板面の縦横軸が画面xy軸に対して傾き、また縦横軸の軸線回りに板面が回転し、光学的補正画像における4辺の形態に至ったとして、それぞれの傾き角度及び回転角度を求め、各角度に基づいて補正することにより4辺を矩形にする。カメラが初期設置状態からずれて、撮影画像中の板面が相対的に画面に対して傾きかつ回転するようになっても、適切に補正することができる。
【選択図】図2
Description
本発明は、カメラで撮影された画像を補正する画像補正装置に関するものである。
従来、例えばデジタルカメラで紙面や電子黒板やホワイトボード等の板面に書かれているものや投影されているものを撮影し、その画像データをパーソナルコンピュータ等で処理してモニタに映し出したいという要望がある。その場合には、筆記者の邪魔にならないように、例えば電子黒板の場合にはカメラを板面の上部に設置し、板面を斜め上方から撮影することがある。そのような場合には、カメラの傾きに応じて画像が台形状に歪むため、画像を補正するようにしたものがある(例えば特許文献1参照)。
上記特許文献1では、重力検出手段を設けて重力方向を検出し、重力方向から撮像時のカメラの向きを判定し、カメラの向きに応じて画像を補正している。これにより、板面に垂直な面上でのカメラの傾きに対して補正することができる。
しかしながら、カメラの光軸とホワイトボード等の板面との相対的な傾きは、板面に垂直な方向だけに限られず、板面に沿う方向(板面の高さ方向及び幅方向)の傾きも含まれる。そのため、出荷時に板面に対するカメラの光軸位置を設計値に合わせて調整かつ固定しておくが、カメラの完全な固定は難しいため、長期の使用中にずれが生じてしまう。そのようなずれに対しては、板面の垂直方向に対する傾きは上記重力方向の検出から補正可能であるが、他の方向(板面の高さ方向及び幅方向)に対しては上記構成では補正できない、という問題があった。
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、板面を斜めから撮影するカメラの設置状態による画像の歪みが生じることがないように構成された画像補正装置を提供することにある。
本発明の画像補正装置は、矩形の板面に対して所定の位置から斜めに板面を撮影するように設けられたカメラと、前記カメラによる撮影画像の歪曲を画像処理して補正する画像補正装置とを有する撮像装置であって、前記板面の縦横にそれぞれ沿う縦軸及び横軸を設定し、前記画像補正装置は、前記撮影画像の前記カメラによる光学的歪曲を補正した光学的補正画像を作る光学的補正画像形成部と、前記板面が撮影画面上で矩形になるように前記板面の前記縦軸及び前記横軸の各傾き角度及び各軸回りの回転角度を算出する軸角度算出部と、前記各傾き角度及び前記各回転角度に基づいて前記板面の前記撮影画面上での画像を矩形になるように補正する矩形板面形成部とを有する構成とする。
本発明によれば、例えばホワイトボードの上方にカメラを設置し、ホワイトボードの板面を斜め上方から撮影した画像の歪みを補正してモニタ等に出力する場合に、斜めからの撮影による光学的歪曲を補正し、その光学的歪曲補正画像に対して、矩形状板面の縦軸及び横軸の撮影画面上での傾き角度及び軸回り回転角度を求め、各角度に応じて板面の画像を傾け、かつ回転させることにより、板面が矩形になるように補正することができる。これにより、使用過程においてカメラが初期設定の正規位置からずれて撮影するようになった場合でも、上記各軸の傾き角度や回転角度を求めて補正することから、歪みの無い板面の画像を得ることができる。
前記課題を解決するためになされた第1の発明は、矩形の板面に対して所定の位置から斜めに撮影するように設けられたカメラと、前記カメラによる撮影画像の歪曲を画像処理して補正する画像補正装置とを有する撮像装置であって、前記板面の縦横にそれぞれ沿う縦軸及び横軸を設定し、前記画像補正装置は、前記撮影画像の前記カメラによる光学的歪曲を補正した光学的補正画像を作る光学的補正画像形成部と、前記板面が撮影画面上で矩形になるように前記板面の前記縦軸及び前記横軸の各傾き角度及び各軸回りの回転角度を算出する軸角度算出部と、前記各傾き角度及び前記各回転角度に基づいて前記板面の前記撮影画面上での画像を矩形になるように補正する矩形板面形成部とを有する構成とする。
これによると、例えばホワイトボードの上方にカメラを設置し、ホワイトボードの板面を斜め上方から撮影した画像の歪みを補正してモニタ等に出力する場合に、斜めからの撮影による光学的歪曲を補正し、その光学的歪曲補正画像に対して、矩形状板面の縦軸及び横軸の撮影画面上での傾き角度及び軸回り回転角度を求め、各角度に応じて板面の画像を傾け、かつ回転させることにより、板面が矩形になるように補正することができる。これにより、使用過程においてカメラが初期設定の正規位置からずれて撮影するようになった場合でも、上記各軸の傾き角度や回転角度を求めて補正することから、歪みの無い板面の画像を得ることができる。
また、第2の発明は、前記第1の発明において、前記軸角度算出部は、前記光学的補正画像における前記板面の4辺を検出する4辺検出部と、前記4辺からなる四角形に基づいて、前記撮影画面に沿う方向の前記縦軸の傾き角度と前記縦軸回りの回転角度とを算出する縦軸角度算出部と、前記4辺からなる四角形に基づいて、前記撮影画面に直交する方向の前記横軸の傾き角度と前記横軸回りの回転角度とを算出する横軸角度算出部とを有する構成とする。
これによると、板面の4辺を検出し、その4辺が矩形になるように、板面の縦軸においては撮影画面に沿う方向の傾き角度と縦軸回りの回転角度とを求め、横軸においては撮影画面に直交する方向の傾き角度と横軸回りの回転角度とを求めることができる。
また、第3の発明は、前記第2の発明において、前記縦軸角度算出部は、前記4辺における前記横軸方向の2辺を前記撮影画面上で平行にする場合の前記傾き角度と前記回転角度とを算出し、前記横軸角度算出部は、前記4辺における前記縦軸方向の2辺を前記撮影画面上で平行にする場合の前記傾き角度と前記回転角度とを算出する構成とする。
これによると、縦軸及び横軸が傾きかつ回転しているという複雑な角度で板面が撮影された場合でも、各軸で傾きと回転とに分解してそれぞれの角度を求めることから、計算式を単純化して補正することができる。
また、第4の発明は、前記第1乃至第3のいずれかの発明において、前記板面のそりを検出し、かつ前記そりを表す曲線を求めるそり処理部を有し、前記矩形板面形成部は、前記そりを表す曲線に基づいて前記撮影画面上で前記4辺が矩形になる前記板面の画像を作る構成とする。
これによると、板面のそりを検出し、そりを表す曲線を求め、そりを表す曲線に基づいて4辺が矩形になる場面の画像を作ることにより、板面にそりが生じていた場合でも、そりを考慮した補正を行って、より一層正確な板面の画像を再現できる。
また、第5の発明は、前記第4の発明において、前記そり処理部は、前記光学的補正画像において前記4辺の少なくとも1辺が湾曲していることを検出するとともに、前記湾曲している辺の両端を直線で結ぶ仮の直線状辺を求めて、前記仮の直線状辺を含む4辺に基づいて前記板面の前記横軸及び前記縦軸の各軸回りの回転を補正し、前記板面の該回転を補正された画像における前記仮の直線状辺に対する前記湾曲している辺上の複数の点の空間座標を求めて、各前記空間座標を結ぶ線に基づいて前記そりを表す曲線を求める構成とする。
これによると、光学的補正画像において板面の4辺を検出し、その1辺が湾曲している場合には、その湾曲している辺の両端を結ぶ仮の直線状辺を求め、その仮の直線状辺を含めて板面の4辺とするとともに、板面の縦軸及び横軸の軸線回りの回転が無い状態に補正し、その補正された画像において湾曲している辺上の複数の点座標を、仮の直線状辺に対する空間座標に変換することから、各点を例えばスプライン補間により結んで、そりを表す曲線を求めることができる。このようにして、板面にそりが生じている場合にも対応できる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
図1は、本発明による画像補正装置が適用された撮像装置の一例を示す斜視図である。図では、ホワイトボード1の上縁部に、上方に突出し、その突出端から板面1aの前側に伸びる逆L字状のアーム2を介してカメラ3が支持されている。このように配置されたカメラ3により、ホワイトボード1の上方から板面1aの全体を撮影する。また、カメラ3には制御装置としてのパソコン4が接続されている。
図2は、上記カメラ3及びパソコン4により構成された撮像装置におけるブロック図である。図に示されているように、カメラ3には、光学レンズ系3aと、光学レンズ系3aにより集光された像を検出して画像データ化する撮像素子3bと、撮像素子3bからの画像信号が入力する画像処理部3cと、画像処理部3cによりアクセスされるメモリ3dと、画像処理部3cと外部機器との間で通信を可能にするためのインターフェース部3eとが設けられている。
パソコン4は市販の公知の構造のものであってよい。パソコン4には、カメラ3との間で通信を行うためのインターフェース部4aと、インターフェース部4aを介して入力される画像データをパソコン4で処理できる信号に変換する画像データ入力部4bと、予め歪曲情報が記憶されたメモリ4cと、画像データ入力部4bとメモリ4cとからの各データを入力する主制御部5と、カメラ3から入力し、補正処理された画像を表示するモニタである表示器4dと、外部装置6から入力される信号を主制御部5に伝達するためのインターフェース部4eとが設けられている。なお、インターフェース部4aと画像データ入力部4bとは、USBや、キャプチャボードにより構成されてよい。
上記主制御部5は、例えばプログラムによるものであってよく、4辺検出部としてのエッジ検出部5aと、光学的補正画像形成部としての歪曲補正部5bと、軸角度算出部(横軸角度算出部及び縦軸角度算出部)としての角度計算部5cと、矩形板面形成部としての補正座標計算部5dと、そり処理部としての再歪曲補正部5eと、表示データ変換部5fとにより構成されている。
エッジ検出部5aは、公知のエッジ処理により画像中のエッジを検出するとともに、ハフ処理による直線及び曲線の検出を行う。歪曲補正部5bは、撮影されたままの画像から公知の外接矩形処理により板面1aを矩形化する補正を行う。角度計算部5cは、板面1aの縦方向の軸(h軸)の軸回りの回転角度と画面のy軸に対する傾き角度とを計算するとともに、板面1aの横方向の軸(w軸)の軸回りの回転角度と画面のx軸に対する傾き角度とを計算する。補正座標計算部5dは、板面1aの傾きや回転を補正して長方形とした4角の座標を計算する。再歪曲補正部5eは、板面1aに反りが生じている場合の反りを補正する。表示データ変換部5fは、補正された板面1aの画像を表示器4dに映し出すための表示データの変換を行う。
次に、主として、主制御部5における制御要領をフロー図等を参照して説明する。
図3は、本発明における全体フローを示すフロー図である。本フローのステップST1では、カメラ3で撮影されて送信されてくる画像データの入力(読み込み)処理を行う。図4(a)に、カメラ3で撮影されたままでモニタ画面21上に映し出す場合の画像を示す。なお、図においてハッチングされた部分はカメラ(撮像素子)により撮影されなかった領域(以下、同様)である。また、図4(a)では、カメラに近い側である図の下側に板面1aの上側が映し出され、カメラから遠い側である図の上側に板面1aの下側が映し出されており、図に二点鎖線で示される板面1aの外形のように、カメラに近い側(板面1aの上側)よりも遠い側(板面1aの下側)の方の曲率が大である。
ステップST2では、ステップST1の画像データから歪曲情報の入力を行う。歪曲情報としては、図4(a)におけるカメラに近い側の縁(被撮影部分との境界)の曲がりのデータを用いることができる。
ステップST3では、外接矩形を用いて歪曲補正を行う。ここで、外接矩形とは、図4(a)に示された画面21の4つの角に対応する画像の各角の位置を変えずに、上記歪曲情報に基づいて図4(a)の画面21に映し出された映像を矩形状に補正したものである。その補正後の画像を図4(b)に示す。
ステップST4では、本発明に基づく板面検出・角度計算を行う。その詳細なフローを図5を参照して説明する。
図5のステップST11では、上記図4(b)の外接矩形に補正された補正画像を入力する。ステップST12では、図4(b)の画像上で板面1aのアスペクト比を算出する。なお、板面1aの4辺を構成する板面1aの枠に対して、例えば公知のエッジ検出により縦横1辺ずつの少なくとも2辺を検出し、ハフ変換して直線を検出することにより、アスペクト比を計算することができる。
ステップST13では、板面1aの4辺となる直線・曲線を検出する。例えば図4(b)の場合には、板面1aの縦枠の辺が直線として、横枠の辺が曲線として検出されている。このように、外接矩形の補正だけでは、完全な直線により構成された板面とはならない。なお、ここでの直線・曲線の検出は、ハフ変換によるものであってよい。
ステップST13の次のステップST14では、板面1aの4辺が全て検出されたか否かを判別する。全て検出された場合にはステップST15に進む。
ステップST15では、画面の横軸をx軸とし、縦軸をy軸として、板面1aの高さ方向の軸としてのh軸のy軸に対する傾き角度φhと、板面1aのh軸回りの回転角度θhを計算する。その計算要領を図6のフロー図を参照して説明する。
ここで、図7(a)を参照し、板面1aの上記傾き角度φhと回転角度θhとについて説明する。図において実線で示される板面1aは、板面1aがxy面と平行、すなわち傾き角度φh=0であり、回転角度θh=0の場合(初期状態)である。それに対して、使用中のカメラ3の位置変化により、図の実線で示されるh軸回りに回転角度θhで板面1aが回転した場合を破線で示す。この場合のh軸の位置はカメラ3を回転中心とする軸であるが、カメラ3は必ずしも板面1aの横方向の幅の中間点に位置していなくてもよい。そして、h軸が図の一点鎖線で示されるように傾き角度φhで傾いた場合には、板面1aは図の二点鎖線で示されるようになる。この場合の初期状態における板面1aの任意の点P1は、上記回転によりP2に移動し、上記傾きによりP3に移動する。なお、回転と傾きは同時に複合的に生じるものであるが、上記したように分解して考えることができる。
図6のステップST15aでは、図8(a)に示されるように、上記したハフ変換により直線として検出された板面の上辺yTと下辺yBとの各直線のデータを入力する。
ステップST15bではy軸上の撮像範囲を、カメラ位置Pcからのy軸に対する角度として入力する。具体的には、図9(a)に示されるyz面でのカメラ位置Pcを原点(y0,z0)として、カメラ位置Pcから、y軸上の撮像範囲におけるカメラに近い縁に対する角度θiと,カメラから遠い縁に対する角度θoとを入力する。なお、これらの角度は設計で決まる一定の値であり、メモリに記憶しておいてよい。
ステップST15cでは、図9(b)に示されるように、画像上(xy面)でのカメラ位置Pcの座標(x0,y0)を次式により算出する。
x0=Wi/2 …(式1)
y0=(tanθi/(tanθi−tanθo))・Hi …(式2)
ここで、Wiは図9(b)に示されるように撮像範囲(画像)の幅であり、Hiは撮像範囲(画像)の高さである。
x0=Wi/2 …(式1)
y0=(tanθi/(tanθi−tanθo))・Hi …(式2)
ここで、Wiは図9(b)に示されるように撮像範囲(画像)の幅であり、Hiは撮像範囲(画像)の高さである。
ステップST15dでは、上記した上辺yT及び下辺yBの各直線方程式を、
yT=AT・x+BT …(式3)
yB=AB・x+BB …(式4)
として表し、カメラ位置Pc(x0,y0)を原点として計算する処理を行う。ここで、x,y軸は画面の縦,横方向であり、AT,ABは係数、BT,BBは定数である。
yT=AT・x+BT …(式3)
yB=AB・x+BB …(式4)
として表し、カメラ位置Pc(x0,y0)を原点として計算する処理を行う。ここで、x,y軸は画面の縦,横方向であり、AT,ABは係数、BT,BBは定数である。
ステップST15eでは、図8(a)に示されるように、板面が回転していた場合の回転軸をh軸として、xy面上でのh軸のy軸に対する傾き角度φhを算出し、ステップST15fでは、板面のh軸回りの回転角度θhを算出する。
これら各角度φh,θhの計算において、h軸回りの回転無し(θh=0)の状態で、上下の両辺yT,yBが互いに平行であり、h軸と上下の各辺yT,yBとが直交することを条件とし、上記式3,4の係数及び定数を用いて下記の各式が成り立つ。
sinφh=((AT・BB−AB・BT)/(BT−BB))cosφh …(式5)
tanθh=(z0/BB)(sinφh+ABcosφh) …(式6)
sinφh=((AT・BB−AB・BT)/(BT−BB))cosφh …(式5)
tanθh=(z0/BB)(sinφh+ABcosφh) …(式6)
ステップST15gでは、上記各式5,6から求めた各値φh,θhを例えばメモリに出力する。
このようにして、図5のステップST15における計算を終了したら、ステップST16に進む。ステップST16では、図8(a)に示されるように任意の四角形として撮像されている板面を、図8(b)に示されるように上下の辺yT,yBが互いに平行な台形にする座標変換を行う。その座標変換要領を図10のフロー図を参照して説明する。
図10のステップST16aでは、図8(a)に示されるように撮像された板面の画像上の各角の座標(x1,y1),…,(x4,y4)を入力する。ステップST16bでは、上記ステップST15fで求めた傾き角度φh,回転角度θhを入力する。
次のステップST16cからは、各角の座標について、ステップST16gとの間で繰り返し処理を行って、板面の各角の座標を順番に求める。
繰り返し処理におけるステップST16dでは、画面のxy空間から板面のwh空間への座標変換を行う。このwh空間とは、板面の傾き角度φhを0に補正した空間であり、回転角度θhは残っている。図8(a)で、y軸方向とh軸方向とが反対になっているのは、カメラによる上からの撮影のため、画像では板面が上下逆に映し出されることによる。この座標変換の式は次式となる。
w=(x−x0)cosφh−(y−y0)sinφh …(式7)
h=−(x−x0)sinφh−(y−y0)cosφh …(式8)
w=(x−x0)cosφh−(y−y0)sinφh …(式7)
h=−(x−x0)sinφh−(y−y0)cosφh …(式8)
ステップST16eでは、上記傾き角度φhを補正したwh空間から、回転角度θhを0に補正したw’h’空間への座標変換を行う。これにより、板面は図8(b)に示されるように台形になる。
先ず、w’h’空間における座標(w’,h’)は、次式により表される。
w’=wx+r …(式9)
h’=(1−r・Ph)h …(式10)
ただし、式9中のrは、
r=(w−wx’)/(w・Ph+cosθh)
である。この式中のwx’は、wx’=wx+zx・tan(θh/2)であり、Phは、Ph=sin(θh/z0)である。また、z0は、上記したようにカメラのz軸方向の座標(図9(a)参照)である。
w’=wx+r …(式9)
h’=(1−r・Ph)h …(式10)
ただし、式9中のrは、
r=(w−wx’)/(w・Ph+cosθh)
である。この式中のwx’は、wx’=wx+zx・tan(θh/2)であり、Phは、Ph=sin(θh/z0)である。また、z0は、上記したようにカメラのz軸方向の座標(図9(a)参照)である。
ステップST16fでは、図8(b)に示されるように、板面を台形としたw’h’空間から画面のxy空間における対応する座標(x’,y’)への座標変換を行う。なお、この座標変換の式は次式となる。
x’=w’・cosφh−h’・sinφh+x0 …(式11)
y’=−w’・sinφh−h’・cosφh+y0 …(式12)
x’=w’・cosφh−h’・sinφh+x0 …(式11)
y’=−w’・sinφh−h’・cosφh+y0 …(式12)
そして、繰り返し処理により、台形の4角の座標(x1’,y1’),…,(x4’,y4’)について全ての計算が終了したら、ステップST16gからステップST16hに進む。ステップST16hでは、台形の4角の各座標(x1’,y1’),…,(x4’,y4’)のデータをメモリに出力する。
このようにして、図5のステップST16における計算を終了したら、ステップST17に進む。ステップST17では、板面1aのw軸回りの角度θwを計算する。その計算要領を図11のフロー図を参照して説明する。
図11のステップST17aでは、上記したように台形補正された板面の左辺xLと右辺xRとの各直線データを入力する。左辺xLと右辺xRとがそれぞれ図12(a)に模式的に示されるように場合には、それぞれ次式で表せる。
xL=AL・y+BL …(式13)
xR=AR・y+BR …(式14)
xL=AL・y+BL …(式13)
xR=AR・y+BR …(式14)
ステップST17bでは、yz面でのカメラ位置Pc(y0,z0)からy軸上の撮像範囲に対する角度θi,θoを入力する。なお、上記ステップST15bと同様であってよいため、ステップST15bで入力処理した値を用いてよい。
ステップST17cでは、上記ステップST15cと同様に、画像でのカメラ位置Pc(x0,z0)を上記式3,4により算出する。ステップST17dも、上記ステップST15dと同様に、これ以降における直線方程式を、その原点(0,0)を上記カメラ位置Pc(x0,y0)として計算する処理を行うようにする。
ステップST17eでは、図8(b)に対応する図12(a)に示されるように、xy面上で板面のw軸がx軸に対して傾き角度φwだけ傾いていた場合に、w軸のx軸に対する傾き角度φwを算出する。次のステップST17fでは、板面がw軸回りに回転角度θwだけ回転していた場合の回転角度θwを算出する。
ここで、図7(b)を参照し、板面1aの上記傾き角度φwと回転角度θwとについて説明する。図において実線で示される板面1aは、上記h軸の傾き及び回転で説明した場合と同じである。それに対して、使用中のカメラ3の位置変化により、図の実線で示されるw軸回りに回転角度θwで板面1aが回転した場合を破線で示す。この場合のw軸はカメラ3を回転中心とする軸である。そして、w軸が図の一点鎖線で示されるように傾き角度φwで傾いた場合には、板面1aは図の二点鎖線で示されるようになる。この場合の初期状態における板面1aの任意の点P1は、上記回転によりP4に移動し、上記傾きによりP5に移動する。なお、回転と傾きは同時に複合的に生じるものであるが、上記したように分解して考えることができる。
これら各角度φw,θwの計算において、w軸回りの回転無し(θw=0)の状態で、左右の両辺xL,xRが互いに平行であり、w軸と左右の各辺xL,xRとが直交することを条件とし、上記式13,14の係数(AL,AR)及び定数(BL,BR)を用いて下記の各式が成り立つ。
sinφw=((AR・BL−AL・BR)/(BL−BR))cosφw
…(式15)
tanθw=(z0/BL)(sinφw+ALcosφw) …(式16)
なお、図12(b)は、図12(a)でθw=0とした状態を示し、図12(a)の台形の4角の各座標(x1’,y1’),…,(x4’,y4’)と、長方形の4角の各座標(x1'',y1''),…,(x4'',y4'')とがそれぞれ対応する。
sinφw=((AR・BL−AL・BR)/(BL−BR))cosφw
…(式15)
tanθw=(z0/BL)(sinφw+ALcosφw) …(式16)
なお、図12(b)は、図12(a)でθw=0とした状態を示し、図12(a)の台形の4角の各座標(x1’,y1’),…,(x4’,y4’)と、長方形の4角の各座標(x1'',y1''),…,(x4'',y4'')とがそれぞれ対応する。
ステップST17gでは、上記各式15,16から求めた各値φw,θwを例えばメモリに出力する。なお、板面1aが正確な長方形の場合には、w軸とh軸とは直角に交わり、x軸とy軸も直角に交わるので、φwとφhとは同じ値になるが、実際にはθwの計算時とθhの計算時とで、w軸とh軸とは正確には等しくならないので、実装上φwとφhとを異なる値として扱う。これにより、傾きに対する値をより正確に求めることができる。
このようにして、図5のステップST17における計算を終了したら、ステップST18に進む。
ステップST18では、上記ステップST15,17で計算された各角度が適正値であるか否かを判別する。角度の適正値とは、h軸やw軸の傾きや回転角度が設計許容値以内か否かを判定するものであってよい。その判定要領を図13のフロー図を参照して説明する。
図13のステップST18aでは、上記ステップST15,17で計算された各値φh,φw,θh,θwを入力する。ステップST18bでは、h軸の傾き角度φhがw軸の傾き角度φwと略等しいか否かを判別する。ここで、略等しいとする閾値としては、例えば両値の差が1度以内であってよい。両角度φh,φwが略等しいと判定された場合にはステップST18cに進む。
ステップST18cでは、h軸回りの回転角度が閾値(例えば5度)以下であるか否かを判別し、閾値以下の場合にはステップST18dに進む。ステップST18dでは、w軸回りの回転角度が閾値(例えば5度)以下であるか否かを判別し、閾値以下の場合にはステップST18eに進む。なお、ステップST18c,18dの各閾値の5度は、限定される値ではなく、他の任意の角度であってよいが、例えばカメラの解像度などに基づく補正可能な範囲から定めることができる。
ステップST18eに進んだ場合には、各角度が適正範囲内であることから、適正であるとするフラグ(=TRUE)を立てる。
一方、ステップST18bで両角度φh,φwが略等しくないと判定された場合や、ステップST18cでh軸回りの回転角度θhが閾値を超えていると判定された場合や、ステップST18dでw軸回りの回転角度がθwが閾値を超えていると判定された場合にはステップST18fに進む。
ステップST18fでは、いずれかの角度が適正範囲内にない場合であり、その場合には非適正であるとするフラグ(=FALSE)を立てる。
このようにして、いずれかのフラグ(TRUE/FALSE)を立てたら、図5のステップST18において、角度(φh,φw,θh,θw)が適正値であるか否かを判別する。適正値であると判定された場合にはステップST19に進む。
ステップST19では、板面1aのそりを、再歪曲補正部5eにより算出する。ここでは、図14(a)に示されるように、板面1aがz軸方向に凹面状にそっている場合について、図15のフローに基づいて説明する。
図15のステップST19aでは、エッジ検出により検出された板面1aの上縁を入力する。なお、下縁を検出して同様の処理を実行してもよい。
次のステップST19bでは、上記曲線の両端を通る直線を計算する。この場合の直線は、図14(b)の二点鎖線で示されるようになり、次式で表せる。
h=Aw+B …(式17)
ここで、Aは傾きの係数であり、Bは定数である。
h=Aw+B …(式17)
ここで、Aは傾きの係数であり、Bは定数である。
ステップST19cでは、h軸及びw軸の各傾き角度φh,φwと、h軸及びw軸の各回転角度θh,θwとを入力する。なお、上記したようにφhとφwとは略等しいため、いずれか一方(例えばφh)の値を用いるだけでもよい。
次のステップST19dからは、板面1aのそりについて、ステップST19hとの間で繰り返し処理を行って、板面1aの曲線上の各代表点の座標を順番に求める。
繰り返し処理におけるステップST19eでは、上記ステップST16dと同様に、画面のxy空間から板面1aのwh空間への座標変換を行い、任意の座標(x,y)を(w,h)に変換する。ステップST19fでは、座標(w,h)から、h軸及びw軸の各軸回りに回転していない(θh=0,θw=0)ときの座標(w’,h’)を計算する。図14(a)のようなそりが生じていて、画面では図14(b)に示すようになっていた場合には、このステップST19fにおける処理で、図16(a)のようになる。図16(a)の座標(w’,h’)は図14(a)座標(w,h)に対応する。
ステップST19gでは、板面1aのそりを計算する。ここでは、図16(a)の矢印XVIb−XVIb線で見た断面形状を示す図16(b)に示されるように、上記座標(w’,h’)に対応するwz面における座標(w’,zc)を求める。
この繰り返し処理により、曲線上の任意の数(n)の代表点の各座標(w1’,zc1),(w2’,zc2),…,(wn’,zcn)について全ての計算が終了したら、ステップST19hからステップST19iに進む。
ステップST19iでは、各代表点の座標(w1’,zc1),(w2’,zc2),…,(wn’,zcn)に基づいて、スプライン補間等により各代表点を通る近似式を計算する。これにより、例えば図16bに示されるように、そりの無い線(z=0)に対してz軸方向に凹状の曲線が求められる。そして、ステップST19jでは、ステップST19iで求められたそりを表す曲線を出力する。
なお、そりの形態としては、上記したようにh軸に沿う面がz軸方向に凹状になる場合に限られず、w軸方向に沿う面がz軸方向に凹状になる場合(図14(a)の湾曲方向が直交する形態)も、座標(w,zc)を座標(h,zc)に置き換えることで同様に処理することができる。
このようにして、図5のステップST19における計算を終了したら、適正な補正により板面1aを矩形化処理するべくステップST20に進む。ステップST20では、板面1aの位置(4角の各座標),角度(h軸,w軸の傾き及び回転),そり(上記そりを表す曲線)を出力して図5のフローを終了する。
なお、図5のフローにおいて、ステップST14で板面1aの4辺が全て検出されなかったと判定された場合にはステップST22に進む。ステップST22では、板面1aの3辺が検出されたか否かを判別し、4辺の内3辺が検出されたと判定した場合にはステップST23に進む。ステップST23では、矩形の4辺の内3辺が検出されていることから、検出された3辺の中で非検出の1辺の両端に対応する2辺の各端同士を結ぶ線を求めて、非検出の1辺を推定する処理を行う。これにより、4辺が検出された場合と同様になることから、ステップST15に進み、上記した処理を行う。
一方、ステップST22で、3辺の検出にも至らなかったと判定された場合(2辺以下の検出)にはステップST24に進む。この場合には、ステップST15以降の処理を行うのに必要な数の辺の検出に失敗したことから、ステップST24でエラー処理を行って、図5のフローを終了する。エラー処理としては、モニタ上にエラー表示する等でよい。
図5のフローで板面1aの情報取得に成功した場合には、図17のフローに進む。
図17のステップST31では、歪曲情報を入力する。この歪曲情報は、板面1aの傾きやそりによる歪曲情報ではなく、上記メモリ4cに予め記憶されている歪曲情報のことであり、図1のカメラアングルで撮影することにより、図4(a)に示されるように撮影されるカメラ3における光学的な歪曲画像の情報である。
ステップST32では、上記ステップST20の出力データ(一時メモリに入れておいてよい)の板面1aの位置,角度,そり曲線を入力する。ステップST33では、ステップST31の歪曲情報に基づいて、歪曲補正した近似線を計算する。例えば、予め設定した30点の位置を結んで得られる曲線を、光学的歪曲情報に基づいて直線化する。
ステップST34では、画面のxy軸におけるx軸方向の不均一を補正する座標計算を行う。上記図16に示したように、wz面においてz軸方向に凹状のそりが板面1aに生じていた場合には、画面に映る板面1aのx軸方向中央部に対して両端部分の方が狭くなる、という不均一さが生じる。そこで、上記図15のフローでそりがある曲線が求められたら、そのそり曲線に応じてx軸方向の不均一さを補正する座標を計算する。
次のステップST35からは、出力画像の全画素の補正について、ステップST39との間で繰り返し処理を行って、全画素に対して計算を行う。
繰り返し処理におけるステップST36では、図18(a)に示される出力画像(補正後の画像)における画素P1の座標を求めるために、図18(b)に示される入力画像(カメラ3で撮影したままの画像)における対応する画素P1’の座標を決定する。なお、図の格子模様は説明上描いたものである。
ステップST37では、w−h−z空間上の座標を計算する。ここでは、上記ステップST32で入力した板面1aの角度,そり曲線に基づいて、w−h−z空間上の座標を計算する。ステップST38では、図18(b)に示される入力画像での対応する画素P1’の座標を計算する。ここでは、ステップST32で入力した板面1aの位置と、ステップST33で計算した歪曲補正近似線とを用いて、画素P1’の座標を計算する。
そして、繰り返し処理により、出力画像の全画素(P1,…,Pn)について、対応する入力画像の全画素(P1’,…,Pn’)の計算が終了したら、ステップST39からステップST40に進む。
ステップST40では、ステップST35〜39で求めた補正座標を出力する。入力画像と出力画像との対応する各画素座標に対して上記したように補正し、図18(a)に示されるように、出力画像の板面1aにおいてxy方向に間隔の不均一さが無く、直接見た板面1aと同様の歪みの無い画像が得られた。
以上、本発明を、その好適実施形態の実施例について説明したが、当業者であれば容易に理解できるように、本発明はこのような実施例により限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
例えば、図1に対応する図19に示されるように、机11の板面としての上面11aを、上記と同様に撮影することができる。机11の1辺から側方に延出しかつ上方に延びるように曲折されたアーム2の上端にカメラ3を固定し、カメラ3により上面11aを斜め上方から撮影する。これにより、上面11aに載置されたボードや紙に書かれた文字等を、上記と同様にパソコンのモニタに歪曲補正された状態で映し出すことができる。
また、上記実施形態に示した構成要素は必ずしも全てが必須なものではなく、本発明の趣旨を逸脱しない限りにおいて適宜取捨選択することが可能である。
本発明にかかる画像補正装置は、板面を斜めから撮影した場合の撮影画像の歪曲補正のみならず、カメラの初期設定位置からずれたことによる撮影画像の歪曲を好適に補正することができ、ホワイトボードに限られず、板面を斜めから撮影したものをモニタ等に出力する用途に有用である。
1 ホワイトボード
1a 板面
3 カメラ
4 パソコン
5 主制御部
5a エッジ検出部
5b 歪曲補正部
5c 角度計算部
5d 補正座標計算部
5e 再歪曲補正部
5f 表示データ変換部
1a 板面
3 カメラ
4 パソコン
5 主制御部
5a エッジ検出部
5b 歪曲補正部
5c 角度計算部
5d 補正座標計算部
5e 再歪曲補正部
5f 表示データ変換部
Claims (5)
- 矩形の板面に対して所定の位置から斜めに撮影するように設けられたカメラと、前記カメラによる撮影画像の歪曲を画像処理して補正する画像補正装置とを有する撮像装置であって、
前記板面の縦横にそれぞれ沿う縦軸及び横軸を設定し、
前記画像補正装置は、
前記撮影画像の前記カメラによる光学的歪曲を補正した光学的補正画像を作る光学的補正画像形成部と、
前記板面が撮影画面上で矩形になるように前記板面の前記縦軸及び前記横軸の各傾き角度及び各軸回りの回転角度を算出する軸角度算出部と、
前記各傾き角度及び前記各回転角度に基づいて前記板面の前記撮影画面上での画像を矩形になるように補正する矩形板面形成部とを有することを特徴とする画像補正装置。 - 前記軸角度算出部は、
前記光学的補正画像における前記板面の4辺を検出する4辺検出部と、
前記4辺からなる四角形に基づいて、前記撮影画面に沿う方向の前記縦軸の傾き角度と前記縦軸回りの回転角度とを算出する縦軸角度算出部と、
前記4辺からなる四角形に基づいて、前記撮影画面に直交する方向の前記横軸の傾き角度と前記横軸回りの回転角度とを算出する横軸角度算出部とを有することを特徴とする請求項1に記載の画像補正装置。 - 前記縦軸角度算出部は、前記4辺における前記横軸方向の2辺を前記撮影画面上で平行にする場合の前記傾き角度と前記回転角度とを算出し、
前記横軸角度算出部は、前記4辺における前記縦軸方向の2辺を前記撮影画面上で平行にする場合の前記傾き角度と前記回転角度とを算出することを特徴とする請求項2に記載の画像補正装置。 - 前記板面のそりを検出し、かつ前記そりを表す曲線を求めるそり処理部を有し、
前記矩形板面形成部は、前記そりを表す曲線に基づいて前記撮影画面上で前記4辺が矩形になる前記板面の画像を作ることを特徴とする請求項1乃至請求項3のいずれかに記載の画像補正装置。 - 前記そり処理部は、
前記光学的補正画像において前記4辺の少なくとも1辺が湾曲していることを検出するとともに、前記湾曲している辺の両端を直線で結ぶ仮の直線状辺を求めて、前記仮の直線状辺を含む4辺に基づいて前記板面の前記横軸及び前記縦軸の各軸回りの回転を補正し、前記板面の該回転を補正された画像における前記仮の直線状辺に対する前記湾曲している辺上の複数の点の空間座標を求めて、各前記空間座標を結ぶ線に基づいて前記そりを表す曲線を求めることを特徴とする請求項4に記載の画像補正装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012172732A JP2014033342A (ja) | 2012-08-03 | 2012-08-03 | 画像補正装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012172732A JP2014033342A (ja) | 2012-08-03 | 2012-08-03 | 画像補正装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014033342A true JP2014033342A (ja) | 2014-02-20 |
Family
ID=50282848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012172732A Pending JP2014033342A (ja) | 2012-08-03 | 2012-08-03 | 画像補正装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014033342A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016127419A (ja) * | 2014-12-26 | 2016-07-11 | カシオ計算機株式会社 | 画像補正装置、画像補正方法及びプログラム |
CN111415296A (zh) * | 2020-03-17 | 2020-07-14 | 东南数字经济发展研究院 | 一种无人机倾斜摄影的地面分辨率计算方法 |
CN112818991A (zh) * | 2021-02-18 | 2021-05-18 | 长江存储科技有限责任公司 | 图像处理方法及图像处理装置、电子设备、可读存储介质 |
-
2012
- 2012-08-03 JP JP2012172732A patent/JP2014033342A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016127419A (ja) * | 2014-12-26 | 2016-07-11 | カシオ計算機株式会社 | 画像補正装置、画像補正方法及びプログラム |
CN111415296A (zh) * | 2020-03-17 | 2020-07-14 | 东南数字经济发展研究院 | 一种无人机倾斜摄影的地面分辨率计算方法 |
CN111415296B (zh) * | 2020-03-17 | 2024-01-19 | 东南数字经济发展研究院 | 一种无人机倾斜摄影的地面分辨率计算方法 |
CN112818991A (zh) * | 2021-02-18 | 2021-05-18 | 长江存储科技有限责任公司 | 图像处理方法及图像处理装置、电子设备、可读存储介质 |
CN112818991B (zh) * | 2021-02-18 | 2024-04-09 | 长江存储科技有限责任公司 | 图像处理方法及图像处理装置、电子设备、可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6764533B2 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
US8754961B2 (en) | Apparatus and method for generating image data from overlapping regions of images | |
JP2019097178A (ja) | 撮像装置、画像処理装置および方法 | |
JP2014131257A (ja) | 画像補正システム、画像補正方法及びプログラム | |
JP5257616B2 (ja) | プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法 | |
US7452084B2 (en) | Projector with a device for measuring angle of inclination | |
CN111935465B (zh) | 投影***、投影装置以及其显示影像的校正方法 | |
JP4010754B2 (ja) | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 | |
JP2011253376A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2007043545A (ja) | 撮像装置、画像補正方法及びプログラム | |
WO2017045129A1 (zh) | 图像畸变校正方法及装置 | |
TWI622960B (zh) | 深度影像擷取裝置的校正方法 | |
CN107403409B (zh) | 图像拼接前的图像处理方法、装置及图像拼接方法及装置 | |
WO2019232793A1 (zh) | 双摄像头标定方法、电子设备、计算机可读存储介质 | |
JP6752360B2 (ja) | 画像処理装置、撮像装置、端末装置、画像補正方法および画像処理プログラム | |
JP6582683B2 (ja) | 角度算出システム、角度算出装置、プログラム、および角度算出方法 | |
US11196929B2 (en) | Signal processing device, imaging device, and signal processing method | |
JP2011155412A (ja) | 投影システムおよび投影システムにおける歪み修正方法 | |
JP2014033342A (ja) | 画像補正装置 | |
JP5561503B2 (ja) | プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法 | |
JP6178127B2 (ja) | 建造物の計測装置および計測方法 | |
WO2010055809A1 (ja) | 撮像装置の調整方法および撮像装置 | |
TW201824178A (zh) | 全景即時影像處理方法 | |
CN111131801A (zh) | 投影仪校正***、方法及投影仪 | |
JP4548228B2 (ja) | 画像データ作成方法 |