JP4640080B2 - 撮像装置 - Google Patents

Description

本発明は、デジタルカメラに関し、特にあおり補正機能を有するデジタルカメラに関する。

デジタルスチルカメラおよびデジタルビデオカメラは広く普及しており、各種展示会におけるプレゼンテーションや、各種発表会の舞台をデジタルカメラで撮影する光景が普通に見られるようになっている。

このような場面で被写体を正面から撮影できることはまれであり、多くの場合、被写体に対して斜めの位置からの撮影を強いられることになる。すると、正面から撮影すれば長方形に写るはずのスクリーンや舞台が台形に歪んで写り、遠い側の出演者はより近い側の出演者より小さく写ってしまう。

図３はあおり角と像の大きさの関係を説明する図である。図３において、３０は撮像素子、３１は撮像面、３２は光軸、３３は被写体面、３４乃至３６は被写体、３７は被写体３５の像、３８は被写体３６の像である。

図３において撮像素子は３０の位置にあり、撮像素子を含む平面が撮像面３１である。光軸３２は撮像素子の中心を通り、撮像面３１に対して鉛直な直線である。被写体面３３はプレゼンテーション等におけるスクリーンを想定したものであり、ここでは被写体面３３が撮像面３１に対してあおり角θだけ傾いている場合を考える。被写体面３３の上に同じ大きさの被写体３４乃至３６が並んでいる時に、撮像素子３０に写像される像の大きさは撮像面３１から各被写体までの距離に逆比例する。光軸上の被写体３５までの距離をＲ、光軸を基準として撮像素子３０から被写体３５を見込む角度をα、撮像面３１から被写体３５までの距離をＬとすると、
Ｌ＝Ｒ＋Ｒ×ｔａｎα×ｔａｎθ＝Ｒ×（１＋ｔａｎα×ｔａｎθ）
となり、被写体３５までの距離Ｒは被写体３４までの距離Ｌの（Ｌ÷Ｒ）＝（１＋ｔａｎα×ｔａｎθ）倍の距離にあるので、被写体３５の像３７の大きさは被写体３４の像の（１＋ｔａｎα×ｔａｎθ）分の１になる。光軸に対して被写体３４の反対側にある被写体３６を見込む角度をβ、撮像面３１から被写体３６までの距離をＭとすると、
Ｒ＝Ｍ＋Ｍ×ｔａｎβ×ｔａｎθ＝Ｍ×（１＋ｔａｎβ×ｔａｎθ）
となり、被写体３６までの距離Ｍは被写体３４までの距離Ｒの（１＋ｔａｎβ×ｔａｎθ）分の１になるので、被写体３６の像３８の大きさは被写体３４の（１＋ｔａｎα×ｔａｎθ）倍になる。その結果、被写体３５と被写体３６が長方形であるスクリーンの左右の辺であったとすると、その像は左側の辺の長さが右側の辺の（１＋ｔａｎα×ｔａｎθ）×（１＋ｔａｎβ×ｔａｎθ）倍である台形として写る。

このような不都合を緩和するため、長方形の被写体が長方形に写るよう補正する「あおり補正」機能を備えたデジタルカメラが提案されており、最近の従来例として特開２００３−２８３９１６を紹介する。図４は特許文献１に記載のデジタルカメラの構成を簡略化して図示したブロック図である。図４において１０は撮像回路、１１はメインメモリ、１３は制御回路、１４は画像処理回路、１５はあおり補正回路、１８は表示回路、１９は操作回路、２０は補正量計算回路である。

撮像回路１１はＣＣＤなどの撮像素子とＡ／Ｄ変換器を備えており、入射光の像をＲＧＢ三原色に分解してデジタル化し、ＲＧＢ形式の画像データとしてメインメモリ１１に書き込む。ＲＧＢ形式の画像データは画像処理回路１４で表示に適したＹＣ形式の画像データに変換されて、メインメモリ１１に書き戻される。表示回路１８はメインメモリ１１からＹＣ形式の画像データを読み出してＬＣＤパネル等の画面に表示する。

制御回路１３は操作回路１９を監視しており、あおり補正が指示された時には補正量計算回路２０に指示して補正量を求めさせる。補正量計算回路２０はメインメモリ１１にあるＹＣ形式の画像データを読み出し、画像のエッジを検出して、エッジの傾きを水平または垂直に補正するような補正量を求める。制御回路１３は補正量計算回路２０が取得した補正量をあおり補正回路１５に与える。すると、あおり補正回路１５はメインメモリ１１から画像データを読み出し、与えられた補正量に従ってあおり補正を施してメインメモリ１１に書き戻す。さらに制御回路１３は表示回路１８にあおり補正後のＹＣデータを読むよう支持する。この一連の操作の結果としてあおり補正が施された画像が表示される。
特開２００３−２８３９１６号公報

しかしながら上記、従来のデジタルカメラはズームして画角を変えたり、パンしてカメラの方向を変えたりすると、あおりを正しく補正できなくなる事がある。

図３において、被写体３５が表示装置１８の画面の両端に写る被写体であると仮定し、光軸を変えずにズームインした場合と、光軸を左右にパンした場合について考えてみる。

光軸を変えずにズームインした場合、前出の補正量、（１＋ｔａｎα×ｔａｎθ）は光軸３２を基準に被写体３５を見込む角度αに依存しているので、ズームインして視界が狭くなり、画面の端を見込む角度αが小さくなれば、画像の端における補正量（１＋ｔａｎα×ｔａｎθ）は小さくなる。

光軸を左右にパンした場合、補正量（１＋ｔａｎα×ｔａｎθ）は撮像面３１と被写体面３３がなす角度、即ちあおり角θに依存しているので、光軸３２を左にパンして撮像面３１が被写体面３３に正対する方向に近づけば、ｔａｎθが小さくなるので補正量は小さくなり、逆に右にパンすればｔａｎθが大きくなって補正量は大きくなる。このように視界が変わる時には補正量の更新が必要である。

ところがズームアップするとスクリーンや舞台などの端が視界の外に出てしまい、情報源を失うために補正量計算回路２０が補正量を正しく求められなくなる事がある。また、カメラをパンして正対する位置の被写体に向けると、過剰な補正が掛かっているためにかえって歪んだ画像になってしまうことがある。そうした時にカメラをパンする途中で歪曲補正をオフにすることもできるが、オンオフの前後で画像が不連続になるという問題が残る。

本発明の撮像装置は、撮像手段と、あおり補正を含む画像処理を行う画像処理手段と、前記あおり補正の補正量を取得する補正量取得手段と、画像の拡大率を監視する倍率監視手段と、光軸のパン角を監視するパン角監視手段と、前記拡大率および前記パン角に応じて前記補正量を更新する制御手段を有すること特徴とする。

本発明の撮像装置ではズーム倍率の変化や光軸のパン角に応じて補正量を更新するので、正しくあおり補正が出来る、という利点がある。

以下、図１乃至３を参照して本発明の実施例を詳細に説明する。

図１は本発明によるデジタルスチルカメラの構成を図示するブロック図である。図１において１０は撮像回路、１１はメインメモリ、１３は制御回路、１４は画像処理回路、１５はあおり補正回路、１６は光学ズーム装置、１７は手ブレ検出回路、１８は表示回路、１９は操作回路である。

撮像回路１０は入射光の像をＲＧＢ三原色に分解してデジタル化したＲＧＢ形式のＲＡＷデータに変換し、メインメモリ１１にＲＡＷデータを書き込む。画像処理回路１４はメインメモリ１１からＲＡＷデータを読み出し、色空間変換を行ってＲＡＷデータをＹＣデータに変換し、生成したＹＣデータをメインメモリ１１に書き出す。あおり補正回路１５はメインメモリ１１からＹＣデータを読み出し、あおり補正を施してからメインメモリ１１に書き戻す。表示回路１８はＬＣＤパネルを備えており、メインメモリ１１から制御回路１３の指示に従ってあおり補正前、またはあおり補正後のＹＣデータを読み出してＬＣＤパネルに画像を表示する。

光学ズーム装置１６は撮像回路１０に生じる像を光学的に拡大または縮小するズームレンズと、光学ズームの倍率を検出するロータリーエンコーダーを備えており、制御回路１３に光学ズーム倍率を通知する機能を持つ。手ブレ検出回路１７はジャイロセンサーと積分回路を備え、ジャイロセンサーが出力する角度変化量を積分する事によりカメラがパンした角度を算出し、制御回路１３に通知する。手ブレ検出回路１７の目的は撮像回路１０の光軸の角度を追跡する事であるから、撮像回路１０と機械的に一体として実装するのが望ましい。

操作回路１９はスイッチ類を備えた操作パネルであり、撮像装置全体に指示を与えるものである。操作回路１９には、特にあおり補正をオンオフするオンオフスイッチと、あおり補正量の自動調整をオンオフする自動調整スイッチと十字キーがある。オンオフスイッチを入れると初期状態では補正量を手動調整する手動モードになっており、十字キーを操作すると左右方向と上下方向のあおり補正量を加減することができる。自動調整スイッチを押すと自動調整モードになり、あおり補正量はカメラの向きによって自動的に加減されるようになる。小型のカメラでは操作回路１９が撮像回路１０と一体の筐体内にあると操作の際に光軸がぶれる恐れがあるので、できれば操作回路１９は撮像回路１０を収めた筐体から分離できる構成にするのが望ましい。

制御回路１３は光学ズーム装置１６、手ブレ検出回路１７、操作回路１９の状態を監視し、操作回路１９で与えられる指示に応じて撮像回路１０、画像処理回路１４、あおり補正回路１５、表示回路１８などを制御する。また、制御回路１３はあおり補正量を算出し、あおり補正回路１４に与える役割も持つ。

あおり補正回路１４はデジタルズーム機能を持つ回路であって、画像内の画素位置に応じて拡大縮小の倍率を連続的に変えられる特徴を持つ。あおり補正回路１４に与えるあおり補正量のパラメーターは、前出の補正量の式（１＋ｔａｎα×ｔａｎθ）におけるｔａｎθの値と、画角の半分の値である。画角の半分がωのとき、画像の両端での倍率は画像の中央での倍率の（１＋ｔａｎω×ｔａｎθ）倍と１／（１＋ｔａｎω×ｔａｎθ）倍である。途中の画素位置での倍率は、画像中央から画素位置までの距離がＡ画素、画像中央から画像の端までの距離がＷ画素であれば、ｔａｎα＝（Ａ÷Ｗ）×ｔａｎωとして倍率を求めればよい。

画角は光学ズームとデジタルズームの倍率の積によって決まるので、制御回路１３は光学ズーム装置１６が通知する光学ズームの倍率と、あおり補正回路１４に与えるデジタルズームの倍率の積を求めて、これから前記画角の半値ωを計算し、あおり補正回路１４に与える。実施例のデジタルカメラでは１倍から３倍までは光学ズームのみ、３倍から１２倍までは光学ズームとデジタルズームで所定の倍率を得ており、ズーム倍率が１倍の時の画角は５４度、３倍ズームの時は１９度、１２倍ズームの時は５度である。必要なあおり補正の量はズームの手段によらず画角だけで決まるので、光学ズームとデジタルズームの倍率の積に応じた画角の半値をωとしてあおり補正回路１４に与ればよい。

あおり角θの値は、ユーザーが表示回路１８を見ながら初期値を設定し、制御回路１３が手ブレ検出回路１７の出力に応じて更新する。図２はあおり補正量の制御アルゴリズムを示したフローチャートである。制御フローは制御回路１３が操作回路１９で与えられる指示に従って制御しており、操作回路１９においてあおり補正のオンオフスイッチが押されると制御回路１３はステップＳ００１以下のフローを開始する。

まず、ステップＳ００１においては初期化処理を行う。初期化処理において制御回路１３はあおり角θとして０度をあおり補正回路１４に設定し、表示回路１８にはあおり補正後の画像を表示するよう指示する。この状態ではあおり補正回路１４は働いているが、補正量がゼロであるためカメラが捉えたままの画像が表示回路１８によって表示される。
制御回路１３は操作回路１９のスイッチ群を監視しており、ステップＳ００２において操作回路１９の十字キーのうち右キーが押されていれば、ステップＳ００３に分岐して０．１度増やしたあおり角θをあおり補正回路１４に設定する。そうでない場合は、ステップＳ００４に進み、左キーが押されていればステップＳ００５に分岐して０．１度減らしたあおり角θをあおり補正回路１４に設定する。右キーも左キーも押されていなければステップＳ００６に進み、補正量の自動調整をオンオフする自動調整スイッチが押されていなければステップＳ００２に戻る。このステップ００２からステップ００６までを繰り返すモードが手動調整モードである。

手動調整モードにおいては、左右キーの監視とあおり角θの増減を繰り返すことにより、表示回路１８に表示される画像は、右キーを押さえていると右側が段々大きく表示され、左キーを押さえていると左側が段々大きく表示されるようになる。カメラが長方形の被写体を捉えている状態で左右キーを操作し、最初は台形に表示されていた被写体が長方形に見えるように調整すれば、θにあおり角が正しく設定された事になる。ここで自動調整スイッチを押すと、ステップ００６からステップ００７に分岐して自動調整モードに入る。

自動調整モードでは、ステップ００７において手ブレ検出回路１７が出力する振れ角ｄをあおり角θに加えた値をあおり補正回路１４に設定する。振れ角ｄは単位時間内のカメラの向きの変化を手ブレ検出回路１７が検出したものであり、カメラの向きが変わらない時はｄ＝０である。カメラをパンするとあおり角が変化し、同時に手ブレ検出回路１７がカメラの向きの変化量ｄをとらえるので、ステップ００７の処理によって、あおり角θをカメラの向きに追従させることができる。

次のステップ００８ではあおり補正のオンオフスイッチを監視し、ユーザーの指示があおり補正オンであれば、制御回路１３は表示回路１８にはあおり補正後の画像を表示するよう指示してステップ００７に戻る。このステップ００７からステップ００８、ステップ００９と進んでステップ００７に戻るループでは、手ブレ検出回路１７が出力する振れ角によってあおり角θを自動的に正しい値に保つことが出来る。

ステップ００８においてあおり補正オフが指示された場合にはステップＳ０１０に進み、制御回路１３は表示回路１８にはあおり補正前の画像を表示するよう指示する。次のステップ０１１では自動調整スイッチを監視しており、自動調整が指示されていればステップ００７に戻ってあおり角θを自動的に更新する。

このようにあおり補正のオン・オフの指示に対しては表示回路１８が表示する画像を補正前の画像データに変えたり補正後の画像データに変えたりするのみとし、手ブレ検出回路１７が出力する振れ角ｄをあおり角θに加えてあおり補正回路１４に設定するあおり角θを更新する動作を表示に関わらず実行し続ける事により、あおり補正を一時的にオフにした後でも、あおり補正がオンに戻せば直ちに正しいあおり補正ができるようになる。
なお、ステップ０１１において、自動調整オフを指示するとＳＴＯＰに進んであおり補正の動作を全て終了する。

このように本発明のデジタルカメラはあおり角の変化に自動的に追従する仕組みを備えているので、撮影の途中でカメラをパンしたりズームインしたりしても正しく補正し続けることが可能であり、一時的にあおり補正をオフしても、オンに戻した時に補正量を再調整する必要が無い。

なお、上記説明では煩雑を避けるために左右方向のあおりを補正する動作に限って説明したが、上下方向のあおりも発生の原理と補正の方法は同じであり、あおり補正回路１４においては上下方向でも倍率を変化させ、手ブレ検出回路１７においては上下方向の振れ角も検出し、手動調整モードにおいては上下キーの指示に従って上下方向のあおり角を調整し、自動調整モードにおいては上下方向のあおり角も更新する事により、上下方向のあおりも左右方向のあおりと同様に正しく補正し続けることが可能である。

本発明は、ズーム倍率の変化や光軸のパン角に応じて補正量を更新することにより、正しくあおり補正ができるので、撮像装置に適用可能である。例えば、デジタルスチルカメラ、ビデオカメラ、カメラ機能付き携帯電話端末等に適用可能である。

本発明によるデジタルカメラの構成を示すブロック図 あおり補正量の制御アルゴリズムを示したフローチャート あおり角と像の大きさの関係を説明するための模式図 従来のデジタルカメラの構成を示したブロック図

符号の説明

１０ 撮像回路
１１ メインメモリ
１３ 制御回路
１４ 画像処理回路
１５ あおり補正回路
１６ 光学ズーム装置
１７ 手ブレ検出回路
１８ 表示回路
１９ 操作回路
２０ 補正量計算回路
３０ 撮像素子
３１ 撮像面
３２ 光軸
３３ 被写体面
３４、３５、３６ 被写体
３７、３８ 被写体の像

Claims (9)

1. 撮像手段と、
   あおり補正を含む画像処理を行う画像処理手段と、
   前記あおり補正の補正量を取得する補正量取得手段と、
   光軸のパン角を監視するパン角監視手段と、
   前記パン角に応じて前記補正量を更新する制御手段と、
   を有する撮像装置。
2. 請求項１記載の撮像装置であって、
   前記パン角監視手段はジャイロセンサーを備え、電子的角度検出手段によって光軸のパン角を取得する撮像装置。
3. 撮像手段と、
   あおり補正を含む画像処理を行う画像処理手段と、
   前記あおり補正の補正量を取得する補正量取得手段と、
   画像の拡大率を監視する倍率監視手段と、
   前記拡大率に応じて前記補正量を更新する制御手段と、
   を有する撮像装置。
4. 請求項３記載の撮像装置であって、
   前記画像の拡大は光学的ズーム手段によって行うものであり、前記倍率監視手段は光学ズームの倍率を取得する撮像装置。
5. 請求項３記載の撮像装置であって、
   前記画像の拡大は前記撮像手段が取得した画像の一部を前記画像処理手段によって電子的にズームするものであり、前記倍率監視手段は電子ズームの倍率を取得する撮像装置。
6. 請求項３記載の撮像装置であって、
   前記画像の拡大は光学的ズーム手段と電子的ズーム手段の両方によって実現するものであり、前記倍率監視手段は光学ズームの倍率と電子ズームの倍率の積を取得する撮像装置。
7. 撮像手段と、
   あおり補正を含む画像処理を行う画像処理手段と、
   前記あおり補正の補正量を取得する補正量取得手段と、
   画像の拡大率を監視する倍率監視手段と、
   光軸のパン角を監視するパン角監視手段と、
   前記拡大率および前記パン角に応じて前記補正量を更新する制御手段と、
   を有する撮像装置。
8. 請求項１乃至７のいずれかに記載の撮像装置であって、
   あおり補正の実施と停止を指示する指示手段を備え、あおり補正を停止している時も前記制御手段は前記補正量を更新する撮像装置。
9. 前記補正量取得手段は画像を表示する表示手段と、
   補正量の加減を指示する操作手段を備え、
   表示手段によってあおり補正を施した画像を表示し、前記操作手段を用いて前記画像の歪みが最小になるよう補正量を加減する手順によって正しい補正量を得る、
   請求項１から８のいずれかに記載の撮像装置。

Images