JP2014038426A - 画像処理装置 - Google Patents

Abstract

【課題】撮影画像への反射光などの映り込みの影響を防止するとともに、被写体を複数の方向から撮影する時間や労力を要することがない画像処理装置を提供する。
【解決手段】筐体と、２以上の撮像手段と、２以上の撮像手段を筐体に取り付ける取付手段と、２以上の撮像手段により取得した２以上の撮影画像ごとの欠損状況を判定する欠損状況判定手段と、欠損状況判定手段により判定した欠損状況を補うとともに、２以上の撮影画像を合成して合成画像を生成する画像合成手段とを有する画像処理装置であって、取付手段は、２以上の撮像手段の筐体に対する相対角度を保持しつつ、２以上の撮像手段の筐体に対する相対位置を変更する相対位置変更手段を有する。
【選択図】図９

Description

本発明は、撮影画像への光や影の映り込みの影響を抑える画像処理装置に関する。

従来から、ポスターやホワイトボード等のように表面に光沢がある被写体をカメラで撮影した場合、蛍光灯の反射光や、建物の影などが撮影画像に映り込んでしまい、内容の判読が困難になってしまうことがある。それを回避するための技術としてポスターやホワイトボード等の被写体を複数の方向から撮影し、それら複数の撮影画像を合成することで映り込みを防止する技術が既に知られている。

特許文献１には、撮影画像への反射光などの映り込みの影響を防止する目的で、異なる方向から被写体を複数回撮影して画像を取得し、取得した撮影画像を合成する技術が開示されている。

しかし、特許文献１に記載の技術においては、撮影画像への反射光などの映り込みの影響を防止するために、被写体を複数の方向から撮影すべく撮影者が移動しなければならず、時間や労力を要するという問題がある。

そこで、本発明は、撮影画像への反射光などの映り込みの影響を防止するとともに、被写体を複数の方向から撮影する時間や労力を要することがない画像処理装置を提供することを目的とする。

上記の課題を解決するため、本発明の画像処理装置は、筐体と、２以上の撮像手段と、２以上の撮像手段を筐体に取り付ける取付手段と、２以上の撮像手段により取得した２以上の撮影画像ごとの欠損状況を判定する欠損状況判定手段と、欠損状況判定手段により判定した欠損状況を補うとともに、２以上の撮影画像を合成して合成画像を生成する画像合成手段とを有する画像処理装置であって、取付手段は、２以上の撮像手段の筐体に対する相対角度を保持しつつ、２以上の撮像手段の筐体に対する相対位置を変更する相対位置変更手段を有することを特徴とする。

本発明によれば、一度の撮影で反射光の映り込みの影響を抑えた撮影画像を取得できるため、被写体を複数の方向から撮影する時間や労力を省くことができる。

本発明の実施形態の画像処理装置の構成例を示した模式図である。 本発明の実施形態の画像処理装置としてのデジタルステレオカメラの構成を示す斜視図である。 本発明の実施形態の画像処理装置としてのデジタルステレオカメラの背面図である。 本発明の実施形態のデジタルステレオカメラの正面図および縦断面図である。 本発明の実施形態のデジタルステレオカメラの横断面図および撮像部の回転模式図である。 本発明の実施形態の画像処理装置における画像合成イメージを示す模式図である。 本発明の実施形態の画像処理装置のハードウェア構成を示す図である。 本発明の実施形態の画像処理装置の機能ブロック図を示す図である。 本発明の実施形態の画像処理装置における画像処理手順を示すフローチャートである。 本発明の実施形態の画像処理装置における画像変換処理手順を示すフローチャートである。 本発明の実施形態の画像処理装置における画像合成処理イメージを示す模式図である。 本発明の実施形態の画像処理装置における撮像部位置を変更するその他の機構を示す模式図である。 本発明の実施形態の画像処理装置の別の機能ブロック図を示す図である。 ステレオカメラで撮影した左右画像を合成したときに反射光の重なり領域を修復できない様子を示す模式図である。 ステレオカメラの撮像部筐体を撮像部の角度を変更せずに回転させた様子を示す模式図である。 ステレオカメラの撮像部筐体を撮像部の角度を変更せずに回転させた場合の撮像領域の様子を示す模式図である。

本発明の実施形態の画像処理装置について図面を用いて以下詳細に説明する。本実施形態においては、画像処理装置としてデジタルステレオカメラを用いるが、通常のデジタルステレオカメラと異なり、２つのカメラの筐体に対する相対的な位置関係を変更できるようにしたものである。

なぜなら、２つのカメラが水平に並んだ通常のステレオカメラを用いてホワイトボードを撮影した場合、ホワイトボード撮影画像にホワイトボードの横方向に水平な蛍光灯の映り込みがあると、画像処理においてその映り込みを完全に消すことができないからである。

例えば、図１４に示すような状況においては、ホワイトボードの全ての領域を修復することができない。図１４は、通常のステレオカメラを使用して撮影したホワイトボードの撮影画像に、ホワイトボードの横方向に水平であって、横長な蛍光灯の映り込みがあった場合に、撮影で得られた左右画像を合成した様子を示したものである。

ホワイトボードの上方中央に横長な蛍光灯の映り込みがあった場合に、通常のステレオカメラで撮影すると、左カメラ画像Ｅでは、蛍光灯の映り込みが撮影画像の右寄りに映し出され、一方で右カメラ画像Ｆでは、蛍光灯の映り込みが撮影画像の左寄りに映し出される。そして、これらの左右カメラ画像を合成した合成画像Ｇにおいて、左右画像で映し出されていた蛍光灯の映り込みが重なる領域が発生する。

この映り込みが重なる領域に対して輝度補正を行っても元の画像を修復することは不可能である。映り込みが重なっていなければ、左右画像で何れか正常な画素と映り込みが発生した異常画素とを相互に変換して合成すればよいが、映り込みが重なってしまった領域において対応する異常画素同士を相互に変換しても修復が不可能であることは明らかである。

ここで、図１５に示すように、上記のような映り込みの重なる領域を発生させないために、ステレオカメラ８００の筐体８１１に対して水平に配置された撮像部としての２つのカメラ８１３、８１４が取り付けられたカメラ部筐体８１２を９０°回転することとする。この場合、２つのカメラ８１３、８１４の何れもカメラ部筐体８１２と一緒に回転してしまうことになる。より詳細には、２つのカメラをカメラ部筐体８１２と共に右に回転させた場合、２つのカメラのカメラ筐体に対する相対角度が変わることで２つのカメラの上部が右側になるということである。

この場合、図１６に示すように、回転後の２つのカメラでホワイトボードを撮影しようとすると、図の破線で示すように撮像領域が９０°回転することにより、映り込み領域の重なりは解消できても、一方で横長のホワイトボードを撮影しづらくなってしまうという事態が発生することになる。

そこで、本実施形態の画像処理装置においては、２つのカメラの筐体に対する相対的な角度を保持したまま相対的な位置関係を変更できるようにして、上述の問題を解決しようとするものである。本実施形態の画像処理装置は、図１（ａ）に示すように、デジタルステレオカメラ１単体であってもよく、また、図１（ｂ）に示すように、撮像装置としてのデジタルステレオカメラ１００と、デジタルステレオカメラ１００で撮影した画像の合成処理などをＵＳＢケーブル等の有線や、無線ネットワークで接続されたノートパソコン５００などの情報処理装置で行うシステム構成であってもよい。

以降の説明においては、本実施形態の画像処理装置としてデジタルステレオカメラ１単体で全ての処理を行う場合を例にとって説明するものとする。図２に示すように、本実施形態のデジタルステレオカメラ１は、カメラ筐体１１と、撮像部筐体１２と、撮像装置１３および１４と、外部記録ユニット差込部１５と、シャッターボタン１６と、電源ボタン１７とを備える。また、外部記録ユニットとしてのメモリーカード５０を外部記録ユニット差込部１５に差し込むことで撮影された画像をメモリーカード５０に記録することができる。なお、デジタルステレオカメラ１に内蔵された不図示のハードディスク等に撮影画像が記録される構成であってもよい。

本実施形態のデジタルステレオカメラ１は、横長のカメラ筐体１１の前面に撮像部１３および１４をカメラ筐体１１に取り付けるための取付手段としての撮像部筐体１２を有する。本実施形態では、この撮像部筐体１２がカメラ筐体１１に対して回転する構成をとるものであるが、これについては後述するものとする。

さらに、図３に示すように、本実施形態のデジタルステレオカメラ１は、その背面に例えば液晶などのモニタ１８を備える。このモニタ１８には、撮影された画像が表示されることは言うに及ばず、デジタルステレオカメラ１本体の各種設定画面や、後述する撮影画像における異常をユーザに知らせるアイコンなどが表示されるものである。

次に、本実施形態のデジタルステレオカメラ１における撮像部１３および１４を回転させる機構について図４から図６を用いて以下説明する。図４（ａ）は、本実施形態のデジタルステレオカメラ１の正面図であり、図４（ｂ）は、撮像部筐体１２をカメラ筐体１１の前面と平行に輪切りにした縦断面図である。

図４（ｂ）に示すように、撮像部筐体１２内部には、カメラ筐体１２の長手方向に平行で横一列に５つの同一径の歯車がお互いに噛み合わされた状態で搭載されている。歯車２１は、撮像部１３の中心軸に固定され、この中心軸を介して左右に回動する。また、歯車２２は、歯車２１と噛み合わされて後述する歯車２３の回動を歯車２１へ伝達するため、歯車２１および歯車２３とは逆方向に回動する。

また、歯車２３は、カメラ筐体１１の中心軸と固定され、この中心軸を介して撮像部筐体１２を左右に回動する。歯車２４は、歯車２３と噛み合わされ、歯車２３の回動を後述する歯車２５へ伝達するため、歯車２３とは逆方向に回動する。そして、歯車２５は、撮像部１４の中心軸に固定され、この中心軸を介して左右に回動する。また、歯車２５は、歯車２４に噛み合わされ、歯車２４とは逆方向、つまり歯車２３と同一方向に回動する。

なお、本発明において、歯車２３を第１歯車とし、歯車２１および歯車２５を第２歯車とし、歯車２２および歯車２４を第３歯車とする。また、本発明において、カメラ筐体１１の中心軸を第１中心軸とし、撮像部１３および撮像部１４それぞれの中心軸を第２中心軸とする。さらに、本発明において、例えば、これらの歯車で撮像部筐体１２や撮像部１３並びに撮像部１４を回転させる機構全体を総称して歯車機構とし、このような歯車機構を含む撮像部のカメラ筐体１１に対する相対的な位置を変更する上位概念としての構成を相対位置変更手段とする。

本実施形態の歯車機構について、図５を用いてさらに詳細に説明する。図５（ａ）は、図４（ａ）で示した本実施形態のデジタルステレオカメラ１を上方から見たＡ−Ａ’断面図である。なお、カメラ筐体１１内部構造については説明を省略する。

本実施形態の歯車機構において、歯車２１から歯車２５はすべて同径サイズで、同じ歯数の歯車である。また、これらの歯車は、カメラ筐体１１の横方向に平行に直線状に配置されすべての歯車同士の歯が噛み合っているものとする。

上述の通り、歯車２１、歯車２３、歯車２５はそれぞれ撮像部１３、カメラ筐体１１、撮像部１４に対して不動である。またカメラ筐体１１と撮像部筐体１２を歯車２３を中心に回動させることができる。ただし、この場合のカメラ筐体１１の回動は、撮像部筐体１２が回動することに対する相対的なものである。さらに、撮像部筐体１２に対して撮像部１３と撮像部１４をそれぞれ歯車２１、歯車２５により回動させることができる。なお、本実施形態においては、例えば歯車２３を回動させるための不図示の駆動手段を備える。

この場合、カメラ筐体１１に対して撮像部筐体１２を角度α分回動させたとする。すると、歯車２３はカメラ筐体１１に対して不動であるため、撮像部筐体１２に対して角度−α分だけ回動する。歯車２３の回動が伝えられた、歯車２２、歯車２４はそれぞれ撮像部筐体１２に対して角度α分ずつ回動する。そのとき歯車２２、歯車２４の回動が伝えられた、歯車２１、歯車２５はそれぞれ、撮像部筐体１２に対して角度−α分回動する。つまり歯車２１、歯車２３、歯車２５は必ず同じ向きを保ち続けることになる。

そして、歯車２３はカメラ筐体１１に対して回動しないので、歯車２１、歯車２５もカメラ筐体に対して回動しない。したがって、歯車２１、歯車２５に対して不動な撮像部１３、撮像部１４もカメラ筐体１１に対して回動しないことになる。

本実施形態の歯車機構によれば、図５（ｂ）に示すように、例えば撮像部筐体１２を９０°右に回転させても、撮像部１３および撮像部１４共にカメラ筐体１１に対する相対的な角度を変えることなく、撮像部１３および撮像部１４のカメラ筐体１１に対する相対的な位置を、例えば水平の位置関係から上下の位置関係へ、変更することができる。

よって、本実施形態の歯車機構によれば、図６に示すように、撮像部１３による上カメラ画像Ｂと、撮像部１４による下カメラ画像Ｃを合成した合成画像Ｄにおいて、蛍光灯の映り込み領域が重なり合うことが無くなり、上下画像で何れか正常な画素と映り込みが発生した異常画素とを相互に変換して合成することで映り込み領域を修復することが可能となる。なお、本発明において、蛍光灯の反射光や建物の影などの影響により発生する映り込み領域全般を総称して撮影画像における欠損状況とする。

次に、本実施形態のデジタルステレオカメラ１のハードウェア構成について図７を用いて以下説明する。まず撮像部１３は、レンズ１３１と、センサ１３２と、画像処理ユニット１３３と、ＩＦ１３４とを備える。また、撮像部１４は、レンズ１４１と、センサ１４２と、画像処理ユニット１４３と、ＩＦ１４４とを備える。

撮像部１３および撮像部１４はそれぞれのＩＦ１３４およびＩＦ１４４により、相対位置変更部２００を介して画像処理部３０と接続されている。画像処理部３０は、ＩＦ３１と、ＣＰＵ３２と、メモリ３３と、外部記録ユニット３４と、制御ユニット３５と、映像出力ユニット３６と、各ユニットを相互に接続するバス３７とを備える。

センサ１３２及びセンサ１４２は、レンズ１３１及びレンズ１４１を経由した光学像をデジタル画像に変換するＣＣＤなどのイメージセンサである。また、画像処理ユニット１３３及び画像処理ユニット１４３は、センサ１３２及びセンサ１４２で変換されて得たデジタル画像に対して各種画像処理を行うＩＳＰ（イメージ・シグナル・プロセッサ）などである。さらに、ＩＦ１３４及びＩＦ１４４は、画像処理ユニット１３３及び画像処理ユニット１４３で得られた画像や制御信号などをやり取りするインターフェースユニットである。

画像処理部３０において、ＩＦ３１は、撮像部１３及び撮像部１４との間で画像データや制御信号などをやり取りするインターフェースユニットである。また、ＣＰＵ３２は、種々の処理を実行する中央演算部であり、メモリ３３はＣＰＵ３２の処理に必要な各種ソフトウエア、データ、フレーム画像および合成済みフレーム画像などを格納するＲＡＭやＨＤＤなどのメモリである。

映像出力ユニット３６は、画像処理部３０に接続された背面モニタ１８などに映像信号を送る。外部記録ユニット３４は、メモリーカード５０等が差し込まれて映像信号を保存するユニットである。制御ユニット３５は、画像装置全体を制御するユニットである。他にユーザからの操作指示受付ユニットなどもあるが、本説明では省略する。

次に、本発明の実施形態のデジタルステレオカメラ１などの画像処理装置における機能ブロックについて図８を用いて以下説明する。すなわち、機能ブロックとして、撮像部１３においては、センサ１３２に対応した画像取得部１３２１と、画像処理ユニット１３３に対応した画像変換部１３３１と、ＩＦ１３４に対応した変換画像伝送部１３４１があり、撮像部１４においては、センサ１４２に対応した画像取得部１４２１と、画像処理ユニット１４３に対応した画像変換部１４３１と、ＩＦ１４４に対応した変換画像伝送部１４４１がある。

また、画像処理部３０においては、機能ブロックとして、ＣＰＵ３２における画像合成部３２１と、欠損状況判定部３２２とがある。

画像取得部１３２１及び画像取得部１４２１は、上述の通り、レンズ１３１及びレンズ１４１を経由した光学像を変換してデジタル画像として取得する機能ブロックである。また、画像変換部１３３１及び画像変換部１４３１は、明るさなどの画質の調整や歪曲収差補正などを行う機能ブロックである。さらに、変換画像伝送部１３４１及び変換画像伝送部１４４１は画像合成部３２１に画像を伝送する機能ブロックである。

画像合成部３２１は、変換画像伝送部１３４１及び変換画像伝送部１４４１から送られてきた２つの画像のうち一方の画像をもう一方の画像に対応するように座標変換をおこなったうえで合成し、照明等の影響を抑えた合成画像を作成する機能ブロックである。画像合成部３２１による具体的な処理内容については後述する。

欠損状況判定部３２２は、合成画像の元となった２つの画像の欠損状況としての反射光領域をそれぞれ検知し、合成画像の全画素数に対する反射光領域の重なり部分の画素数の割合が閾値以上である場合、欠損状況を補うことができない状況にあると判定し、例えば判定結果としてのアイコンを背面モニタ１８に表示させるよう映像出力ユニット３６を制御する機能ブロックである。

また、欠損状況判定部３２２は、合成画像の全画素数に対する反射光領域の重なり部分の画素数の割合が閾値以下である場合、欠損状況を補うことができる状況にあると判定する機能ブロックである。欠損状況判定部３２２による具体的な処理については後述する。

次に、本実施形態の画像合成処理の処理手順について、図９のフローチャートを用いて以下説明する。まず、ユーザによる電源ボタン１７の押圧により画像処理装置としてのデジタルステレオカメラ１が起動する（ステップＳ１）。そして、デジタルステレオカメラ１が起動すると撮像部１３及び撮像部１４にて取得した撮影画像Ｐ及び撮影画像Ｑが画像合成部３２１へ送られる（ステップＳ２）。

次に、画像合成部３２１において、撮影画像Ｐにおける、例えばホワイトボードの書き込み位置と撮影画像Ｑにおけるホワイトボードの書き込み位置が一致するように撮影画像Ｑを変形させた撮影画像Ｑ’を生成する（ステップＳ３）。本処理の詳細については後述する。

続いて、画像合成部３２１において、撮影画像Ｐと撮影画像Ｑ’同士で位置が対応する各画素において、輝度が低いほうの値を撮影画像Ｐと撮影画像Ｑ’の合成画像における対応する画素の輝度値として撮影画像Ｐと撮影画像Ｑ’を合成した合成画像Ｒを生成する（ステップＳ４）。なお、これに代えて、撮影画像Ｐと撮影画像Ｑ’同士で位置が対応する各画素における輝度値の平均値を、合成画像における対応する画素の輝度値として撮影画像Ｐと撮影画像Ｑ’を合成してもよい。

そして、生成された合成画像Ｒが背面モニタ１８に表示される（ステップＳ５）。その後、欠損状況判定部３２２において、撮影画像Ｐと撮影画像Ｑ’に２値化処理を施し、撮影画像ごとに対応する反射光マップＳ及び反射光マップＴを生成する（ステップＳ６）。２値化処理においては、輝度値の階調を例えば２５６段階（２５５が最も明るい）とし、輝度値が２４０以上の場合、値を１とし、そうでない場合、値を０とする。

続いて、欠損状況判定部３２２において、反射光マップＳと反射光マップＴにおける、２値化処理による値が１である領域が重なる領域の画素数Ｈをカウントし、全画素数に対する画素数Ｈの割合が閾値以上なら２つの画像がお互いに欠損を補えない状況であると判定する（ステップＳ７）。例えば閾値として０．０１等の値をとることができる。そして、全画素数に対する画素数Ｈの割合が閾値以上であるとき（ステップＳ７、Ｙｅｓ）、ステップＳ８へ移行し、そうでなければ（ステップＳ７、Ｎｏ）、ステップＳ９へ移行する。

そして、欠損状況判定部３２２からの信号を受けて制御された映像出力ユニット３６により、背面モニタ１８に、２つの画像がお互いに欠損を補えない状況である旨の判定結果としてのアイコンを表示させる（ステップＳ８）。

また、この判定結果については、撮影画像が背面モニタ１８に表示されているとき、表示された撮影画像に重ねて表示させることも可能である。従来では、撮影した後でなければ反射光の映り込みの影響が抑えられたのか確認することができなかったが、本実施形態のようにリアルタイムで反射光領域を判定し、反射光領域が重なるかどうかを判定した結果としてのアイコンを撮影画像に重ねて表示させることで、ユーザは即座に反射光の映り込みの影響が抑えられたかどうかを確認することができる。これにより、撮影ミスが軽減することになる。

一方、欠損状況判定部３２２において、全画素数に対する画素数Ｈの割合が閾値以下なら２つの画像がお互いに欠損を補える状況であると判定されるが、このとき、外部記録ユニットに合成画像を記録してもよい。これにより、ユーザが撮影する手間を省くことが可能となる。

制御ユニット３５により、画像処理中に電源ボタン１７が押圧されていたかどうかが判断され、電源ボタン１７が押圧されていた場合（ステップＳ９、Ｙｅｓ）、本処理を終了する。

ここで、ステップＳ２から次のステップＳ２直前までをひとつのループとする。同じループのステップＳ２からステップＳ９までの間にシャッターボタンが押された場合（ステップＳ１０、Ｙｅｓ）は、合成画像Ｒをメモリーカード５０に保存するとともに（ステップＳ１１）、ステップＳ２へ戻り、次の処理へ継続する。一方、シャッターボタンが押されない場合（ステップＳ１０、Ｎｏ）、合成画像Ｒを保存することなく、ステップＳ２へ戻る。

次に、本実施形態の画像合成処理手順における画像Ｑから画像Ｑ’への変換処理手順について図１０を用いて以下説明する。まず、画像合成部３２１は、撮像部１３及び撮像部１４にて撮影された撮影画像Ｐ及び撮影画像Ｑを取得する（ステップＳ３１）。

続いて、画像合成部３２１において、撮影画像Ｐ及び撮影画像Ｑに対して四辺形認識処理がなされる（ステップＳ３２）。ここでの四辺形認識処理は、出願人によって開発されたデジタルカメラに搭載される斜め補正技術を用いるものである。この技術により、撮影時に斜め方向から撮影して歪んだ四辺形の被写体を自動認識し、正面から撮影したかのようにカメラ本体で自動的に補正・再現することが可能となる。

次に、上記の四辺形認識処理により求められた撮影画像Ｑの四辺形の頂点座標を撮影画像Ｐの頂点座標に移すような射影変換のパラメータを求める（ステップＳ３３）。射影変換のパラメータの詳細は『http://www2.teu.ac.jp/clab/kondo/research/cadcgtext/Chap5/Chap503.html』の５．３．１『平面図形の射影変換の考え方』に記載されているが、具体的にはその中で、例えば式（５．６）のａ*、ｂ*、ｃ*のことをいう。そして、求めたパラメータを使用して画像Ｑを射影変換した画像Ｑ’を生成する（ステップＳ３４）。

次に、本実施形態の画像合成処理のイメージについて、図１１を用いて以下説明する。上述したように、図９におけるステップＳ２において、撮像部１３及び撮像部１４により撮影画像Ｘ及び撮影画像Ｙを取得する。撮影画像Ｙは、歪んだ状態で撮影されたものである。続いて、図９におけるステップＳ３において、画像合成部３２１により撮影画像Ｙの書き込みが撮影画像Ｘの書き込みに重なるように撮影画像Ｙに対する変換処理がなされ、撮影画像Ｙ’が生成される。

そして、図９におけるステップＳ４において、画像合成部３２１により撮影画像Ｘと撮影画像Ｙ’とが、相互の欠損状況を補うように合成され、合成画像Ｚが生成される。欠損状況が画像ＸとＹ’とで重なっていない場合、書き込み情報を復元することができる。

次に、本実施形態の相対位置変更手段としての別の構成について図１２を用いて以下説明する。ここでは、図のように、デジタルステレオカメラ６００は、カメラ筐体６０１に撮像部６１３及び撮像部６１４を左右に摺動させてカメラ筐体６０１に対するこれら撮像部の相対位置をそれぞれ左右に変更させる２つの案内溝６２０を備える。

この２つの案内溝６２０それぞれの長手方向に沿って、撮像部６１３及び撮像部６１４が左右にガイドされることで、撮像部６１３及び撮像部６１４のカメラ筐体６０１に対する相対角度を維持したまま、カメラ筐体６０１に対するこれら撮像部の相対位置を左右に変更させることができる。なお、本発明においては、上述した案内溝６２０によって撮像部の相対位置を変更させる構成を総称してスライド機構とする。

なお、ここでは、２つの案内溝６２０が左右横長で上下に平行に配置されているが、これに代えて２つの案内溝が上下縦長で左右に平行に配置され、該案内溝をガイドされる撮像部がカメラ筐体に対する相対角度を維持したまま、カメラ筐体に対する相対位置を上下に変更させる構成をとってもよい。

次に、本実施形態の画像処理における他の機能ブロック図について図１３を用いて以下説明する。なお、図８と同様の構成については説明を省略する。ここでは、画像処理部３００において新たに回転部３７００を追加した構成となっている。

回転部３７００は、欠損状況判定部３２２０から反射光領域が重なっているとの判定結果を受けたとき、不図示の駆動手段により撮像部の位置を回転させる機能ブロックである。例えば、回転部３７００は、上述した歯車機構の例で言えば、カメラ筐体１１に固定された歯車２３を１０°時計回りに回転させるように制御する。そして、回転部３７００は、２つの画像の合成画像において反射光領域の重なり部分を生じさせないように撮像部筐体１２を回転するように歯車２３の回転を制御する。これにより、撮像部のカメラ筐体に対する相対的な位置関係を調整する手間が省ける。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、本実施形態では、２つの撮像部を備えた構成を例にとって説明したが、撮像部を３つ以上備える構成であってもよい。この場合、上述した歯車機構における歯車の数や、スライド機構における案内溝の数を増やすことは言うまでも無い。

１、６００ デジタルステレオカメラ
１１、６０１ カメラ筐体
１２ 撮像部筐体
１３、１４、１３０、１４０、６１３、６１４ 撮像部
１５ 外部記録ユニット差込部
１６ シャッターボタン
１７ 電源ボタン
１８ モニタ
２１〜２５ 歯車
３０、３００ 画像処理部
３１、１３４、１４４、３１０、１３４０、１４４０ ＩＦ
３２、３２０ ＣＰＵ
３３ メモリ
３４、３４０ 外部記録ユニット
３５ 制御ユニット
３６、３６０ 映像出力ユニット
３７ バス
５０ メモリーカード
１３１、１４１ レンズ
１３２、１４２、１３２０、１４２０ センサ
１３３、１４３、１３３０、１４３０ 画像処理ユニット
３２１、３２１０ 画像合成部
３２２、３２２０ 欠損状況判定部
３７０ 回転ユニット
６２０ 案内溝
１３２１、１４２１、１３２１０、１４２１０ 画像取得部
１３３１、１４３１、１３３１０、１４３１０ 画像変換部
１３４１、１４４１、１３４１０、１４４１０ 変換画像伝送部
３７００ 回転部

特開２０１０−７２８１３号公報

Claims (10)

1. 筐体と、
   ２以上の撮像手段と、
   前記２以上の撮像手段を前記筐体に取り付ける取付手段と、
   前記２以上の撮像手段により取得した２以上の撮影画像ごとの欠損状況を判定する欠損状況判定手段と、
   前記欠損状況判定手段により判定した欠損状況を補うとともに、前記２以上の撮影画像を合成して合成画像を生成する画像合成手段とを有する画像処理装置であって、
   前記取付手段は、前記２以上の撮像手段の前記筐体に対する相対角度を保持しつつ、前記２以上の撮像手段の前記筐体に対する相対位置を変更する相対位置変更手段を有することを特徴とする画像処理装置。
2. 前記欠損状況判定手段は、前記合成画像に２以上の欠損状況の重なり部分があると判定した場合であって、
   前記合成画像の全画素数に対する前記重なり部分の画素数の割合が閾値以上であるとき、前記欠損状況を補うことができない状況であると判定し、
   前記合成画像の全画素数に対する前記重なり部分の画素数の割合が閾値以下であるとき、前記欠損状況を補うことができる状況であると判定することを特徴とする請求項１記載の画像処理装置。
3. 少なくとも前記２以上の撮影画像を表示する表示手段をさらに有し、
   前記欠損状況を補うことができるかどうかの判定結果を前記表示手段に表示することを特徴とする請求項２記載の画像処理装置。
4. 前記表示手段は、前記撮影画像が表示されているとき、前記表示された撮影画像に重ねて前記判定結果を表示することを特徴とする請求項３記載の画像処理装置。
5. 前記相対位置変更手段は、前記画像合成手段により合成される合成画像において前記２以上の欠損状況の重なり部分を生じさせないように前記２以上の撮像手段の前記筐体に対する相対位置を変更することを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
6. 少なくとも前記２以上の撮影画像を記録する記録手段をさらに有し、
   前記欠損状況判定手段により前記欠損状況を補うことができる状況であると判定されたとき、前記合成画像を前記記録手段に記録することを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
7. 前記画像合成手段は、前記２以上の撮影画像同士で位置が対応する２以上の画素のうち輝度が低い方の値を、前記合成画像における対応する画素の輝度値として前記２以上の撮影画像を合成することを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
8. 前記画像合成手段は、前記２以上の撮影画像同士で位置が対応する２以上の画素における輝度値の平均値を、前記合成画像における対応する画素の輝度値として前記２以上の撮影画像を合成することを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
9. 前記相対位置変更手段は、
   前記筐体における第１中心軸に固定され、前記取付手段を前記第１中心軸を介して回動させる第１歯車と、
   前記第１歯車と同一径であって、前記２以上の撮像手段における第２中心軸それぞれに固定され、前記２以上の撮像手段を前記第２中心軸それぞれを介して回動させる２以上の第２歯車と、
   前記第１歯車および前記第２歯車と同一径であって、前記第１歯車と前記２以上の第２歯車に挟まれるように噛合される２以上の第３歯車とを有し、
   前記取付手段を前記筐体に対して回動させるとき、前記第１歯車の回動に伴って前記２以上の第３歯車が前記第１歯車の回動方向と逆方向に回動し、前記２以上の第３歯車の回動に伴って前記２以上の第２歯車が前記２以上の第３歯車の回動方向と逆方向であって前記第１歯車の回動方向と同方向に回動する歯車機構であることを特徴とする請求項１から８の何れか１項に記載の画像処理装置。
10. 前記相対位置変更手段は、前記２以上の撮像手段をガイドする２以上の案内溝を備え、前記２以上の案内溝の長手方向に前記２以上の撮像手段を摺動させるスライド機構であることを特徴とする請求項１から８の何れか１項に記載の画像処理装置。

Images