JP2011087234A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】文字の有無だけではなく、文字の状態に応じて２Ｄ撮像及び３Ｄ撮像の切り換えを行う撮像装置及び撮像方法を提供する。
【解決手段】複数の撮像部を備え、２Ｄ撮像及び３Ｄ撮像を行う撮像装置であって、画像に含まれる文字を認識する文字認識手段と、画像の中で文字が分布する領域を文字エリアとし、文字エリアが画像に対してどのように存在するかを判断して文字エリア情報を生成する文字エリア判断手段と、文字エリア情報に基づいて、２Ｄ撮像又は３Ｄ撮像の実行を決定する撮像モード判断手段と、を備える。
【選択図】図１

Description

本発明は、２次元（２Ｄ）画像の撮像と３次元（３Ｄ）画像の撮像が可能な撮像装置及び撮像方法に関する。

３Ｄ画像の撮像を行なう撮像装置は、２つの撮像部で同一の被写体を撮像し、それぞれの撮像部で撮像された画像の視差を用いて、立体感のある３Ｄ画像を生成するものである。

現在、２Ｄ画像を撮像するモードと３Ｄ画像を撮像するモードとを自動的に切り換え可能な撮像装置が提案されている。２Ｄ画像及び３Ｄ画像を切り換え可能な撮像装置は、ステレオマッチング法で被写体の遠近差を判断し、遠近差が小さい場合には２Ｄ画像の撮像（２Ｄ撮像という。）を行い、遠近差が大きい場合には３Ｄ画像の撮像（３Ｄ撮像という。）を行う。

従来、２Ｄ撮像と３Ｄ撮像とを自動的に切り換える撮像装置としては、例えば特許文献１及び２に示すものがある。

特開２００５−１６７３１０号公報 特開平０８−０４７００１号公報

ところで、ユーザが意図的に文字を含む画角で撮像を行いたい場合がある。例えば、時刻表に表示された文字を撮像する場合が考えられる。このような場合に、３Ｄ撮像で得られる立体感ある画像では文字が認識しづらくなるため、２Ｄ撮像することが望まれる。そこで、文字認識処理によって、文字を含む場合には自動的に２Ｄ撮像を行うように設定することが考えられる。
しかし、このように文字認識処理によって文字列の有無に応じて２Ｄ撮像及び３Ｄ撮像の切り換えを行うと、撮影風景の一部に文字列を含む物体（例えば看板など）が存在する場合には、ユーザが３Ｄ撮像を意図していても２Ｄ撮像が実行されてしまうことになる。

本発明は、文字の有無だけではなく、文字の状態に応じて２Ｄ撮像及び３Ｄ撮像の切り換えを行う撮像装置及び撮像方法を提供することにある。

本発明は、複数の撮像部を備え、２Ｄ撮像及び３Ｄ撮像を行う撮像装置であって、
画像に含まれる文字を認識する文字認識手段と、
前記画像の中で前記文字が分布する領域を文字エリアとし、前記文字エリアが前記画像に対してどのように存在するかを判断して文字エリア情報を生成する文字エリア判断手段と、
前記文字エリア情報に基づいて、２Ｄ撮像又は３Ｄ撮像の実行を決定する撮像モード判断手段と、を備える撮像装置である。

また、本発明は、複数の撮像部を備え、２Ｄ撮像及び３Ｄ撮像を行う撮像方法であって、
画像に含まれる文字を認識し、
前記画像の中で前記文字が分布する領域を文字エリアとし、前記文字エリアが前記画像に対してどのように存在するかを判断して文字エリア情報を生成し、
前記文字エリア情報に基づいて、２Ｄ撮像又は３Ｄ撮像を決定する撮像方法

本発明によれば、文字の有無だけではなく、文字の状態に応じて２Ｄ撮像及び３Ｄ撮像の切り換えを行う撮像装置及び撮像方法を提供できる。

撮像装置を示す図である。 撮像部を示す図である。 ３Ａ及び３Ｂは、画像の文字エリアの例を示す。 撮像装置が２Ｄ撮像又は３Ｄ撮像の実行を決定する手順を示すフローチャートである。 画像を複数の評価ブロックに分割した例である。 図５に示す複数の評価ブロックを用いた文字エリア情報に基づいて、２Ｄ撮像又は３Ｄ撮像の実行を決定する手順を示すフローチャートである。 ２Ｄ撮像又は３Ｄ撮像の実行を決定する手順の他の例を示すフローチャートである。 画像に複数の文字エリアが存在する例を示す。 図８の画像の文字エリア及び図エリアのそれぞれからヒストグラムを抽出し、それぞれのヒストグラム同士を比較する状態を概念的に示す図である。 撮像装置が２Ｄ撮像又は３Ｄ撮像の実行を決定する手順を示すフローチャートである。 撮像装置が２Ｄ撮像又は３Ｄ撮像の実行を決定する手順を示すフローチャートである。 撮像装置の方向に対する文字認識を行う方向の関係を説明する概念的な図である。 図１１の手順の他の例を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて詳しく説明する。

図１は、撮像装置を示す図である。図２は、撮像部を示す図である。撮像装置１は、２つの撮像部１０Ｒ，１０Ｌと、制御部２０と、表示部３２と、加速度センサ３３とを備えている。

２つの撮像部１０Ｒ，１０Ｌは所定の間隔で配置されている。撮像装置１は、それぞれの撮像部１０Ｒ，１０Ｌで撮像された画像の視差を用いて３Ｄ撮像を行う。また、撮像装置１は、２Ｄ撮像を行なうこともできる。撮像装置１は、２Ｄ撮像と３Ｄ撮像を自動で切り換えて撮像を実行する。

表示部３２は、液晶モニタ等で構成され、撮像の際に撮像部１０Ｒ，１０Ｌから出力される画像（スルー画という）を表示することができる。

加速度センサ３３は、撮像装置１の向きを検出し、検出した信号を制御部２０に出力する。

図２を参照して撮像部１０Ｒの構成を説明する。撮像部１０Ｌの構成も撮像部１０Ｒと同じである。撮像部１０Ｒには、光入射側から順に、フォーカスレンズ１２と、ズームレンズ１３と、絞り１４と、メカシャッタ１５が配置されている。フォーカスレンズ１２と、ズームレンズ１３と、絞り１４と、メカシャッタ１５は、撮像部１０Ｒに設けられたレンズ系駆動部１６によって制御される。また、撮像部１０Ｒは、入射光を受光するＣＣＤ１１と、ＣＣＤ１１の電荷蓄積時間と電荷を読み出すタイミングを制御するパルス信号をＣＣＤ１１に出力するタイミングジェネレータ（ＴＧ）１７と、ＣＣＤ１１から出力されたアナログ信号がアンプを介して入力され、アナログ信号に相関２重サンプリング処理（ＣＤＳ）やゲイン補正を行い、デジタル信号に変換する処理を行うアナログ信号処理部（ＡＦＥ）１８とを備えている。レンズ系駆動部１６、ＴＧ１７、ＡＦＥ１８は、制御部２０によって制御される。

図１に示す制御部２０は、メインメモリ２１と、遠近判断部２２と、文字認識部２３と、文字エリア判断部２４と、図エリア判断部２５と、ヒストグラム測定部２６と、ヒストグラム判断部２７と、画像処理部２８と、２Ｄ／３Ｄ判断部２９と、画像選択部３０と、方向判断部３１と、を有する。

メインメモリ２１は、ＲＯＭやＲＡＭ等で構成され、撮像装置１の制御プログラムや設定情報を格納する。また、メインメモリ２１は、表示部３２に表示する画像を生成するためのデータ（画像データという。）を一時的に格納するバッファとしても機能する。

遠近判断部２２は、ステレオマッチング法によって画像中の遠近差を判断する。ステレオマッチング法は、撮像部１０Ｒ，１０Ｌのそれぞれで撮像された２枚の画像を１組とし、一方の画像が，他方の画像のどの部分に対応するかを面積相関で算出し、その対応関係を使った三角測量によって各点の３次元的位置を推測する方法である。

文字認識部２３は、表示部３２に表示されるスルー画の中の文字認識を行う。

文字エリア判断部２４は、文字認識によって認識された文字の周囲に隣接する文字が存在する場合に、それら文字が分布する領域を文字エリアとして判断する。なお、文字の大きさによっては、一文字でも文字エリアとして判断される。

図エリア判断部２５は、文字認識によって認識された文字に対して、画像中で所定の位置関係にある領域を図エリアとして判断する。

ヒストグラム測定部２６は、画像を構成する画素の輝度値などに基づいてヒストグラムを測定する。ヒストグラム測定部２６は、画像中の文字エリア及び図エリアのそれぞれのヒストグラムを測定することができる。ヒストグラムとしては、例えば、輝度値を横軸とし、該輝度値に対する画素数を縦軸としたデータを用いることができる。

ヒストグラム判断部２７は、文字エリアのヒストグラムと図エリアのヒストグラムを比較する。

画像処理部２８は、画像全体又は一部に対してシャープネス、コントラストを調整する処理を行う。

２Ｄ／３Ｄ判断部２９は、文字エリアが画像に対してどのように存在するかを示す文字エリア情報に基づいて、２Ｄ撮像又は３Ｄ撮像の実行を決定する撮像モード判断部として機能する。

画像選択部３０は、２Ｄ撮像時に、２つの撮像部１０Ｒ、１０Ｌでそれぞれ露光条件を変えて撮像し、取得した２つの画像の手ぶれ量、ノイズ量などに基づいて、最適な方の画像を選択する。露光条件を変える例としては、一方の撮像部１０Ｒでは適正露光条件で露光を行い、他方の撮像部１０Ｌでは適正露光条件よりも高いＴｖ値（Time value）の露光条件で撮像を行うように露光制御する。こうすれば、ユーザは所望の画像を選択することができる。

方向判断部３１は、加速度センサ３３の出力に基づいて、画像に文字認識を行う方向とその範囲を判断する。

図３は、画像の文字エリアの例を示す。図３Ａは、画像の中に複数の文字からなる文字列が存在し、その文字列が分布する例である。図３Ｂは、画像の中に一つの文字が存在する例である。図３Ａ及び図３Ｂ中の矩形の実線は、画像の画角の周縁を示している。この例では、画角内の文字を全て文字認識した状態を示す。図３Ａ及び図３Ｂ中の矩形の破線で囲まれた領域は文字エリアとして判断されている。

文字エリアの大きさは、文字自体の大きさに比例する。また、文字エリアの大きさは、同じ文字列として文字認識された文字の数に比例する。文字エリアは、同じ画像の中に複数含まれていてもよい。

撮像装置１は、文字エリアが前記画像に対してどのように存在するかを判断して文字エリア情報を生成する文字エリア判断手段を有する。そして、文字エリア情報に基づいて、２Ｄ撮像又は３Ｄ撮像の実行を決定する。

図４は、撮像装置が２Ｄ撮像又は３Ｄ撮像の実行を決定する手順を示すフローチャートである。

ステップＳ１１では、スルー画として表示されている画像に対して、文字認識部２３によって文字認識を行う。

ステップＳ１２では、文字を認識したか否かを判別する。文字を認識した場合には、ステップＳ１３に進む。文字を認識していない場合には、ステップＳ１６に進む。

ステップＳ１３では、画像の中の認識した文字又は文字列を文字エリアとして判断する。

ステップＳ１４では、文字エリア判断部２４が、上記ステップＳ１３で決定した文字エリアの大きさが予め設定された閾値以上であるか否かを判別する。文字エリアの大きさが閾値以上である場合にはステップＳ１５に進む。文字エリアの大きさが閾値未満である場合にはステップＳ１６に進む。

ここで、文字エリアの大きさとは、画像全体に対して文字エリアが占める割合とすることができる。

ステップＳ１５では、２Ｄ／３Ｄ判断部２９が２Ｄ撮像の実行を決定する。

ステップＳ１６では、遠近判断部２２が、撮像部１０Ｒ，１０Ｌで撮像された画像同士を比較し、遠近差を算出する。ここで、遠近差とは、ステレオマッチング法で検出された各画像の任意の対象（物体、被写体）の位置のずれ量とすることができる。ここで、ステレオマッチング法とは、2つ台の撮像部で撮影を行い、一方の撮像部で撮影した画像(物体、被写体)が、他方の撮像部で撮影した画像ではどこにあるかを検出し、そのズレの量から対象の遠近を三角測量を用いて調べる方法である。対象とした物体が近くにあるほど２つの撮像部の画像間での対象のズレ(一般的には視差と呼ぶ)が大きくなり、物体が遠いほどこのズレは小さくなる。遠近差による３Ｄ撮像に適しているか否かの判断は、２つの撮像部の画像で複数の対象（物体、被写体)の遠近差を算出し、差がある場合には３Ｄ撮像に適している画像と判断できる。
遠近差が所定の値より大きい場合には、３Ｄ撮像に適していると判断してステップＳ１７に進む。遠近差が所定の値以下である場合には、３Ｄ撮像に適していないと判断してステップＳ１５に進み、２Ｄ撮像の実行が決定される。

ステップＳ１７では、２Ｄ／３Ｄ判断部２９が３Ｄ撮像の実行を決定する。

上記の手順では、画像に対する前記文字エリアの大きさを文字エリア情報とし、２Ｄ撮像又は３Ｄ撮像の実行を決定する。
こうすれば、文字の有無のみで２Ｄ撮像又は３Ｄ撮像の実行を決定する場合に比べ、次のような場合に、ユーザの意図に即した撮像を行うことができる。例えば、ホワイトボードなどに表示された複数の文字を主な被写体として撮像する際に、ユーザは、文字を画角に対して大きく表示させて撮像しようとすることが考えられるため、文字が所定の大きさである場合に自動的に２Ｄ撮像が実行される。このとき、ホワイトボードとその背景に遠近差がある場合でも、ユーザの意図に反して３Ｄ撮像が実行されることが回避される。

図５は、画像を複数の評価ブロックに分割した例である。図６は、図５に示す複数の評価ブロックを用いた文字エリア情報に基づいて、２Ｄ撮像又は３Ｄ撮像の実行を決定する手順を示すフローチャートである。

図５Ａは、画像を複数の評価ブロックに分割した例を示している。この図では、縦、横３個の計９個の評価ブロック１〜９に分割した。評価ブロック５は、画像の中心に位置している。図５Ｂは、画像の中で文字認識した文字からなる文字列を文字エリアとして判断した状態を示す。

一般的に、ユーザは、撮像目的である被写体を画角の中心にあわせて撮像する。このため、図５Ｂに示すように文字エリアが画像の中心に近い位置にある場合には、ユーザが文字を撮像目的としていると判断し、文字エリアの大きさにかかわらず、２Ｄ撮像を実行する。

画像の中心に文字エリアが近いか否かを判断する例を説明する。図５Ａに示す複数の評価ブロック１〜９のうち、画像の中心から近いもの（つまり、評価ブロック５）に大きい係数を設定し、画像の中心から遠いもの（つまり、評価ブロック５以外のもの）に小さい係数を設定する。そして、文字エリアと重なる評価ブロックの合計の係数が所定の値以上である場合に、文字エリアが画像の中心に近いと判断すればよい。画像を更に多数の評価ブロックに分割してもよい。この場合も、画像の中心から近いものに大きい係数を設定し、画像の中心から遠いものに小さい係数を設定すればよい。

具体的な手順を、図６を参照して説明する。なお、先に説明した手順と同様の処理を行うステップには同じ番号を付すことで、説明を簡略又は省略する。
先ず、ステップＳ２１で画像に対して、文字認識部２３によって文字認識を行う。次に、ステップＳ２２で、文字を認識したか否かを判別する。文字を認識した場合には、ステップＳ２３に進む。文字を認識していない場合には、ステップＳ１６に進む。

ステップＳ２３では、画像の中の認識した文字又は文字列を文字エリアとして判断する。

ステップＳ２４では、文字エリア判断部２４が、画像に対する文字エリアの位置が画像の中心に近いか否かを判断する。文字エリアの位置が画像の中心に近いと判断した場合には、ステップＳ１５に進み、２Ｄ撮像の実行を決定する。文字エリアの位置が画像の中心に近くないと判断した場合には、ステップＳ１６に進む。ステップＳ１６では、遠近差が所定の値より大きい場合に、３Ｄ撮像に適していると判断する。そして、ステップＳ１７に進み、３Ｄ撮像の実行が決定される。遠近差が所定の値以下である場合には、３Ｄ撮像に適していないと判断する。そして、ステップＳ１５に進み、２Ｄ撮像の実行が決定される。

上記の手順では、画像に対する前記文字エリアの位置を文字エリア情報とし、２Ｄ撮像又は３Ｄ撮像の実行を決定する。
こうすれば、文字の有無のみで２Ｄ撮像又は３Ｄ撮像の実行を決定する場合に比べ、次のような場合に、ユーザの意図に即した撮像を行うことができる。例えば、ユーザがホワイトボードなどに表示された文字を撮像目的として被写体から離れた位置から撮像する際にホワイトボートがその背景と遠近差があることが考えられる。この場合でも、文字を画角の中心に合わせていれば、ユーザが２Ｄ撮像を指示しなくても、自動的に２Ｄ撮像が実行される。

図７は、２Ｄ撮像又は３Ｄ撮像の実行を決定する手順の他の例を示すフローチャートである。

先ず、上記手順と同様に、ステップＳ３１で、画像に対して文字認識部２３によって文字認識を行う。次に、ステップＳ３２で、文字を認識したか否かを判別する。文字を認識した場合には、ステップＳ３３に進む。文字を認識していない場合には、ステップＳ１６に進む。

ステップＳ３３では、更に文字認識部２３が、認識された文字の数をカウントする。そして、ステップＳ３４に進む。

ステップＳ３４では、カウントした文字数が閾値以上であるか否かを判別する。文字数が閾値以上である場合には、ステップＳ１５に進む。文字数が閾値未満である場合には、ステップＳ１６に進む。ステップＳ１６では、遠近差が所定の値より大きい場合に、３Ｄ撮像に適していると判断する。そして、ステップＳ１７に進み、３Ｄ撮像の実行が決定される。遠近差が所定の値以下である場合には、３Ｄ撮像に適していないと判断する。そして、ステップＳ１５に進み、２Ｄ撮像の実行が決定される。

上記の手順では、文字エリアの文字数を文字エリア情報とし、２Ｄ撮像又は３Ｄ撮像の実行を決定する。
こうすれば、文字の有無のみで２Ｄ撮像又は３Ｄ撮像の実行を決定する場合に比べ、次のような場合に、ユーザの意図に即した撮像を行うことができる。
ホワイトボード等に表記された文字を撮像したい場合に、文字同士の間に図などが存在して、文字エリアとしては小さくても、一定以上の文字数があるときにも２Ｄ撮像を行う決定がなされる。

撮像装置が２Ｄ撮像又は３Ｄ撮像の実行を決定する手順の他の例を説明する。
図８は、画像に複数の文字エリアが存在する例を示す。図８中、破線でかこまれた領域が、認識された文字を含む文字エリアとする。ここでは、２つの文字エリアが存在する場合を想定する。この手順では、２つの文字エリア同士の間を図エリアと認識する。

更に、この例では、文字エリアと図エリアのヒストグラムを比較することにより、図エリアが文字エリアと同様の状態で表記されたものであるかを判断し、文字エリアのサイズや位置にかかわらず、２Ｄ撮像の実行を決定する。

図９は、図８の画像の文字エリア及び図エリアのそれぞれからヒストグラムを抽出し、それぞれのヒストグラム同士を比較する状態を概念的に示している。

ホワイトボードのように同一色の表面に同じペンを用いて文字及び図を書いた場合を想定する。この場合、画像の文字エリアと図エリアは、それぞれのヒストグラムが近似する。つまり、文字エリアと図エリアのそれぞれのヒストグラムを比較して、両者が近似する場合には、文字エリアに対応する文字と図エリアに対応する図は、被写体として同一の物体に存在するものであると推定することができる。このとき、仮に文字エリアが小さく、又は、画像の中心から離れた位置であっても、ユーザが文字エリアと図エリアとを含む領域の被写体を２Ｄ撮像しようとしていると判断する。

この例の具体的な手順を、図を参照して説明する。図１０は、撮像装置が２Ｄ撮像又は３Ｄ撮像の実行を決定する手順を示すフローチャートである。

先ず、ステップＳ４１で画像に対して、文字認識部２３によって文字認識を行う。次に、ステップＳ４２で、文字を認識したか否かを判別する。文字を認識した場合には、ステップＳ４３に進む。文字を認識していない場合には、ステップＳ１６に進む。

ステップＳ４３では、画像の中の認識した文字又は文字列を文字エリアとして判断する。文字エリアを決定した後、ステップＳ４４に進む。

ステップＳ４４では、文字エリアのうち、閾値以上の大きさの文字エリアが存在するか否かを判別する。閾値以上の大きさの文字エリアが存在すると判断された場合には、後述するステップＳ４５からステップＳ４８の手順を行うことなく、ステップＳ１５に進み、ステップＳ１５で２Ｄ撮像の実行が決定される。これは、文字エリアが閾値以上の大きさであれば、図エリアの有無を問わず２Ｄ撮像すべきだからである。一方、ステップＳ４４で閾値以上の大きさの文字エリアが存在しないと判断された場合には、ステップＳ４５に進む。

ステップＳ４５では、文字エリア判断部２４が文字エリアが複数あるか否かを判別する。文字エリアが複数ある場合には、ステップＳ４６に進む。

ステップＳ４６では、図エリア判断部２５が文字エリア同士の間を図エリアに設定する。図エリアを設定した後、ステップＳ４７に進む。

ステップＳ４７では、ヒストグラム測定部２６が、文字エリアと図エリアのヒストグラムを算出する。ヒストグラム測定部２６は、算出したヒストグラムのデータをヒストグラム判断部２７に出力する。ヒストグラムを算出した後、ステップＳ４８に進む。

ステップＳ４８では、ヒストグラム判断部２７によって、文字エリアと図エリアそれぞれのヒストグラムの差が規定値以内であるか否かを判断する。
ここで、ヒストグラムの差とは、ヒストグラムが輝度値に対する画素数を示す波形データである場合には、そのピーク値のずれ量を用いる。ここで、ずれ量とは、縦軸を画素数、横軸を輝度値としたヒストグラムにおいては、横軸上においてピーク値の位置のずれの大きさをいう。

ヒストグラムのピーク値について説明する。
例えば、ホワイトボードに黒いマーカーペンで文字を書いた場合、ホワイトボードの背面の白と文字の黒の2種類の色(輝度)が存在する為、ヒストグラムには2種類のピークができる。ここで、色(マーカーペンの種類)が増えた場合にはヒストグラムのピーク値の数が増える。ピーク値の大きさは、ホワイトボードに記載された文字の量により変動する。このとき、ヒストグラムの横軸に輝度、縦軸に画素数にした場合には横軸のピーク値がでる場所は変わらない。
上記手順の例では、文字エリアと図エリア(グラフ等)のそれぞれのエリア内に書いてある量により、画素数は任意に変わる。ヒストグラムにおける任意の画素数のピーク値を検出し、そのピーク値のある場所(ヒストグラムの横軸に上の位置)が文字エリアと図エリアで同じかを判断する。このとき、ピーク値のある場所が同じで縦軸がズレている場合は２Ｄ撮像に適していると判断する。一方で、ピーク値のある場所がヒストグラムの縦軸上で異なる場合には、２Ｄ撮像に適していないと判断する。

ステップＳ４８で、文字エリアと図エリアそれぞれのヒストグラムの差が規定値以内であると判断した場合には、文字エリアに対応する文字と図エリアに対応する図が同一の被写体に表記されたものであると推定する。そして、ステップＳ１５に進み、２Ｄ撮像の実行を決定する。

一方、文字エリアと図エリアそれぞれのヒストグラムの差が規定値を超えると判断した場合には、文字エリアに対応する文字と図エリアに対応する図が同一の被写体に表記されたものではないと推定する。そして、ステップＳ１６に進む。ステップＳ１６では、上記手順と同様に、遠近差の大きさに基づく判別を行う。ステップＳ１６で、遠近差が所定の値以下と判断されると、ステップＳ１５へ進み、２Ｄ撮像の実行が決定される。ステップＳ１６で、遠近差が所定の値より大きいと判断されると、ステップＳ１７へ進み、３Ｄ撮像の実行が決定される。

上記の手順では、文字エリアの大きさや位置にかかわらず、文字エリアのヒストグラムを文字エリア情報として用いて、文字エリア同士の間の図エリアのヒストグラムと比較することで、２Ｄ撮像又は３Ｄ撮像の実行を決定する。
こうすれば、ユーザが、文字の他にグラフや図が書かれている被写体を撮像する場合に、被写体の背景の遠近差に起因して３Ｄ撮像が実行されることなく、自動的に２Ｄ撮像の実行が行われる。

上記の手順において、ステップＳ４６で図エリアを設定した後、ステップＳ４７でヒストグラムの算出に替わり、文字エリアと図エリアの遠近差を検出し、遠近差が所定の値より大きいか否かを判別することで、２Ｄ撮像又は３Ｄ撮像の実行を決定してもよい。

画像処理部２８が、画像のうち文字エリアと図エリアにのみ、シャープネスやコントラストを高くする画像処理を行ってもよい。こうすれば、ユーザが文字や図の内容を視認しやすくなる。

図１１は、撮像装置が２Ｄ撮像又は３Ｄ撮像の実行を決定する手順を示すフローチャートである。図１２は、撮像装置の方向に対する文字認識を行う方向の関係を説明する概念的な図である。

この例では、加速度センサ３３を用いて撮像部１０Ｒ，１０Ｌの向きを検出する。加速度センサ３３は検出した撮像部１０Ｒ，１０Ｌの向きを信号として制御部２０に出力する。方向判断部３１は、加速度センサ３３の出力に基づいて、画像上の文字認識を行う方向を想定し、この方向を含む所定の範囲内に限定して文字認識を実行し、画像の全方向に対して文字認識を行う場合に比べて、処理負担の軽減を実現する。

図１２では、線Ｌ１が、撮像部１０Ｒ，１０Ｌの向きを示すものである。この例では線Ｌ１は、２つの撮像部１０Ｒ，１０Ｌの基線長に対して平行で、図１２に示す画像の水平方向に等しい。線Ｌ２は、画像中の文字認識を行うための走査方向を示している。線Ｌ１に対して線Ｌ２が角度Ａだけ傾いている。図１２の例では、線Ｌ１に対して角度Ａだけ傾けて文字認識を行うことで、文字列を実際に認識することが可能である。ユーザが文字を撮像する場合には、撮像部１０Ｒ，１０Ｌの向きを文字の向きに合わすことが予想される。つまり、線Ｌ１が画像上の文字認識を行う方向に相当すると推定される。しかし、実際には、撮像部１０Ｒ，１０Ｌの向きに対して画像中の文字が僅かに傾いていることが考えられる。そこで、加速度センサ３３で撮像部１０Ｒ，１０Ｌの向きを検出するとともに、撮像部１０Ｒ，１０Ｌの向きに対してある程度の傾きを見込んだ範囲で文字認識を行えば、撮像目的とする文字を実際に認識でき、文字エリアとして設定することができる。

図１１を参照して手順を説明する。
先ず、ステップＳ５１で、加速度センサ３３によって撮像部１０Ｒ，１０Ｌの向きを検出する。加速度センサ３３は、検出した信号を制御部２０に出力する。その後、ステップＳ５２に進む。

ステップＳ５２では、方向判断部３１が、加速度センサ３３の出力に基づいて、画像上の文字認識を行う方向を示す線を設定する。そして、方向判断部３１は、線に対して両側に所定の角度だけ傾けた範囲を設定し、この範囲で文字を認識するように設定する。この設定の情報は文字認識部２３は、方向判断部３１で設定された上記範囲内で、画像に対して文字認識を実行する。文字認識の実行後、ステップＳ５３に進む。

ステップＳ５３では、文字認識部２３が画像の中で文字を認識したか判別し、認識した文字がある場合にはステップＳ５４に進む。認識した文字がない場合にはステップＳ１６に進む。

ステップＳ５４では、画像の中の認識した文字又は文字列を文字エリアとして判断する。

ステップＳ５５では、文字エリア判断部２４が、上記ステップＳ５４で決定した文字エリアの大きさが予め設定された閾値以上であるか否かを判別する。文字エリアの大きさが閾値以上である場合にはステップＳ１５に進む。文字エリアの大きさが閾値未満である場合にはステップＳ１６に進む。

ステップＳ１６では、上記手順と同様に、遠近判断部２２が、撮像部１０Ｒ，１０Ｌで撮像された画像同士を比較し、遠近差を算出する。遠近差が所定の値より大きい場合には、３Ｄ撮像に適していると判断してステップＳ１７に進む。遠近差が所定の値以下である場合には、３Ｄ撮像に適していないと判断してステップＳ１５に進み、２Ｄ撮像の実行が決定される。

この手順では、ステップＳ５４で文字エリアを決定した後、ステップＳ５５で文字エリアの大きさに基づいて２Ｄ撮像又は３Ｄ撮像の決定を行った。しかし、ステップＳ５５以降の手順では、上記図６で示す手順のように、画像に対する文字エリアの位置に基づいて２Ｄ撮像又は３Ｄ撮像の決定を行ってもよい。又は、ステップＳ５５以降の手順では、上記図７で示す手順のように、文字エリア内の文字数に基づいて２Ｄ撮像又は３Ｄ撮像の決定を行ってもよい。又は、ステップＳ５５以降の手順では、上記図１０で示す手順のように、文字エリアと図エリアのヒストグラムの差に基づいて、２Ｄ撮像又は３Ｄ撮像の決定を行ってもよい。又は、ステップＳ５５以降の手順では、文字エリアと図エリアの遠近差に基づいて、２Ｄ撮像又は３Ｄ撮像の決定を行ってもよい。

図１３は、図１１の手順の他の例を示すフローチャートである。この例では、スルー画のフレームレートの大小に反比例するように文字認識を行うときの角度の範囲を設定するものである。

先ず、ステップＳ６１で、加速度センサ３３によって撮像部１０Ｒ，１０Ｌの向きを検出する。加速度センサ３３は、検出した信号を制御部２０に出力する。その後、ステップＳ６２−１からステップＳ６２−３に進む。

この例では、スルー画のフレームレートとして６０ＦＰＳ(Ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ)、３０ＦＰＳ、１０ＦＰＳの３つのうちいずれかが設定される。フレームレートはこれらに限定されない。

撮像装置１は、スルー画のフレームレートを自動で設定する。被写体が明るい場合には大きいフレームレートが設定され、暗い場合には小さいフレームレートが設定される。

ステップＳ６２−１でスルー画のフレームレートが６０ＦＰＳである場合にはステップＳ６３−１に進み、ステップＳ６３−１で、角度Ａ１の範囲で文字認識を行うように設定される。ステップＳ６２−１でスルー画のフレームレートが６０ＦＰＳではない場合にはステップＳ６３−２に進む。ここで、角度Ａ１の範囲とは、画像上の文字認識を行う方向を示す線を中心として角度−Ａ１〜＋Ａ１傾けたときの範囲をいう。

ステップＳ６２−２でスルー画のフレームレートが３０ＦＰＳである場合にはステップＳ６３−２に進み、ステップＳ６３−２で、角度Ａ２の範囲で文字認識を行うように設定される。ステップＳ６２−２でスルー画のフレームレートが３０ＦＰＳではない場合にはステップＳ６２−３に進む。

ステップＳ６２−３でスルー画のフレームレートが１０ＦＰＳである場合にはステップＳ６３−３に進み、ステップＳ６３−３で、角度Ａ３の範囲で文字認識を行うように設定される。

角度Ａ１，Ａ２，Ａ３は、角度Ａ３が最大で、角度Ａ１が最小である。言い換えると、フレームレートが小さいときほど、大きい角度の範囲が設定される。

ステップＳ６３−１からＳ６３−３のいずれかで角度Ａ１，Ａ２，Ａ３が設定された後、ステップＳ６４に進む。ステップＳ６４以降の手順は、先の手順のステップＳ５３以降の手順に相当し、ここでは説明を省略する。

この手順によれば、フレームレートに応じて文字認識の精度を変えることができる。被写体が明るいときのようにフレームレートが高い場合にも文字認識の処理速度を向上できる。被写体が暗いときのようにフレームレートが低い場合にも文字認識の精度の低下を防止できる。

なお、撮像部の方向が真上や真下を向いている場合には、加速度センサの出力に基づく文字認識を行う範囲を設定できないため、画像に対して全方向に文字認識を行う。

本明細書は、以下の事項を開示するものである。
（１）複数の撮像部を備え、２Ｄ撮像及び３Ｄ撮像を行う撮像装置であって、
画像に含まれる文字を認識する文字認識手段と、
前記画像の中で前記文字が分布する領域を文字エリアとし、前記文字エリアが前記画像に対してどのように存在するかを判断して文字エリア情報を生成する文字エリア判断手段と、
前記文字エリア情報に基づいて、２Ｄ撮像又は３Ｄ撮像の実行を決定する撮像モード判断手段と、を備える撮像装置。
（２）上記（１）に記載の撮像装置であって、
前記文字エリア判断手段が前記画像に対する前記文字エリアの大きさが閾値以上であると判断したとき、前記撮像モード判断手段が２Ｄ撮像の実行を決定する撮像装置。
（３）上記（１）に記載の撮像装置であって、
前記文字エリア判断手段が前記文字エリアの文字数が閾値以上であると判断したとき、前記撮像モード判断手段が２Ｄ撮像の実行を決定する撮像装置。
（４）上記（１）に記載の撮像装置であって、
前記文字エリア判断手段が前記画像に対する前記文字エリアの位置が該画像の中心に近いと判断したとき、前記撮像モード判断手段が２Ｄ撮像の実行を決定する撮像装置。
（５）上記（４）に記載の撮像装置であって、
前記文字エリア判断手段が、前記画像を複数に分割したものを評価ブロックとし、複数の前記評価ブロックのうち、前記画像の中心から近いものに大きい係数が設定され、前記画像の中心から遠いものに小さい係数が設定され、前記文字エリアの位置の評価ブロックの合計の係数が所定の値以上であると判断したとき、前記撮像モード判断手段が２Ｄ撮像の実行を決定する撮像装置。
（６）上記（２）に記載の撮像装置であって、
前記文字エリアが複数あるか否かを判断し、前記画像のうち複数の前記文字エリアの間の領域を図エリアと判断する図エリア判断手段と、
前記文字エリアと前記図エリアのヒストグラムを測定するヒストグラム測定手段と、
前記文字エリアと前記図エリアのヒストグラムを比較するヒストグラム判断手段と、を備え、
前記文字エリア判断手段が、前記文字エリアと前記図エリアのヒストグラムの差が規定値以内であると判断したとき、前記撮像モード判断手段が２Ｄ撮像の実行を決定する撮像装置。
（７）上記（２）から（５）のいずれか１つに記載の撮像装置であって、
前記文字エリアが複数あるか否かを判断し、前記画像のうち複数の前記文字エリアの間の領域を図エリアと判断する図エリア判断手段と、
前記文字エリアと前記図エリアの遠近差を比較する遠近判断手段と、を備え、
前記遠近判断手段が、前記文字エリアと前記図エリアの遠近差が所定の値以内であると判断したとき、前記撮像モード判断手段が２Ｄ撮像の実行を決定する撮像装置。
（８）上記（６）又は（７）に記載の撮像装置であって、
前記画像のうち前記文字エリアと前記図エリアにのみ画像処理を行う画像処理手段を備える撮像装置。
（９）上記（１）から（８）のいずれか１つに記載の撮像装置であって、
加速度センサと、
前記加速度センサの出力に基づいて、前記画像上の文字認識を行う方向を示す線を設定し、前記線に対して両側に所定の角度だけ傾けた範囲内で文字を認識するように設定する方向判断手段とを有する撮像装置。
（１０）上記（９）に記載の撮像装置であって、
撮像を実行する前に、前記画像をスルー画として表示する表示部を備え、前記所定の角度の大きさが前記スルー画のフレームレートの大小に反比例するように設定される撮像装置。
（１１）複数の撮像部を備え、２Ｄ撮像及び３Ｄ撮像を行う撮像方法であって、
画像に含まれる文字を認識し、
前記画像の中で前記文字が分布する領域を文字エリアとし、前記文字エリアが前記画像に対してどのように存在するかを判断して文字エリア情報を生成し、
前記文字エリア情報に基づいて、２Ｄ撮像又は３Ｄ撮像を決定する撮像方法。
（１２）上記（１１）に記載の撮像方法であって、
前記画像に対する前記文字エリアの大きさが閾値以上であるときに２Ｄ撮像の実行を決定する撮像方法。
（１３）上記（１１）に記載の撮像方法であって、
前記文字エリアの文字数が閾値以上であるときに２Ｄ撮像の実行を決定する撮像方法。
（１４）上記（１１）に記載の撮像方法であって、
前記画像に対する前記文字エリアの位置が該画像の中心に近い場合に、２Ｄ撮像の実行を決定する撮像方法。
（１５）上記（１４）に記載の撮像方法であって、
前記画像を複数に分割したものを評価ブロックとし、複数の前記評価ブロックのうち、前記画像の中心から近いものに大きい係数が設定され、前記画像の中心から遠いものに小さい係数が設定され、前記文字エリアの位置の評価ブロックの合計の係数が所定の値以上である場合に、２Ｄ撮像の実行を決定する撮像方法。
（１６）上記（１２）に記載の撮像方法であって、
前記文字エリアが複数あるか否かを判断し、前記画像のうち複数の前記文字エリアの間の領域を図エリアと判断し、
前記文字エリアと前記図エリアのヒストグラムを比較し、前記文字エリアと前記図エリアのヒストグラムの差が規定値以内であるときに２Ｄ撮像の実行を決定する撮像方法。
（１７）上記（１２）から（１５）のいずれか１つに記載の撮像方法であって、
前記文字エリアが複数あるか否かを判断し、前記画像のうち複数の前記文字エリアの間の領域を図エリアと判断し、
前記文字エリアと前記図エリアの遠近差を比較し、前記文字エリアと前記図エリアの遠近差が所定の値以内であるときに２Ｄ撮像の実行を決定する撮像方法。
（１８）上記（１６）又は（１７）に記載の撮像方法であって、
前記画像のうち前記文字エリアと前記図エリアにのみ画像処理を行う撮像方法。
（１９）上記（１１）から（１８）のいずれか１つに記載の撮像方法であって、
加速度センサを用いて前記撮像部の向きを検出し、
前記加速度センサの出力に基づいて、前記画像上の文字認識を行う方向を示す線を設定し、前記線に対して所定の角度だけ傾けた範囲内で文字を認識する撮像方法。
（２０）上記（１９）に記載の撮像方法であって、
撮像を実行する前に、前記画像をスルー画として表示する表示部を備え、前記所定の角度の大きさが前記スルー画のフレームレートの大小に反比例するように設定される撮像方法。

１０Ｒ，１０Ｌ 撮像部
２０ 制御部
２３ 文字認識部
２４ 文字エリア判断部

Claims (20)

1. 複数の撮像部を備え、２Ｄ撮像及び３Ｄ撮像を行う撮像装置であって、
   画像に含まれる文字を認識する文字認識手段と、
   前記画像の中で前記文字が分布する領域を文字エリアとし、前記文字エリアが前記画像に対してどのように存在するかを判断して文字エリア情報を生成する文字エリア判断手段と、
   前記文字エリア情報に基づいて、２Ｄ撮像又は３Ｄ撮像の実行を決定する撮像モード判断手段と、を備える撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記文字エリア判断手段が前記画像に対する前記文字エリアの大きさが閾値以上であると判断したとき、前記撮像モード判断手段が２Ｄ撮像の実行を決定する撮像装置。
3. 請求項１に記載の撮像装置であって、
   前記文字エリア判断手段が前記文字エリアの文字数が閾値以上であると判断したとき、前記撮像モード判断手段が２Ｄ撮像の実行を決定する撮像装置。
4. 請求項１に記載の撮像装置であって、
   前記文字エリア判断手段が前記画像に対する前記文字エリアの位置が該画像の中心に近いと判断したとき、前記撮像モード判断手段が２Ｄ撮像の実行を決定する撮像装置。
5. 請求項４に記載の撮像装置であって、
   前記文字エリア判断手段が、前記画像を複数に分割したものを評価ブロックとし、複数の前記評価ブロックのうち、前記画像の中心から近いものに大きい係数が設定され、前記画像の中心から遠いものに小さい係数が設定され、前記文字エリアの位置の評価ブロックの合計の係数が所定の値以上であると判断したとき、前記撮像モード判断手段が２Ｄ撮像の実行を決定する撮像装置。
6. 請求項２に記載の撮像装置であって、
   前記文字エリアが複数あるか否かを判断し、前記画像のうち複数の前記文字エリアの間の領域を図エリアと判断する図エリア判断手段と、
   前記文字エリアと前記図エリアのヒストグラムを測定するヒストグラム測定手段と、
   前記文字エリアと前記図エリアのヒストグラムを比較するヒストグラム判断手段と、を備え、
   前記文字エリア判断手段が、前記文字エリアと前記図エリアのヒストグラムの差が規定値以内であると判断したとき、前記撮像モード判断手段が２Ｄ撮像の実行を決定する撮像装置。
7. 請求項２から５のいずれか１つに記載の撮像装置であって、
   前記文字エリアが複数あるか否かを判断し、前記画像のうち複数の前記文字エリアの間の領域を図エリアと判断する図エリア判断手段と、
   前記文字エリアと前記図エリアの遠近差を比較する遠近判断手段と、を備え、
   前記遠近判断手段が、前記文字エリアと前記図エリアの遠近差が所定の値以内であると判断したとき、前記撮像モード判断手段が２Ｄ撮像の実行を決定する撮像装置。
8. 請求項６又は７に記載の撮像装置であって、
   前記画像のうち前記文字エリアと前記図エリアにのみ画像処理を行う画像処理手段を備える撮像装置。
9. 請求項１から８のいずれか１つに記載の撮像装置であって、
   加速度センサと、
   前記加速度センサの出力に基づいて、前記画像上の文字認識を行う方向を示す線を設定し、前記線に対して両側に所定の角度だけ傾けた範囲内で文字を認識するように設定する方向判断手段とを有する撮像装置。
10. 請求項９に記載の撮像装置であって、
    撮像を実行する前に、前記画像をスルー画として表示する表示部を備え、前記所定の角度の大きさが前記スルー画のフレームレートの大小に反比例するように設定される撮像装置。
11. 複数の撮像部を備え、２Ｄ撮像及び３Ｄ撮像を行う撮像方法であって、
    画像に含まれる文字を認識し、
    前記画像の中で前記文字が分布する領域を文字エリアとし、前記文字エリアが前記画像に対してどのように存在するかを判断して文字エリア情報を生成し、
    前記文字エリア情報に基づいて、２Ｄ撮像又は３Ｄ撮像を決定する撮像方法。
12. 請求項１１に記載の撮像方法であって、
    前記画像に対する前記文字エリアの大きさが閾値以上であるときに２Ｄ撮像の実行を決定する撮像方法。
13. 請求項１１に記載の撮像方法であって、
    前記文字エリアの文字数が閾値以上であるときに２Ｄ撮像の実行を決定する撮像方法。
14. 請求項１１に記載の撮像方法であって、
    前記画像に対する前記文字エリアの位置が該画像の中心に近い場合に、２Ｄ撮像の実行を決定する撮像方法。
15. 請求項１４に記載の撮像方法であって、
    前記画像を複数に分割したものを評価ブロックとし、複数の前記評価ブロックのうち、前記画像の中心から近いものに大きい係数が設定され、前記画像の中心から遠いものに小さい係数が設定され、前記文字エリアの位置の評価ブロックの合計の係数が所定の値以上である場合に、２Ｄ撮像の実行を決定する撮像方法。
16. 請求項１２に記載の撮像方法であって、
    前記文字エリアが複数あるか否かを判断し、前記画像のうち複数の前記文字エリアの間の領域を図エリアと判断し、
    前記文字エリアと前記図エリアのヒストグラムを比較し、前記文字エリアと前記図エリアのヒストグラムの差が規定値以内であるときに２Ｄ撮像の実行を決定する撮像方法。
17. 請求項１２から１５のいずれか１つに記載の撮像方法であって、
    前記文字エリアが複数あるか否かを判断し、前記画像のうち複数の前記文字エリアの間の領域を図エリアと判断し、
    前記文字エリアと前記図エリアの遠近差を比較し、前記文字エリアと前記図エリアの遠近差が所定の値以内であるときに２Ｄ撮像の実行を決定する撮像方法。
18. 請求項１６又は１７に記載の撮像方法であって、
    前記画像のうち前記文字エリアと前記図エリアにのみ画像処理を行う撮像方法。
19. 請求項１１から１８のいずれか１つに記載の撮像方法であって、
    加速度センサを用いて前記撮像部の向きを検出し、
    前記加速度センサの出力に基づいて、前記画像上の文字認識を行う方向を示す線を設定し、前記線に対して所定の角度だけ傾けた範囲内で文字を認識する撮像方法。
20. 請求項１９に記載の撮像方法であって、
    撮像を実行する前に、前記画像をスルー画として表示する表示部を備え、前記所定の角度の大きさが前記スルー画のフレームレートの大小に反比例するように設定される撮像方法。

Images