以下、本発明を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(撮像制御:携帯電話装置において単眼撮像動作および複眼撮像動作を行う例)
2.第2の実施の形態(撮像制御:撮像装置において単眼撮像動作および複眼撮像動作を行う例)
<1.第1の実施の形態>
[携帯電話装置の外観構成例]
図1は、本発明の第1の実施の形態における携帯電話装置100の外観構成例を示す図である。図1(a)には、携帯電話装置100を使用する際における一態様の正面側を示し、図1(b)には、その態様における背面側を示す。また、図1(c)には、携帯電話装置100を使用する際における他の態様の正面側を示し、図1(d)には、その態様における背面側を示す。
携帯電話装置100は、第1の筐体110および第2の筐体120を備える。また、第1の筐体110および第2の筐体120は、回動部材101を回動基準として回動可能に連結されている。携帯電話装置100は、例えば、複数の撮像機能を備える携帯電話装置(いわゆる、カメラ付き携帯電話装置)により実現される。なお、図1では、説明の容易のため、携帯電話装置100を簡略化して示し、携帯電話装置100の外側面に備えられている電源スイッチ等の図示を省略する。
第1の筐体110は、撮像範囲切替スイッチ111と、静止画/動画切替スイッチ112と、テンキー113と、決定キー114と、十字キー115と、撮像部130とを備える。ここで、ユーザが手に持って携帯電話装置100を使用する場合に、携帯電話装置100の何れかの部分を手で握ることが必要となる。例えば、通常時には、第1の筐体110(いわゆる、本体筐体)の何れかの部分をユーザが手で握った状態で携帯電話装置100が使用されることが多い。
撮像範囲切替スイッチ111は、撮像部130により画像データを生成する際における撮像範囲を切り替えるための操作部材であり、ユーザ操作により押下される毎に、撮像範囲が順次切替えられる。なお、この撮像範囲の切り替えについては、図28乃至図42を参照して詳細に説明する。また、撮像範囲切替スイッチ111は、特許請求の範囲に記載の操作受付部の一例である。
静止画/動画切替スイッチ112は、静止画を記録するための静止画撮像モードと、動画を記録するための動画撮像モードとの何れかの撮像モードに切替える際に用いられる操作部材である。撮像範囲切替スイッチ111および静止画/動画切替スイッチ112は、いわゆる、トグルスイッチである。
テンキー113は、数字や記号等を入力するための操作部材である。
決定キー114は、ユーザによる各種機能を設定する際等に押下される操作部材である。例えば、静止画撮像モードが設定されている場合に押下されると、シャッターボタンとして機能する。
十字キー115は、表示画面に表示されている各項目の選択状態を変更する場合や表示画面に表示されている対象物を上下左右方向に移動させる場合等に押下される操作キーである。
撮像部130は、被写体を撮像して画像データを生成するものである。なお、図1(a)では、図1(b)に示す撮像部130に対応する正面側の位置に点線を付して示す。また、図1(b)に示す撮像部130における丸は、撮像部130が備える複数の撮像系の各レンズを模式的に表すものである。すなわち、本発明の第1の実施の形態では、3個のレンズ群が特定方向に並べて配置されている撮像部130を例にして説明する。ここで、特定方向は、例えば、第1の筐体110の長手方向を垂直方向と一致させた場合における水平方向とすることができる。
第2の筐体120は表示部140を備える。表示部140は、各種画像を表示する表示装置である。表示部140には、例えば、撮像動作により生成された画像が、モニタリング画像として表示される。表示部140として、例えば、LCD(Liquid Crystal Display)パネル、有機EL(Electro Luminescence)パネル等を用いることができる。ここで、カメラ付き携帯電話装置や一般的な撮像装置が備える表示装置の横対縦の比は、4:3または16:9であることが多い。そこで、本発明の第1の形態では、第2の筐体120の長手方向を水平方向と一致させた場合における表示部140の横対縦の比を4:3とする例について説明する。
上述したように、第1の筐体110および第2の筐体120は回動可能に連結されている。すなわち、回動部材101(点線で示す)を回動基準として、第1の筐体110に対して第2の筐体120を回動させることができる。これにより、第1の筐体110に対する第2の筐体120の相対的な位置関係を変化させることができる。例えば、図1(a)および(b)に示す矢印102方向に第2の筐体120を90度回動させた場合における態様を図1(c)および(d)に示す。
なお、図1(c)および(d)に示す携帯電話装置100は、回動部材101を回動基準として、第1の筐体110に対して第2の筐体120を90度回動させた点以外は、図1(a)および(b)に示す例と同一である。また、図1(c)および(d)に示す状態で、第2の筐体120を矢印103方向にさらに90度回動させると、未使用状態(いわゆる、閉じた状態)となる。このように、第1の筐体110に対して第2の筐体120を回動させることにより、第1の筐体110に対する第2の筐体120の相対的な位置関係として、少なくとも2以上の位置関係を取り得ることができる。なお、回動部材101を回動基準として、矢印102方向の反対方向に第2の筐体120を回動させることも可能であるが、本発明の第1の実施の形態では、これらの各形態の図示および説明は省略する。
ここで、図1(a)および(b)に示すように、第1の筐体110の長手方向および第2の筐体120の長手方向を同一方向とし、表示部140およびテンキー113が回動部材101を挟んで対向する状態を、第2の筐体120の縦長状態と称する。また、この状態で、第1の筐体110および第2の筐体120の長手方向を垂直方向と一致させた場合における撮像動作を縦長撮像動作と称する。
また、図1(c)および(d)に示すように、第1の筐体110の長手方向および第2の筐体120の長手方向が略直交する状態を、第2の筐体120の横長状態と称する。また、この状態で、第1の筐体110の長手方向を垂直方向と一致させ、第2の筐体120の長手方向を水平方向と一致させた場合における撮像動作を横長撮像動作と称する。
[携帯電話装置の内部構成例]
図2は、本発明の第1の実施の形態における携帯電話装置100の内部構成例を示す図である。携帯電話装置100は、アプリケーションプロセッサ11と、デジタルベースバンド処理部12と、アナログベースバンド処理部13と、RF(Radio Frequency)処理部14とを備える。また、携帯電話装置100は、電池15と、マイクロフォン16と、スピーカ17と、アンテナ18と、撮像範囲切替スイッチ111と、静止画/動画切替スイッチ112と、決定キー114と、撮像部130と、表示部140とを備える。また、携帯電話装置100は、回動状態検出部150と、プログラムメモリ160と、画像メモリ170と、記録媒体180と、DSP(Digital Signal Processor)200とを備える。なお、RF処理部14には、アンテナ18が備えられ、アナログベースバンド処理部13には、マイクロフォン16およびスピーカ17が備えられている。
アプリケーションプロセッサ11は、内蔵するメモリに記憶される各種プログラムに基づいて携帯電話装置100の各部を制御するものである。アプリケーションプロセッサ11は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)を備えて構成される。
例えば、受話動作が行われる場合には、アンテナ18により受信された電波が、RF処理部14およびアナログベースバンド処理部13を経由して、デジタルベースバンド処理部12により復調される。そして、デジタルベースバンド処理部12による復調結果が、アナログベースバンド処理部13を経由してスピーカ17から出力される。
また、送話動作が行われる場合には、マイクロフォン16から入力された音声が、アナログベースバンド処理部13を経由して、デジタルベースバンド処理部12により変調される。そして、復調された音声データが、アナログベースバンド処理部13およびRF処理部14を経由してアンテナ18から送信される。
また、ユーザにより撮像動作の開始指示操作が行われると、携帯電話装置100において撮像動作が行われる。例えば、ユーザにより撮像動作の開始指示操作が行われると、アプリケーションプロセッサ11が撮像動作に関する各部(撮像部130、DSP200等)に撮像動作の開始を指示し、これらの各部を起動させる。そして、起動された各部により撮像動作が行われ、生成された画像が表示部140に表示される。ここで、ユーザにより画像の記録指示操作が行われると、生成された画像が記録媒体180に記録される。また、ユーザにより画像を無線伝送する指示操作が行われると、生成された画像が無線伝送される。例えば、生成された画像データがデジタルベースバンド処理部12により変調され、アナログベースバンド処理部13およびRF処理部14を経由してアンテナ18から送信される。なお、電池15は、携帯電話装置100に電源を供給する電池である。
なお、スイッチ111および112、決定キー114、撮像部130、表示部140、回動状態検出部150、プログラムメモリ160、画像メモリ170、記録媒体180およびDSP200については、図3、図7等を参照して詳細に説明する。
[撮像部の内部構成例]
図3は、本発明の第1の実施の形態における撮像部130の内部構成例を示す図である。また、図3では、撮像部130と接続されるDSP200の一部を示す。なお、DSP200の全体構成については、図7および図8を参照して詳細に説明する。
撮像部130は、3個の撮像系(第1の撮像系191乃至第3の撮像系193)と、電源制御部207と、電源供給部208および209とを備える。また、3つの撮像系は、特定方向に並べて配置される。すなわち、第1の撮像系191が中央に配置され、第1の撮像系191の両側に第2の撮像系192および第3の撮像系193が配置される。
第1の撮像系191は、光学系131、撮像素子134およびDSPとのI/F(インターフェース)137を備える。また、第2の撮像系192は、光学系132、撮像素子135およびDSPとのI/F138を備える。また、第3の撮像系193は、光学系133、撮像素子136およびDSPとのI/F139を備える。なお、第1の撮像系191乃至第3の撮像系193の構成は略同一であるため、ここでは、主に第1の撮像系191の構成について説明し、第2の撮像系192および第3の撮像系193の説明を省略する。
光学系131は、被写体からの光を集光する複数のレンズ(ズームレンズおよびフォーカスレンズを含む)により構成される。また、これらの各レンズを通過した光の量(すなわち、露出)が絞り(図示せず)により調整される。そして、集光された被写体からの光が撮像素子134に入射される。
撮像素子134は、光学系131を介して入射された被写体像を結像して画像信号を生成する撮像素子である。すなわち、撮像素子134は、光学系131を介して入射された被写体からの光を受光して光電変換を行うことにより、光の受光量に応じたアナログの画像信号を生成する。このように撮像素子134により生成されたアナログの画像信号がDSPとのI/F137を介してDSP200に供給される。なお、撮像素子として、例えば、CCD(Charge Coupled Device)型やCMOS(Complementary Metal Oxide Semiconductor)型の固体撮像素子を用いることができる。
DSPとのI/F137は、撮像素子134と、DSP200とを接続するためのインターフェースである。
電源制御部207は、DSP200の撮像制御部201(図7に示す)からの電源制御の指示に基づいて、電源供給部208および209を制御するものである。すなわち、電源制御部207は、撮像制御部201からの電源制御の指示を受け付けると、電源供給部208および209が制御信号の入力仕様として要求する信号の振幅と信号の立ち上がり速度および立ち下がり速度に準拠した信号を作成する。そして、この作成された信号を電源供給部208および209に出力し、電源供給部208および209を制御する。なお、撮像制御部201の出力信号が、電源供給部208および209の制御信号の入力仕様に準拠している場合には、撮像制御部201の出力信号を電源供給部208および209に直接入力するようにしてもよい。
電源供給部208は、電源制御部207の制御に基づいて、第1の撮像系191へ電源を供給するものである。また、電源供給部209は、電源制御部207の制御に基づいて、第2の撮像系192および第3の撮像系193へ電源を供給するものである。なお、電源供給部208および209は、例えば、市販の電源IC(Integrated Circuit)により実現される。
また、第1の撮像系191乃至第3の撮像系193のそれぞれは、1つのデータ線と7種類の信号線とを介してDSP200と接続されている。ここで、第1の撮像系191およびDSP200を接続する1つのデータ線をL1とし、7種類の信号線を信号線L2乃至L8として説明する。なお、第2の撮像系192および第3の撮像系193のデータ線および信号線は、第1の撮像系191のデータ線および信号線と略同一である。このため、ここでは、主に第1の撮像系191のデータ線および信号線について説明し、第2の撮像系192および第3の撮像系193の説明を省略する。
データ線L1は、撮像素子134からDSP200へ画像データを伝送するデータ線である。このデータ線L1は、例えば、画像データの伝送レートを大きくするために複数本のデータ線により構成することが好ましい。また、画像データの伝送レートを大きくするため、および、伝送路上でのノイズ耐性を大きくするために、データ線L1として、高速かつ差動伝送方式のデータ線を用いることが好ましい。例えば、データ線L1として、LVDS(low voltage differential signaling)等を用いることが好ましい。
信号線L2は、撮像素子134とDSP200との間の双方向の通信線であり、例えば、4線構造シリアル通信線を用いることができる。信号線L2は、例えば、撮像素子134を使用するために必要となる各種の設定値をDSP200側から設定する際に使用される。一例として、撮像素子134からDSP200へ出力される画像データを間引いて出力するための設定値が、信号線L2を介してDSP200からレジスタ370および380(図12に示す)に書き込まれる。
信号線L3は、DSP200から撮像素子134へクロックを供給するクロック信号線である。撮像素子134は、信号線L3を介して供給されるクロックを使用して、1クロック周期当り1画素の撮像動作を行う。また、撮像素子134内に逓倍器を搭載し、DSP200から供給されたクロックを撮像素子134内で逓倍して、逓倍後のクロック1周期当り1画素の撮像動作を行うようにしてもよい。
信号線L4は、DSP200から撮像素子134へリセット信号を供給するリセット信号線である。
信号線L5は、DSP200から撮像素子134の撮像動作のオン/オフを制御する信号線である。すなわち、信号線L5は、DSP200から各撮像素子へ動作の停止と起動とを通知する信号線である。例えば、3つの撮像系のうち、1つの撮像素子のみを使用する撮像モードがユーザにより指示された場合には、使用しない2個の撮像素子の撮像動作を停止させることにより、消費電力を低減させることができる。
信号線L6は、垂直同期信号線である。すなわち、信号線L6は、DSP200から撮像素子134へ1フレーム毎の撮像タイミングを示唆する同期信号を通知するための信号線である。
信号線L7は、水平同期信号線である。すなわち、信号線L7は、DSP200から撮像素子134へ1フレーム中の1ライン毎の撮像タイミングを示唆する同期信号を通知するための信号線である。
信号線L8は、シャッター信号線である。例えば、携帯電話装置100において、ユーザにより撮像画像記録を行うための操作部材(例えば、決定キー114)が押下された場合には、この押下に応じたシャッター信号が信号線L8を介してDSP200から撮像素子134に通知される。
[撮像素子の配置構成例]
図4は、本発明の第1の実施の形態における撮像部130を構成する撮像素子134乃至136の配置構成例を示す図である。図4(a)には、撮像素子134乃至136の配置構成を示す。ここで、一般に、撮像素子における受光面において、画素が配列されている領域の形状は略長方形である。そこで、以下では、撮像素子134乃至136を長方形により模式的に表す。
図4(a)には、回動部材101側が上側となるように、第1の筐体110の長手方向を垂直方向と一致させた場合における配置構成例を示す。具体的には、撮像素子134が中央に配置され、撮像素子134の両側に撮像素子135および136が配置される。また、中央に配置される撮像素子134については、その長手方向が配列方向と直交する方向と一致するように配置される。一方、撮像素子134の両側に配置される撮像素子135および136については、その長手方向が配列方向と一致するように配置される。また、撮像素子134乃至136における中心位置が同一平面上となるように配置される。すなわち、配列方向において、撮像素子135および136が横長に配置されるとともに、撮像素子134が縦長に配置される。また、図4(a)では、各画素を読み出すことが可能な画素データ読出可能領域400乃至402を撮像素子134乃至136内に長方形で模式的に示す。例えば、撮像素子134により、被写体の特定方向を長手方向とする第1の撮像画像が生成される。また、撮像素子135により、その特定方向に直交する直交方向を長手方向とし、第1の撮像画像に含まれる被写体の直交方向の一方に隣接する被写体を含む第2の撮像画像が生成される。また、撮像素子136により、直交方向を長手方向とし、第1の撮像画像に含まれる被写体の直交方向の他方に隣接する被写体を含む第3の撮像画像が生成される。このように、本発明の第1の実施の形態では、中央の撮像素子134のアスペクト比(横/縦)を、その両側に配置されている撮像素子134乃至136のアスペクト比よりも小さくする。これにより、例えば、撮像素子134のみを用いて縦長画像を生成する場合でも、十分な解像度を維持することができる。一方、撮像素子134乃至136を用いて生成される広角画像(例えば、パノラマ画像)については、撮像素子134の画枠を有効活用することができる。
図4(b)には、第2の筐体120が縦長状態である場合において、画像データを生成する場合における画素データ読出領域の一例を示す。画素データ読出領域403乃至405は、画素データ読出可能領域400乃至402において、表示または記録に用いられる画像データを生成する際に各画素を読み出す領域の一例であり、図4(b)ではその輪郭を太線で示す。画素データ読出領域404および405は、例えば、画素データ読出可能領域401および402と同一とすることができる。また、画素データ読出領域403は、例えば、垂直方向の長さV10を、画素データ読出可能領域401および402の垂直方向の長さV11と同一とし、水平方向の長さH10を、画素データ読出可能領域400の水平方向の長さと同一とすることができる。
図4(c)には、第2の筐体120が横長状態である場合において、画像データを生成する場合における画素データ読出領域の一例を示す。この例では、撮像素子134乃至136のうち、撮像素子134のみにより画像データを生成する場合における画素データ読出領域406を示す。画素データ読出領域406は、画素データ読出可能領域400乃至402において、表示または記録に用いられる合成画像を生成する際に各画素を読み出す領域の一例であり、図4(c)ではその輪郭を太線で示す。画素データ読出領域406は、例えば、画素データ読出可能領域400と同一とすることができる。なお、これらの画像生成例については、図28乃至図42を参照して詳細に説明する。
ここで、例えば、撮像素子134乃至136の各長手方向が特定方向と一致するように、撮像素子134乃至136が配置された撮像装置を想定する。すなわち、図4(a)に示す状態で、撮像素子134が90度回転して配置され、撮像素子134乃至136の長手方向と配列方向とが同一となる場合を想定する。この場合において、通常の縦長の静止画を撮影する場合には、垂直方向の画素数は最大でも撮像素子134の短辺方向の画素数しか取れない。また、垂直方向の画角についても撮像素子134の短辺方向に入射される領域に制限されてしまう。このため、垂直方向の画角を大きくし、垂直方向の画素数を大きくして撮像するためには、ユーザが撮像装置を90度回転させて、撮影を行う必要がある。
これに対して、本発明の第1の実施の形態によれば、通常の縦長の静止画を撮影する場合でも、1個の撮像系を備える携帯電話装置をユーザが横倒しして撮影を行う場合と同じ画素数、同じ画角で撮影することが可能である。このため、ユーザが撮像装置を横に向ける手間を省略することができる。
次に、撮像素子134乃至136における1ラインのデータを読み出す読出方法について説明する。例えば、撮像素子134乃至136における1ラインのデータを読み出すデータ読出方法としては、以下の2つの方法を用いることができる。
第1のデータ読出方法は、撮像素子134について1ラインのデータを読出す場合において、その1ラインの方向を撮像素子134に対応する長方形の領域の短辺方向とする方法である。第1のデータ読出方法では、撮像素子135および136について1ラインのデータを読出す場合には、その1ラインの方向を撮像素子135および136に対応する長方形の領域の長辺方向とする。この例を図6(a)に示す。第1のデータ読出方法では、3個の撮像素子134乃至136から読み出された画像データを読み出された順番で画像メモリ170に書き込むことができる。また、このデータを読み出して画像信号処理を行う場合でも、同じ順番で読み出すことができるため、メモリへのデータの書き込みおよび読出しを容易に行うことができる。ただし、一般に、撮像素子は読出しライン方向が長辺方向であるため、読出しライン方向が短辺方向の撮像素子を新たに用意する必要がある。
第2のデータ読出方法は、撮像素子134の1ラインのデータを読出す場合において、その1ラインの方向を、撮像素子135および136と同様に長辺方向とする方法である。この場合、読出し方向が短辺方向の撮像素子を新たに用意する必要がない。ただし、撮像素子134の画像データの読出し方向が撮像素子135および136の画像データの読出し方向から90°回転している。このため、撮像素子134から読み出された画像データを用いて画像信号処理を行う場合には、その画像を90°回転させて、撮像素子135および136により生成された画像と同じ向きしてから画像信号処理を行うことが好ましい。なお、本発明の第1の実施の形態では、第1のデータ読出方法を用いる例を示す。すなわち、以下では、撮像素子134における1ラインの画素データを読出す際のライン方向を、撮像素子134乃至136の配列方向とする例を示す。また、撮像素子135および136における1ラインの画素データを読出す際のライン方向についても同様に、撮像素子134乃至136の配列方向とする例を示す。
図5および図6は、本発明の第1の実施の形態における撮像素子134乃至136に結像される像と、画像データの読出方法との関係を示す図である。一般に、撮像素子には、いわゆる、倒立像が結像される。
図5には、撮像素子に結像される像として倒立像が生成される場合における被写体409と光学系131と撮像素子134に結像される撮像画像410との関係を模式的に示す。図5に示すように、光学系131を介して入射された被写体409からの光が撮像素子134に結像され、撮像画像410が生成される。この場合に、被写体409の上下方向と、撮像画像410の上下方向とが反転された状態となる。
図6(a)には、撮像素子134乃至136から画素データを読み出す場合における読出開始位置411乃至413および読出し方向を模式的に示す。この例では、図4(b)に示す画素データ読出領域403乃至405において画素データを読み出す例を示す。また、以下では、画素データ読出領域における読出開始位置を矩形で模式的に示す。例えば、画素データ読出領域403乃至405の右下隅の読出開始位置411乃至413から順次読出しが開始され、矢印方向に画素データが読み出される。例えば、画素データ読出領域403において、読出開始位置411から画素データの読出しが開始され、矢印方向に1画素ずつシフトされながら画素データの読出しが順次行われる。そして、水平方向の1ラインにおける端部(図6(a)に示す画素データ読出領域403内の左端)に位置する画素の読出しが行われた場合には、読出し対象となるラインを1画素上側にシフトして他の端部に位置する画素の読出しが行われる。以下、同様に画素の読み出しが順次行われる。そして、画素データ読出領域403における上端のラインにおける端部に位置する画素の読出しが行われた場合には、撮像素子134の読出し処理を終了する。また、撮像素子135および136についても同時に読み出し処理が行われる。
図6(b)には、撮像素子134乃至136から読み出された画素データが合成された場合における画像メモリ170上における合成画像414を模式的に示す。この例では、図6(a)に示す読出方法により読み出された画素データを合成する例を示す。なお、合成画像414内における矢印方向は、画像メモリ170上における画像データの並び方向であるものとする。
図6(c)には、撮像素子134乃至136から読み出された画素データを表示部140に表示する場合における合成画像の表示例を示す。この例では、図6(b)に示す合成画像414を表示する例を示す。例えば、撮像画像表示領域415に合成画像414が表示され、その上下の余白画像表示領域416および417には一色画像(例えば、黒色や白色)が表示される。なお、表示部140内における矢印方向は、表示部140における走査方向であるものとする。
[DSPの構成例]
図7は、本発明の第1の実施の形態におけるDSP200の内部構成例を示すブロック図である。DSP200は、撮像制御部201と、CPU202と、DMA(Direct Memory Access)コントローラ203と、データバス204と、プログラムメモリとのI/F205と、画像メモリとのI/F206とを備える。また、DSP200は、撮像素子とのI/F210と、画像バッファ211乃至219と、画像信号処理部220と、解像度変換部231、241、251と、画像回転処理部232、242とを備える。また、DSP200は、表示部とのI/F233と、外部表示装置とのI/F243と、符号化部252と、記録媒体とのI/F253と、発振回路264乃至266と、クロック生成回路270とを備える。データバス204には、CPU202、DMAコントローラ203、画像メモリとのI/F206、画像バッファ211乃至219、画像信号処理部220等が接続されている。また、撮像制御部201には、撮像範囲切替スイッチ111、静止画/動画切替スイッチ112、決定キー114および回動状態検出部150からの各信号が入力される。
回動状態検出部150は、第1の筐体110に対する第2の筐体120の回動状態を検出するものであり、検出結果を撮像制御部201に出力する。回動状態検出部150は、第1の筐体110に対する第2の筐体120の回動状態として、例えば、第1の筐体110および第2の筐体120のなす角度を検出し、検出結果を撮像制御部201に出力する。例えば、第1の筐体110に対する第2の筐体120の回動角度が一定値未満である場合には押下されず、その回動角度が一定値以上となった場合に押下される角度検出スイッチを回動部材101の何れかに設ける。そして、角度検出スイッチにより、回動状態検出部150は、第1の筐体110および第2の筐体120のなす角度を検出する。なお、回動状態検出部150は、特許請求の範囲に記載の検出部の一例である。
撮像制御部201は、撮像処理に関する各部を制御するものである。例えば、撮像制御部201は、回動状態検出部150からの検出結果に基づいて、第1の筐体110に対する第2の筐体120の回動状態を判断し、この判断結果に基づいて、各部の撮像制御を行う。例えば、撮像制御部201は、撮像素子134乃至136により生成される画像データのうち、表示または記録の対象となる対象画像の範囲を、その判断結果に基づいて決定する。また、撮像制御部201は、撮像範囲切替スイッチ111、静止画/動画切替スイッチ112および決定キー114からの入力信号に基づいて各部の撮像制御を行う。なお、これらの撮像制御については、図28乃至図42等を参照して詳細に説明する。また、撮像制御部201は、特許請求の範囲に記載の制御部の一例である。
ここで、本発明の第1の実施の形態では、撮像部130により生成された画像を記録する際の撮像モード(画像サイズ等)をユーザが予め設定することができる。例えば、撮像モードを設定するためのメニュー画面を表示部140に表示させ、メニュー画面において決定キー114および十字キー115を用いて、ユーザが所望する設定内容を入力する。なお、撮像モードには、例えば、撮像時に使用する撮像素子の個数と、記録時における画像の垂直方向画像サイズおよび水平方向画像サイズとを含む。また、撮像モードには、例えば、画像の有効領域と垂直同期信号との間隔を表す垂直バックポーチおよび垂直フロントポーチと、画像の有効領域と水平同期信号との間隔を表す水平バックポーチと水平フロントポーチとを含む。また、撮像制御部201と、DSP200内の各部と、撮像素子134乃至136とは、撮像モードを保持するレジスタを備える。
ここで、撮像制御部201は、ユーザにより撮像モードが設定された場合には、この設定された撮像モードをDSP200内の各部および撮像素子134乃至136に通知し、各部が備えるレジスタに保持させる。このように、各部が備えるレジスタに、ユーザにより設定された撮像モードの設定内容を保持させることにより、複数の撮影条件をユーザが容易に切り替えて使用することができる。
撮像制御部201は、例えば、内蔵するレジスタに保持されている撮像モードの設定内容に基づいて、垂直同期信号、水平同期信号およびクロック信号を、DSP200内の各部および撮像素子134乃至136に通知する。また、撮像制御部201は、例えば、内蔵するレジスタに保持されている撮像モードの設定内容に基づいて、垂直同期信号、水平同期信号およびクロック信号を、DSP200内の表示に関する各部および表示部140に通知する。また、撮像制御部201は、例えば、電源制御部207に対して、電源のオン/オフを制御する信号を出力する。
CPU202は、プログラムメモリ160に記憶されている各種プログラムに基づいて、DSP200全体を制御するものである。
DMAコントローラ203は、CPU202の制御に基づいて、各メモリ間におけるデータの転送を制御するものである。
プログラムメモリとのI/F205は、プログラムメモリ160と、DSP200とを接続するためのインターフェースである。
画像メモリとのI/F206は、画像メモリ170と、DSP200とを接続するためのインターフェースである。
撮像素子とのI/F210は、撮像素子134乃至136と、DSP200とを接続するためのインターフェースである。すなわち、撮像素子134乃至136により生成された画像データが撮像素子とのI/F210に入力される。例えば、撮像素子134乃至136から画像データを伝送するデータ線L1が、微小振幅のLVDS方式である場合には、DSPとのI/F137乃至139において、撮像素子134乃至136からの画像データがGND電位または電源電位に変換される。また、撮像素子とのI/F210の後段には、撮像素子134乃至136に対応する3系統の画像バッファ211乃至219を備える。
画像バッファ211乃至219は、撮像素子134乃至136から出力された画像データを保持する画像バッファであり、保持されている画像データがデータバス204を介して画像メモリ170に書き込まれる。例えば、各撮像素子について3個の画像バッファを備え、これらの各画像バッファは、データバス204に接続されている。例えば、撮像素子134については、3個の画像バッファ211乃至213が備えられる。また、撮像素子135については、3個の画像バッファ214乃至216が備えられる。また、撮像素子136については、3個の画像バッファ217乃至219が備えられる。ここで、本発明の第1の実施の形態では、画像データを画像メモリ170に書込むため、画像バッファ211乃至219から画像データを読み出している間でも、撮像素子134乃至136からの新たに入力された画像データを順次保持させる。このため、画像バッファ211乃至219として、撮像素子134乃至136のそれぞれについて2個以上の画像バッファを備えていることが好ましい。
画像バッファ211乃至219の1個の容量は、データバス204のビット(bit)幅よりも大きいことが好ましい。例えば、データバス204が128ビット幅である場合には、各画像バッファは128ビット以上の容量であることが好ましい。また、画像バッファ211乃至219の1個の容量は、データバス204のビット幅の2倍以上であることがより好ましい。例えば、データバス204が128ビット幅である場合には、各画像バッファは256ビット以上の容量であることがより好ましい。
一方、画像バッファ211乃至219の1個の容量は、1つの撮像素子により生成される1枚の画像の画像データ量以下とすることができる。例えば、画像バッファ211乃至219の1個の容量は、撮像素子134の1ライン分の画素により生成される画像データのデータ量以下であることが好ましい。
本発明の第1の実施の形態では、撮像素子134乃至136と、DSP200とを接続するデータ線のビット幅は、例えば、12ビットとする。また、例えば、DSP200のデータバス204のビット幅は、128ビット幅とし、画像バッファ211乃至219の1個の容量は、それぞれ128ビットとする。
画像信号処理部220は、撮像制御部201の制御に基づいて、画像バッファ211乃至219、データバス204を介して入力された画像データについて、各種の画像信号処理を行うものである。なお、画像信号処理部220の内部構成については、図8を参照して詳細に説明する。
解像度変換部231は、撮像制御部201の制御に基づいて、各画像を表示部140に表示させるための解像度変換を行うものであり、解像度変換が施された画像データを画像回転処理部232に出力する。
解像度変換部241は、撮像制御部201の制御に基づいて、各画像を外部表示装置245に表示させるための解像度変換を行うものであり、解像度変換が施された画像データを画像回転処理部242に出力する。
画像回転処理部232は、撮像制御部201の制御に基づいて、解像度変換が施された画像データについて回転処理を行うものであり、回転処理が施された画像データを表示部とのI/F233に出力する。
画像回転処理部242は、撮像制御部201の制御に基づいて、解像度変換が施された画像データについて回転処理を行うものであり、回転処理が施された画像データを外部表示装置とのI/F243に出力する。
表示部とのI/F233は、表示部140と、DSP200とを接続するためのインターフェースである。
外部表示装置とのI/F243は、外部表示装置245と、DSP200とを接続するためのインターフェースである。外部表示装置245は、例えば、テレビジョンである。
解像度変換部251は、撮像制御部201の制御に基づいて、各画像について記録用に解像度を変換するものであり、解像度変換が施された画像データを符号化部252に出力する。例えば、解像度変換部251は、ユーザが希望する記録画像サイズに解像度を変換する解像度変換処理や、サムネイル画像を生成するための解像度変換処理を行う。
符号化部252は、解像度変換部251から出力された画像データを圧縮するための符号化を行うものであり、符号化された画像データを記録媒体とのI/F253に出力する。
記録媒体とのI/F253は、記録媒体180と、DSP200とを接続するためのインターフェースである。
記録媒体180は、記録媒体とのI/F253を介して供給された画像データを記録する記録媒体である。記録媒体180は、携帯電話装置100に内蔵するようにしてもよく、着脱可能に携帯電話装置100に装着されるようにしてもよい。記録媒体180として、例えば、テープ(例えば、磁気テープ)、光ディスク(例えば、記録可能なDVD(Digital Versatile Disc))を用いることができる。また、記録媒体180として、例えば、磁気ディスク(例えば、ハードディスク)、半導体メモリ(例えば、メモリカード)、光磁気ディスク(例えば、MD(MiniDisc))を用いるようにしてもよい。
なお、発振回路264乃至266およびクロック生成回路270については、図9乃至図11を参照して詳細に説明する。
[画像信号処理部220の内部構成例]
図8は、本発明の第1の実施の形態における画像信号処理部220の内部構成例を示すブロック図である。画像信号処理部220は、画素加算処理部221と、デモザイク処理部222と、YC変換処理部223と、画像合成処理部224と、シャープネス処理部225と、色調整処理部226と、RGB変換処理部227とを備える。
画素加算処理部221は、撮像素子134乃至136により生成された画像データについて、画素加算処理および画素間引き処理を行うものである。なお、画素加算処理部221については、図43等を参照して詳細に説明する。
デモザイク処理部222は、撮像素子134乃至136により生成された画像データ(モザイク画像)の各画素位置にR、G、Bの全てのチャネルの強度が揃うようにデモザイク処理(補間処理)を行うものである。そして、デモザイク処理部222は、デモザイク処理が施されたRGB画像をYC変換処理部223に供給する。すなわち、デモザイク処理部222は、1画素につき1色分の画素データのみを有するベイヤーデータを補間して1画素についてRGBの3個の画素データを算出する。
YC変換処理部223は、デモザイク処理部222により生成されたRGB画像にYCマトリックス処理およびクロマ成分に対する帯域制限を行うことにより、輝度信号(Y)および色差信号(Cr,Cb)を生成するものである。そして、生成された輝度信号(Y画像)および色差信号(C画像)が画像合成処理部224に供給される。
画像合成処理部224は、YC変換処理部223により生成された画像データについて、画像合成を行うものであり、合成された画像データをシャープネス処理部225に出力する。なお、この画像合成処理については、図18乃至図26を参照して詳細に説明する。また、画像合成処理部224は、特許請求の範囲に記載の画像合成部の一例である。
シャープネス処理部225は、画像合成処理部224により生成された画像データについて、信号変化の大きい部分を取り出して強調するシャープネス処理(被写体の輪郭を強調する処理)を行うものである。そして、シャープネス処理部225は、シャープネス処理が施された画像データを色調整処理部226に供給する。
色調整処理部226は、シャープネス処理部225によりシャープネス処理が施された画像データについて、色相および彩度の調整を行うものである。
RGB変換処理部227は、色調整処理部226により色相および彩度の調整が施された画像データについて、YCbCrデータからRGBデータへ変換するものである。
ここで、画像信号処理部220の信号の画像データの流れについて説明する。例えば、画像信号処理部220における各信号処理部が画像メモリ170からデータバス204を経由して画像データを直接読み込み、信号処理後の画像データをデータバス204経由で画像メモリ170に書き込む場合を想定する。この場合には、画像信号処理部220が、画像データ中の所望の位置の画像データを所望のタイミングで読み込むことができる点で有利である。しかし、データバス204を経由して伝送する必要があるデータ量が大きくなるため、データバス204の動作周波数を大きくする必要がある。このため、データバス204の設計が難しくなるとともに消費電力が大きくなるおそれがある。
また、例えば、画像信号処理部220における各信号処理部が画像データを前段の信号処理部からデータバス204を経由せずに受け取り、信号処理後の画像データを後段の信号処理部へデータバス204を経由せずに受け渡す場合を想定する。この場合には、データバス204を使用しないため、LSIの設計が容易であり、消費電力を小さくすることができる点で有利である。しかし、各信号処理部が画像データ中の所望の位置の画像データを所望のタイミングで読み込むことができないおそれがある。
そこで、本発明の第1の実施の形態では、画像サイズが略一定であるデモザイク処理部222から色調整処理部226までの間は、データバス204の動作周波数と、消費電力の低減のため、画像データを各信号処理部間で直接受け渡す。また、解像度変換のように、大量の画像データを使用する信号処理部の前段では、画像メモリ170へ画像データを書き込み、解像度変換を行う際は、画像メモリ170から所望の画像データを読み出す例を示す。
[クロック生成回路の構成例]
図9は、本発明の第1の実施の形態におけるクロック生成回路270の内部構成例を示すブロック図である。クロック生成回路270は、高周波クロック用逓倍器20、24と、高周波クロック用分周器21、25と、低周波クロック用逓倍器22、26と、低周波クロック用分周器23、27とを備える。また、クロック生成回路270は、クロック用逓倍器28、30と、クロック用分周器29、31とを備える。ここで、各逓倍器は、入力されたクロックの周波数を逓倍するものである。また、各分周器は、入力されたクロックの周波数を1/n(nは任意の整数)にするものである。なお、この例では、クロック生成回路270が、図7に示すDSP200における各部の接続先に応じて少なくとも6種類のクロックを発生させる場合を例にして示す。
発振子261乃至263は、DSP200内に供給されるクロック信号を発生させるための振動源であり、例えば、水晶発振子が用いられる。
発振回路264乃至266は、DSP200内に供給されるクロック信号を生成するものであり、生成されたクロック信号をクロック生成回路270に出力する。
クロック生成回路270が生成する6種類のクロックのうち2種類は、撮像素子134乃至136に供給されるクロックである。この撮像素子134乃至136に供給されるクロックのうち1種類は、画素数が比較的大きい画像を生成するための比較的大きい周波数のクロックである。このクロックは、発振回路264から出力されたクロックが高周波クロック用逓倍器20に入力されて逓倍され、この逓倍されたクロックが高周波クロック用分周器21に入力されて分周されることにより生成される。また、他の1種類は、画素数が比較的小さい画像を生成するための比較的小さい周波数のクロックである。このクロックは、発振回路264から出力されたクロックが低周波クロック用逓倍器22に入力されて逓倍され、この逓倍されたクロックが低周波クロック用分周器23に入力されて分周されることにより生成される。そして、高周波クロック用分周器21および低周波クロック用分周器23により分周されたクロックが、クロック生成回路270において生成されたクロックとして出力され、DSP200内部を経由して撮像素子134乃至136に供給される。ここで、撮像素子134乃至136に供給するクロックは、この例で示した2種類に限らず、撮像動作により生成される画像サイズに応じて、さらに多くの種類を生成して用いることが好ましい。
クロック生成回路270が生成する6種類のクロックのうち他の2種類は、DSP200内部で使用されるクロックである。このDSP200内部で使用されるクロックのうち1種類は、画素数が比較的大きい画像を生成するための比較的大きい周波数のクロックである。このクロックは、発振回路264から出力されたクロックが高周波クロック用逓倍器24に入力されて逓倍され、この逓倍されたクロックが高周波クロック用分周器25に入力されて分周されることにより生成される。また、他の1種類は、画素数が比較的小さい画像を生成するための比較的小さい周波数のクロックである。このクロックは、発振回路264から出力されたクロックが低周波クロック用逓倍器26に入力されて逓倍され、この逓倍されたクロックが低周波クロック用分周器27に入力されて分周されることにより生成される。そして、高周波クロック用分周器25および低周波クロック用分周器27により分周されたクロックが、クロック生成回路270において生成されたクロックとして出力され、DSP200内部に供給される。ここで、DSP200内部で使用されるクロックは、この例で示した2種類に限らず、撮像動作により生成される画像サイズに応じて、さらに多くの種類を生成して用いることが好ましい。
クロック生成回路270が生成する6種類のクロックのうち残りの2種類は、表示部140に画像を表示するための画素クロックと、携帯電話装置100外部の表示装置(例えば、外部表示装置245)に画像を表示するための画素クロックである。表示部140に画像を表示するための画素クロックは、発振回路265から出力されたクロックがクロック用逓倍器28に入力されて逓倍され、この逓倍されたクロックがクロック用分周器29に入力されて分周されることにより生成される。また、携帯電話装置100外部の表示装置に画像を表示するための画素クロックは、発振回路266から出力されたクロックがクロック用逓倍器30により逓倍され、この逓倍されたクロックがクロック用分周器31に入力されて分周されることにより生成される。そして、クロック用分周器29により分周されたクロックが、クロック生成回路270において生成されたクロックとして出力され、DSP200内部を経由して表示部140に供給される。また、クロック用分周器31により分周されたクロックが、クロック生成回路270において生成されたクロックとして出力され、DSP200内部を経由して携帯電話装置100外部の表示装置に供給される。ここで、これらの画像表示のためのクロックは、この例で示した2種類に限らず、接続する表示装置の仕様に応じて、さらに多くの種類を生成して用いることが好ましい。
図10および図11は、本発明の第1の実施の形態におけるクロック生成回路270の変形例を示すブロック図である。
図10には、撮像素子134乃至136に供給される2種類のクロックが1つの逓倍器(クロック用逓倍器32)を共有して使用し、DSP200内部に供給される2種類のクロックが1つの逓倍器(クロック用逓倍器33)を共有して使用する例を示す。
図11には、撮像素子134乃至136に供給される複数種類のクロックと、DSP200内部に供給される複数種類のクロックとが、1つの逓倍器(クロック用逓倍器34)を共有して使用する例を示す。
[撮像素子の構成例および画素読出例]
図12は、本発明の第1の実施の形態における撮像素子の内部構成例を示す図である。ここで、撮像素子134乃至136の内部構成は略同一であるため、図12では、撮像素子134のみを示し、他の撮像素子の図示および説明を省略する。また、図12では、撮像素子134として、CMOS型撮像素子を例にして説明する。
撮像素子134は、画素40乃至47と、垂直走査回路340と、水平走査回路345とを備える。また、撮像素子134は、ADC(A/D(Analog/Digital)コンバータ)350乃至353と、加算器354乃至357、366と、カラムラッチ358乃至361とを備える。また、撮像素子134は、スイッチ362乃至365と、出力ラッチ367と、出力回路368と、レジスタ370、380と、逓倍器/分周器391、392とを備える。なお、一般的に、撮像素子の縦方向の並びをカラムと称し、横方向の並びをロウと称する。このため、以下では、カラムおよびロウの名称を適宜用いて説明する。また、この例では、撮像素子134において、一部の画素(画素40乃至47)と、これに関連する各部とを代表して示し、他の構成についての図示および説明を省略する。
撮像素子134において、ロウ方向に垂直制御線341乃至344が配線されており、同一ライン上にある画素が1つおきに同一の垂直制御線に接続される。また、カラム方向にデータ読出線346乃至349が配線されており、同一ライン上にある画素が1つの読み出し線を共有する。
垂直走査回路340は、ロウ方向に配線されている垂直制御線341乃至344により、画素40乃至47と、データ読出線346乃至349との間のスイッチをオン/オフするものである。すなわち、ロウ方向の各画素において、1本の垂直制御線により、ロウ方向の同一ライン上にある画素のうち、1つおきの画素が共通にオン/オフされる。また、画素40乃至47の画像データが、各画素とこれに対応するデータ読出線との間のスイッチを経由して、データ読出線346乃至349に出力される。
水平走査回路345は、カラムラッチ358乃至361と、出力データ線369との間のスイッチ362乃至365をオン/オフするものである。垂直走査回路340によるスイッチのオン/オフと、水平走査回路345によるスイッチ362乃至365のオン/オフとの選択により、各画素を順次選択しながら時分割で全画素の信号を読み出すことができる。ここで、出力データ線369は、各カラムの出力結果を撮像素子134から出力するための出力データ線である。
ここで、撮像素子134には、画素40乃至47が2次元正方格子状に配置されている。なお、画素40乃至47の構成は同一であるため、ここでは、画素40を例にして説明する。画素40は、受光部であるフォトダイオード51と、アンプ52と、スイッチ53とにより構成されている。フォトダイオード51は、画素に照射された光をその光量に応じた電荷に変換するものである。アンプ52は、フォトダイオード51により変換された電荷の信号を増幅する増幅器である。スイッチ53は、垂直制御線342のオンオフに応じて、画素40の電荷転送を制御するスイッチである。
また、各カラムには、ADC350乃至353と、加算器354乃至357と、カラムラッチ358乃至361とが備えられている。以下では、データ読出線346に接続されているADC350と、加算器354と、カラムラッチ358とを例にして説明する。
ADC350は、アナログ値である各画素からの画像データをデジタルデータ(デジタル値)に変換するADコンバータである。
加算器354は、ADC350によりデジタルデータが変換される毎に、その変換後の新たなデジタルデータを、カラムラッチ358に保存されているデジタルデータに加算するものである。
カラムラッチ358は、ADC350により変換されたデジタルデータを順次保存するカラムラッチである。ここで、カラムラッチとは、AD変換後のデジタルデータを保存するデータ保存回路を示す名称である。このデータ保存回路として、線形回路により構成されたラッチ以外に、同期回路により構成されたフリップフロップ等のデジタルデータを保存することができる各回路を用いることができる。
例えば、画素40から出力された画像データは、ADC350、加算器354、カラムラッチ358を経由した後に、データ読出線346に接続されているスイッチ362を経由して、出力データ線390に出力される。ここで、本発明の第1の実施の形態では、各カラムのデータ読出線と同様に、出力データ線390にも加算器366と出力ラッチ367とを備え、画像データの加算と保存とを行う。また、出力ラッチ367に保存されている画像データが、出力回路368を経由して出力データ線369に出力される。なお、出力データ線369からの画像データは、上述したデータ線L1に出力される。
逓倍器/分周器391、392は、DSP200からの制御に基づいて、入力されたクロックの周波数の逓倍、または、入力されたクロックの周波数の分周を行うものである。そして、逓倍器/分周器391、392は、生成されたクロックを、垂直走査回路340、水平走査回路345および出力回路368に供給する。
信号線393は、DSP200から垂直同期信号を供給する垂直同期信号線である。信号線394は、DSP200から水平同期信号を供給する水平同期信号線である。
また、信号線395は、DSP200からクロック信号を供給するクロック信号線である。信号線396は、DSP200から撮像動作のオン/オフを制御するための信号線、および、画素間引きを制御するための信号線である。信号線397は、撮像素子134とDSP200との間の双方向の通信線である。信号線398は電源供給線である。
なお、レジスタ370、380は、撮像動作に関する各設定値が保持されているレジスタであり、保持内容の一例を図13に示す。
図13は、本発明の第1の実施の形態における撮像素子134が備えるレジスタ370および380の保持内容を模式的に示す図である。レジスタ370および380には、撮像動作に関する各設定値が保持され、垂直走査回路340および水平走査回路345に供給される。なお、これらの設定値は、ユーザ操作により変更可能としてもよい。これらの保持内容、および、これに基づいて行われる撮像動作については、図28および図42を参照して詳細に説明する。
図14乃至図16は、本発明の第1の実施の形態における撮像素子134における各画素への制御信号と、これらの各画素から出力されるデータとの様子を模式的に表すタイミングチャートである。ここで、図14乃至図16に示す横軸は時間軸である。また、図14乃至図16に示す垂直制御線341乃至344、カラムラッチ358乃至361には、対応する図12と同一の符号を付して説明する。また、図14乃至図16に示すカラムラッチ読出し信号には、対応する図12に示すスイッチ362乃至365と同一の符号を付して説明する。
図14に示す例では、撮像素子134における各画素のうち全画素を読出す場合における撮像動作について説明する。
垂直制御線341乃至344を使用して、あるロウ(例えば、画素40乃至43のライン)に接続された全ての撮像素子134の画素データを、各カラムのデータ読出線346乃至349に出力させる。続いて、データ読出線346乃至349に出力された画素データが、各カラムのADC350乃至353によりAD変換される。続いて、ADC350乃至353の出力が、各カラムのカラムラッチ358乃至361に保持される。例えば、図14に示すカラムラッチ358乃至361に画素データd1乃至d4が保持される。続いて、カラムラッチ358乃至361から出力データ線390への読出しスイッチ362乃至365を、水平走査回路345が1列ずつ順番にオンさせる。これにより1ライン中の各画素データを順番に読み出すことができる。例えば、図14に示す出力データ線390に画素データd1が出力された後に画素データd2乃至d3が順次出力される。
以降も同様に、水平方向の1ラインの読出しが終了する毎に、各画素から垂直信号線への読出しスイッチを、垂直走査回路340が1行ずつ順番にオンさせる。これにより各行の画素データがADC350乃至353に入力される。この入力された画素データがADC350乃至353によりAD変換された後は、各画素データが、各カラムのカラムラッチ358乃至361に保持される。例えば、図14に示すカラムラッチ358乃至361に画素データd5乃至d8が保持される。続いて、カラムラッチ358乃至361から出力データ線390への読出しスイッチ362乃至365を、水平走査回路345が1列ずつ順番にオンさせ、1ライン中の各画素データを順番に読み出す。例えば、図14に示す出力データ線390に画素データd5乃至d8が順次出力される。
図15に示す例では、撮像素子134における各画素のうち、画素間引き読出しの一例として水平間引きして読出す場合における撮像動作について説明する。
各画素から垂直信号線346乃至349への読出しスイッチを、垂直走査回路340が所望の列のみオンさせる。これにより特定の行の画素データのみがADC350乃至353に入力され、ADC350乃至353によりAD変換される。そして、ADC350乃至353の出力が、各カラムのカラムラッチ358乃至361に保持される。例えば、垂直制御線342および344に接続されている読出しスイッチをオンさせることにより、図15に示すカラムラッチ358および360に画素データd1およびd3が保持される。この1行の読出しが終了した後に、例えば、垂直制御線342および344に接続されている読出しスイッチをオンさせることにより、図15に示すカラムラッチ358および360に画素データd5およびd7が保持される。
また、カラムラッチ358乃至361から出力データ線390への読出しスイッチを、水平走査回路345が所望の列のみオンさせる。これにより1ライン中の特定の画素データのみを順番に読み出すことができる。
例えば、水平方向において、N個の画素データの中から1個の画素データを読み出す場合には、水平方向に1/N間引き読出しとなる。例えば、2個中に1個の画素データを読み出す場合には、水平方向に1/2間引き読出しとなり、4個中に1個の画素データを読み出す場合には、水平方向に1/4間引き読出しとなる。
水平方向(すなわち、ロウ方向)への間引き動作と同時に、垂直方向(すなわち、カラム方向)への間引き動作も行うことができる。例えば、垂直方向において、M本のラインの中からに1本のラインの画素データを読み出す場合には、垂直方向に1/M間引き読出しとなる。例えば、2本中に1本のロウの画素データを読み出す場合には、垂直方向に1/2間引き読出しとなり、4本中に1本のロウの画素データを読み出す場合には、垂直方向に1/4間引き読出しとなる。
図16に示す例では、撮像素子134における各画素のうち、画素加算読出を行う場合における撮像動作について説明する。この例では、画素加算読出として、水平方向の1/2の画素加算読出し、および、垂直方向の1/2の画素加算読出しの場合における撮像動作について説明する。
全画素読出しを行う場合と同様に、垂直制御線を使用して、あるロウに接続された全ての撮像素子134のデータを、各カラムに備わるデータ読出線へ出力させ、AD変換してカラムラッチに保持させる。ここで、全画素読出しを行う場合とは異なり、別の垂直制御線を使用して、別のロウに接続された全ての撮像素子134のデータを、各カラムに備わるデータ読出線へ出力させ、AD変換する。そして、加算器を用いて、カラムラッチのデータに加算する。垂直方向に所望の本数分だけ、この方法により各画素データの値を加算し、各カラムラッチに加算後のデータを保持させる。例えば、画素データd1+d5、d2+d6、d3+d7、d4+d8がカラムラッチ358乃至361に保持される。このように、垂直方向にN個の画素データを加算した後に、加算結果を1個の画素データとして出力することにより、垂直方向の1/Nの画素加算読出しとなる。
次に、カラムラッチから出力データ線390への読出しスイッチを、水平走査回路345が1列ずつ順番にオンさせる。この場合に、各カラムラッチから出力データ線390に読み出されたデータを、出力データ線390の加算器366により加算し、出力ラッチ367に保持させる。そして、水平方向に所望のカラム数分だけ加算処理を繰り返し、加算後のデータを撮像素子134に出力する。例えば、画素データd1+d5と、画素データd2+d6とが加算されたデータd1+d5+d2+d6が、出力データ線369を介して撮像素子134に出力される。このように、水平方向にM本のロウの画素データを加算することにより、水平方向に1/Mの画素加算読出しとなる。以上の処理を行うことにより、水平方向(ロウ方向)の加算処理と垂直方向(カラム方向)との加算処理が可能となる。
ここで、図15に示す間引き読出し、および、図16に示す画素加算の読出しを行う場合には、複数種類の間引き率、画素加算率に対応して撮像素子を動作させることが望ましい。そこで、以下では、複数種類の間引き率および画素加算率に対応して撮像素子を動作させる走査回路について説明する。
図17は、本発明の第1の実施の形態における撮像素子134の間引きを行うための走査回路の一例を模式的に示す図である。図17(a)には、3種類の走査回路104乃至106を示し、図17(b)には、1/N間引き走査回路の構成例を示す。また、図17に示す例では、全画素読み出し、1/2間引き読み出し、1/4間引き読み出しの3種類の画素間引き率に対応するための撮像素子の走査回路について、撮像素子の横方向画素数が1024個の場合を例にして説明する。
図17(a)に示すように、走査回路104は、1024本の出力信号線(scan_a[n(0≦n≦1023:nは整数)])を備え、各信号線を1本ずつenable状態にした後にdisable状態にする1024to1走査回路である。また、走査回路105は、512本の出力信号線(scan_b[n(0≦n≦511:nは整数)])を備え、各信号線を1本ずつenable状態にした後にdisable状態にする512to1走査回路である。また、走査回路106は、256本の出力信号線(scan_c[n(0≦n≦255:nは整数)])を備え、各信号線を1本ずつenable状態にした後にdisable状態にする256to1走査回路である。
図17(b)に示すように、走査回路104の1024本の出力信号線のうち、4の倍数の番号の信号線には、走査回路105の出力信号線と、走査回路106の出力信号線と、3種類の画素間引き率の何れを選択しているのかを示す制御線とが接続される。この3種類の制御線は、全画素読み出し(sel_1per1)、1/2間引き読み出し(sel_1per2)、および、1/4間引き読み出し(sel_1per4)に対応する制御線である。
また、走査回路104の1024本の出力信号線のうち、4の倍数ではなく、かつ、2の倍数の番号の信号線には、走査回路105の出力信号線と、2種類の画素間引き率の何れを選択しているのかを示す制御線とが接続される。この2種類の制御線は、全画素読み出し、および、1/2間引き読み出しに対応する制御線である。
また、走査回路104の1024本の出力信号線のうち、上述した信号線以外の信号線には、全画素読み出しが選択されているのかを示す制御線が接続される。
図17(b)に示す走査回路からの出力(scan_out[n(0≦n≦1023:nは整数)])により、撮像素子134において、全画素読み出し、1/2間引き読み出し、1/4間引き読み出しのそれぞれの間引き処理を行うことが可能となる。
[撮像系の配置構成例]
図18は、本発明の第1の実施の形態における撮像部130および被写体との関係を示す図である。なお、図18では、図3に示す撮像部130における第1の撮像系191乃至第3の撮像系193のうち、光学系131乃至133、撮像素子134乃至136のみを示し、他の構成については省略する。また、図18では、撮像対象となる被写体を被写体面300とし、第1の撮像系191の光軸194が被写体面300と直交するように、携帯電話装置100が配置されている場合を模式的に示す。
撮像部130において、第1の撮像系191の光軸194と、第2の撮像系192の光軸195とのなす角をθ0とする。同様に、第1の撮像系191の光軸194と、第3の撮像系193の光軸196とのなす角をθ0とする。なお、第3の撮像系193は、第1の撮像系191の光軸194を挟んで、第2の撮像系192と線対象の位置となるように配置される。
また、第1の撮像系191において、撮像素子134に入射される入射光路の最も外側の線と、光軸194とがなす角度をθ1とする。また、第2の撮像系192において、撮像素子135に入射される入射光路の最も外側の線と、光軸195とがなす角度をθ2とする。同様に、第3の撮像系193において、撮像素子136に入射される入射光路の最も外側の線と、光軸196とがなす角度をθ2とする。例えば、図18に示すように、撮像素子134における受光面の水平方向の幅が、撮像素子135および136における受光面の水平方向の幅よりも小さい。このため、撮像素子134に入射される画角2×θ1は、撮像素子135および136に入射される画角2×θ2よりも小さい。
ここで、撮像素子134に入射される画角2×θ1により、被写体面300の撮像範囲301が特定される。同様に、撮像素子135に入射される画角2×θ2により、被写体面300の撮像範囲302が特定され、撮像素子136に入射される画角2×θ2により、被写体面300の撮像範囲303が特定される。本発明の第1の実施の形態では、撮像素子134乃至136により生成される画像を合成し、パノラマ画像を生成する。このため、被写体面300の撮像範囲301と、被写体面300の撮像範囲302との一部が重なるように、各光軸のなす角が設定される。具体的には、撮像範囲301および302の一部が重なるように、第1の撮像系191の光軸194と、第2の撮像系192の光軸195とのなす角θ0と、第1の撮像系191の光軸194と、第3の撮像系193の光軸196とのなす角θ0とが設定される。なお、光軸194乃至196は同一平面に含まれる。また、光軸194乃至196が1点(交点P0)で交わるように、第1の撮像系191乃至第3の撮像系193が配置される。
ここで、第1の撮像系191のレンズ中心をR1とし、第2の撮像系192のレンズ中心をR2とし、第3の撮像系193のレンズ中心をR3とする。また、レンズ中心R1と交点P0との間の距離をL11とし、レンズ中心R2と交点P0との間の距離をL21とし、レンズ中心R3と交点P0との間の距離をL31とする。この場合に、第1の撮像系191乃至第3の撮像系193は、距離L11、L21およびL31が等しくなるように配置することが好ましい。
[台形歪みの補正例]
図19および図20は、本発明の第1の実施の形態における撮像部130における撮像系と、これらの撮像対象となる被写体との関係を模式的に示す図である。図19(a)には、撮像部130による撮像対象となる被写体310を模式的に示す。この被写体310は、図18に示す被写体面300に対応する被写体であるものとする。また、被写体310に対応する範囲を矩形で示し、この矩形内を格子状にして模式的に示す。
図20(a)には、撮像部130による撮像対象となる被写体311乃至313を模式的に示す。被写体311は、図19(a)に示す被写体310のうち第1の撮像系191に対応する被写体であるものとする。同様に、被写体312は、被写体310のうち第2の撮像系192に対応する被写体であり、被写体313は、被写体310のうち第3の撮像系193に対応する被写体であるものとする。また、被写体311乃至313のうち、被写体311の水平方向における両方の端部と、被写体312および313の水平方向における一の端部とが重複する。
図19(b)および図20(b)には、撮像部130における撮像系を示す。なお、図19(b)および図20(b)に示す例は、符号等を省略した点以外の点は、図18に示す例と同一である。
図21は、本発明の第1の実施の形態における撮像部130における撮像系と、これらにより生成される撮像画像との関係を模式的に示す図である。図21(a)には、撮像部130により生成される撮像画像314乃至316を模式的に示す。これらの撮像画像314乃至316は、図20(a)に示す被写体311乃至313に対応する撮像画像であり、被写体311乃至313内に示す格子状の矩形を模式的に示す。
図21(a)に示すように、第2の撮像系192および第3の撮像系193の光軸195および196が被写体面300に対して直交していないため、撮像画像315および316には、台形歪みが発生する。この台形歪みについては、図22を参照して詳細に説明する。
図22は、本発明の第1の実施の形態における撮像部130における撮像系と、これらの撮像対象となる被写体との関係を模式的に示す図である。なお、図22では、説明の容易のため、第3の撮像系193に関する構成を省略して、第1の撮像系191および第2の撮像系192のみを示す。また、図22に示す例は、第3の撮像系193に関する構成を省略した点以外の点は、図18に示す例と略同一である。また、交点P0、角θ0、θ1およびθ2、レンズ中心R1およびR2、距離L11については、図18に示す例と同一であるため、同一の符号を付して示す。
図22において、第1の撮像系191の光軸194と、被写体面300との交点をS11とする。また、第1の撮像系191の画角の右側外形線と、被写体面300との交点をS12とし、第1の撮像系191の画角の左側外形線と、被写体面300との交点をS13とする。
また、交点S11を含み、かつ、光軸194と直交する平面であって、第1の撮像系191に入射される平面状の被写体領域を被写体面S10とする。
また、第2の撮像系192の光軸195と、被写体面300との交点をS21とし、第2の撮像系192の画角の右側外形線と、被写体面300との交点をS32とし、第2の撮像系192の画角の左側外形線と、被写体面300との交点をS43とする。
また、交点S21を含み、かつ、光軸195と直交する平面であって、第2の撮像系192に入射される平面状の被写体領域を被写体面S20とする。
また、交点S32を含み、かつ、光軸195と直交する平面であって、第2の撮像系192に入射される平面状の被写体領域を被写体面S30とする。
また、交点S43を含み、かつ、光軸195と直交する平面であって、第2の撮像系192に入射される平面状の被写体領域を被写体面S40とする。
また、被写体面S30と光軸195との交点をS31とし、被写体面S40と光軸195との交点をS41とする。
また、第2の撮像系192の画角の右側外形線と、被写体面S20との交点をS22とし、第2の撮像系192の画角の右側外形線と、被写体面S40との交点をS42とする。
また、第2の撮像系192の画角の左側外形線と、被写体面S20との交点をS23とし、第2の撮像系192の画角の右側外形線と、被写体面S30との交点をS33とする。
また、第2の撮像系192のレンズ中心R2を通りかつ被写体面300に垂直な線分197と、被写体面300との交点をS51とする。
例えば、画角の左端の点S43を含む被写体面S40と、画角の右端の点S32を含む被写体面S30とを比較すると、被写体面S40は被写体面S30よりもレンズ中心R2から遠い位置に存在する。このため、被写体面S40が撮像される場合には、被写体面S30が撮像される場合よりも広い領域が撮像される。例えば、被写体面S40上と、被写体面S30上に同じ長さの線分を被写体として配置した場合を想定する。この場合には、被写体面S30について生成された撮像画像と、被写体面S40について生成された撮像画像とを比較すると、被写体面S40について生成された撮像画像に含まれる線分の方が短くなる。
このため、例えば、図20(a)に示す被写体312が第2の撮像系192により撮像される場合には、図21(a)に示す撮像画像315のように、被写体312に対応する領域が台形の形状となる。すなわち、図21(a)に示す例では、撮像画像315において、被写体312に対応する矩形のうち、左側の辺が右側の辺よりも短くなる。
同様に、図20(a)に示す被写体313が第3の撮像系193により撮像される場合には、図21(a)に示す撮像画像316のように、被写体313に対応する領域が台形の形状となる。このように、3眼の撮像部により生成された撮像画像には、台形歪みが発生する。そこで、以下では、撮像画像の台形歪みを補正する台形歪み補正方法について説明する。
ここで、交点S11とレンズ中心R1との距離をL12とし、交点S13とレンズ中心R1との距離、および、交点S12とレンズ中心R1との距離をL13とする。
また、交点S21とレンズ中心R2との距離をL22とし、交点S31とレンズ中心R2との距離をL30とし、交点S41とレンズ中心R2との距離をL40とする。
また、交点S32とレンズ中心R2との距離をL23とし、交点S43とレンズ中心R2との距離をL24とし、交点S51とレンズ中心R2との距離をL51とする。なお、距離L61乃至L66については、図24を参照して説明する。
ここで、三角関数の公式により次式が成り立つ。
L21+L22=L11+L22=(L11+L12)/cosθ0
この式により、次の式1が求められる。なお、L11=L21である。
L22={(L11+L12)/cosθ0}−L11 …式1
また、距離L51については、三角関数の公式と式1により、次の式2が求められる。
L51=L22×cosθ0
=[{(L11+L12)/cosθ0}−L11)]×cosθ0 …式2
また、距離L23については、三角関数の公式と式2により、次の式3が求められる。
L23=L51/cos(θ2−θ0)
=(L22×cosθ0)/cos(θ2−θ0) …式3
また、距離L30については、三角関数の公式と式3により、次の式4が求められる。
L30=L23×cosθ2
={(L22×cosθ0)/cos(θ2−θ0)}×cosθ2
=([({(L11+L12)/cosθ0}−L11)×cosθ0]/cos(θ2−θ0)])×cosθ2 …式4
ここで、第1の撮像系191の光軸194における距離L11およびL12が決定されると、式4を用いることにより、距離L30を求めることができる。このように距離L30を求めることにより、距離L12に対する距離L30の比の値XR(=L12/L30)を求めることができる。なお、XR<1である。
また、距離L24については、三角関数の公式と式2により、次の式5が求められる。
L24=L51/cos(θ2+θ0)
=(L22×cosθ0)/cos(θ2+θ0) …式5
また、距離L40については、三角関数の公式と式1および式5により、次の式6が求められる。
L40=L24×cosθ2
={(L22×cosθ0)/cos(θ2+θ0)}×cosθ2
=[[{(L11+L12)/cosθ0−L11}×cosθ0]/cos(θ2+θ0)]×cosθ2 …式6
ここで、第1の撮像系191の光軸194における距離L11およびL12が決定されると、式6を用いることにより、距離L40を求めることができる。このように距離L40を求めることにより、距離L12に対する距離L40の比の値XR(=L12/L40)を求めることができる。なお、XR>1である。
次に、比の値XRおよびXLを用いて、台形歪みを補正する補正方法について説明する。
図21(a)に示す撮像画像315について、右辺の長さがXR倍となり、左辺の長さがXL倍となるように各座標を変換する。すなわち、撮像画像315における右辺側については、右辺の長さがXR倍となるように、矢印321方向に縮小される。一方、撮像画像315における左辺側については、左辺の長さがXL倍となるように、矢印322方向に拡大される。このように、補正がされた補正画像317を図23(a)に示す。
図23は、本発明の第1の実施の形態における撮像部130における撮像系と、これらにより生成された撮像画像および補正後の補正画像との関係を模式的に示す図である。図23(a)には、撮像部130により生成される撮像画像314と、図21(a)に示す撮像画像315および316が補正された補正画像317および318とを模式的に示す。なお、図23(b)に示す例は、符号等を省略した点以外の点は、図18に示す例と同一である。
上述したように、図21(a)に示す撮像画像315について、右辺の長さがXR倍となり、左辺の長さがXL倍となるように各座標を変換することにより、図23(a)に示す補正画像317が生成される。このように生成された補正画像317は、外形が台形の画像になる。そこで、補正画像317における中央部を長方形に切り出すことにより、台形歪みが補正された画像325(太線で示す)を取得することができる。
同様に、図21(a)に示す撮像画像316について、左辺の長さがXR倍となり、右辺の長さがXL倍となるように各座標を変換することにより、図23(a)に示す補正画像318が生成される。そして、補正画像318における中央部を長方形に切り出すことにより、台形歪みが補正された画像326(太線で示す)を取得することができる。なお、撮像画像の台形歪み補正処理は、画像合成処理部224により行われる。
また、このような台形歪み補正を行う場合には、例えば、台形に歪んだ撮像画像における各画素の座標を計測し、比の値XRおよびXLを予め求めておく。そして、予め求められた比の値XRおよびXLを用いて、台形歪み補正処理を携帯電話装置100に内蔵されているCPU等の演算装置を用いてソフトウエア的に求めることができる。
なお、この例では、3眼撮像動作により発生する撮像画像の台形歪みを補正する補正方法の一例について説明したが、他の台形歪み補正方法(例えば、特開平08−307770号公報参照。)により補正を行うようにしてもよい。
[撮像画像の合成例]
図24は、本発明の第1の実施の形態における画像合成処理部224が合成画像を生成する場合における合成の流れを模式的に示す図である。この例では、3つの撮像系の光軸がなす角度(輻輳角)に基づいて、3つの撮像系により生成された3つの撮像画像を合成する例を示す。すなわち、2つの撮像系により生成された2つの撮像画像のうち、重なり合う部分については輻輳角に基づいて何れか一方を切除し、この切除後に2つの撮像画像を合成する。
図24(a)には、撮像部130における第1の撮像系191乃至第3の撮像系193により生成された撮像画像314、補正画像317および318と示す。なお、撮像画像314、補正画像317および318は、図23に示すものと同一である。図24(a)に示すように、台形歪みの補正処理により、台形歪みが補正された撮像画像314、補正画像317および318が取得される。
ここで、上述したように、補正画像317の右端部の領域と、撮像画像314の左端部の領域とには同一の被写体が含まれる。また、補正画像318の左端部の領域と、撮像画像314の右端部の領域とには同一の被写体が含まれる。そこで、以下では、これらの同一の被写体が含まれる領域の算出方法について説明する。
ここで、図22において、交点S11と交点S21との距離をL61とし、交点S11と交点S13との距離をL62とし、交点S51と交点S21との距離をL63とする。また、交点S13と交点S51との距離をL64とし、交点S32と交点S51との距離をL65とし、交点S32と交点S13との距離をL66とする。なお、距離L66は、第1の撮像系191により生成された撮像画像と、第2の撮像系192により生成された撮像画像とのうち、同一の被写体が含まれる領域を特定するための距離である。第1の撮像系191により生成された撮像画像の左端部の領域と、第2の撮像系192により生成された撮像画像の右端部の領域との共通領域である。
ここで、三角関数の公式により、次の式7および式8が成立する。
L61=(L11+L12)×tanθ0 …式7
L62=L12×tanθ1 …式8
また、三角関数の公式と式2により、次の式9が求められる。
L63=L51×tanθ0
=[{(L11+L12)/cosθ0}−L11]×cosθ0×tanθ0 …式9
また、式7乃至式8を用いて、次の式10が求められる。
L64=L61−L62−L63
={(L11+L12)×tanθ0}−(L12×tanθ1)−{(L11+L12)/cosθ0}−L11)×cosθ0×tanθ0 …式10
また、三角関数の公式と式2により、次の式11が求められる。
L65=L51×tan(θ2−θ0)
=[{(L11+L12)/cosθ0}−L11]×cosθ0×tan(θ2−θ0) …式11
以上で求められた式10および式11を用いて、次の式12が求められる。
L66=L65−L64
={[{(L11+L12)/cosθ0}−L11]×cosθ0×tan(θ2−θ0)}−{{(L11+L12)×tanθ0}−(L12×tanθ1)−{(L11+L12)/cosθ0}−L11)×cosθ0×tanθ0} …式12
ここで、第1の撮像系191の光軸194における距離L11およびL12が決定されると、式12を用いることにより、距離L66を求めることができる。また、第1の撮像系191により生成された撮像画像の右端部の領域と、第3の撮像系193により生成された撮像画像の左端部の領域との共通領域についても同様に求めることができる。
図24(b)には、撮像画像314、補正画像317および318のうち、合成対象となる領域を示す。例えば、第1の撮像系191により生成された撮像画像314について、式12を用いて算出された距離L66に相当する領域を削除する。同様に、撮像画像314について、撮像画像314の右端部について算出された共通領域を削除する。図24(b)では、両端部の共通領域が削除された後の画像327の外形を太線で示す。
図24(c)には、撮像画像314、補正画像317および318を用いて生成されたパノラマ画像330を示す。図24(b)に示すように、撮像画像314において両端部の画像が削除された後に、この削除後の画像327と、補正画像317および318とを用いてパノラマ画像が生成される。例えば、画像327の左端に補正画像317が連結され、画像327の右端に補正画像318が連結されてパノラマ画像330が生成される。
図25は、本発明の第1の実施の形態における画像合成処理部224が合成画像を生成する場合における合成の流れを模式的に示す図である。図25に示す例は、図24の変形であり、画像合成の際に削除される領域を含む画像が異なる。すなわち、図25(b)に示すように、第2の撮像系192により生成された撮像画像に対応する補正画像317について、式12を用いて算出された距離L66に相当する領域(右端部の領域)を削除する。同様に、補正画像318について、その左端部について算出された共通領域を削除する。図25(b)では、共通領域が削除された後の画像332および333の外形を太線で示す。
図25(c)には、画像331乃至333を用いて生成されたパノラマ画像330を示す。図25(b)に示すように、例えば、画像331の左端に画像332が連結され、画像331の右端に画像333が連結され、パノラマ画像330が生成される。
図26は、本発明の第1の実施の形態における画像合成処理部224が合成画像を生成する場合における合成の流れを模式的に示す図である。図26に示す例は、図24の変形であり、画像合成の際に削除される領域を含む画像が異なる。すなわち、図26(b)に示すように、第1の撮像系191により生成された撮像画像314について、式12を用いて算出された距離L66の半分に相当する領域を削除する。また、第2の撮像系192により生成された撮像画像に対応する補正画像317について、式12を用いて算出された距離L66の半分に相当する領域(右端部の領域)を削除する。
同様に、撮像画像314について、撮像画像314の右端部について算出された共通領域の半分を削除し、第3の撮像系193により生成された撮像画像に対応する補正画像318について、共通領域の半分に相当する領域(左端部の領域)を削除する。図26(b)では、共通領域が削除された後の画像334乃至336の外形を太線で示す。
図26(c)には、画像334乃至336を用いて生成されたパノラマ画像330を示す。図26(b)に示すように、例えば、画像334の左端に画像335が連結され、画像334の右端に画像336が連結され、パノラマ画像330が生成される。このように、各画像の一部を削除することにより、適切に画像を合成することができる。
なお、これらの画像合成処理は、画像合成処理部224により行われる。また、図8では、画像信号処理部220において、画像合成処理部224がYC変換処理部223の後段、かつ、シャープネス処理部225の前段に配置されている例を示す。ただし、画像信号処理部220の他の段階で画像合成処理を行うようにしてもよい。例えば、台形歪み補正処理および画像合成処理については、デモザイク処理部222の前段で行うようにしてもよい。また、例えば、台形歪み補正処理および画像合成処理については、デモザイク処理部222の後段、かつ、YC変換処理部223の前段で行うようにしてもよい。また、例えば、台形歪み補正処理および画像合成処理については、色調整処理部226の後段で行うようにしてもよい。
また、このような画像合成処理を行う場合には、例えば、台形歪み補正後の画像について、各画像の重複領域を予め計測しておく。そして、この計測された値を用いて、画像の重複領域の削除処理を携帯電話装置100に内蔵されているCPU等の演算装置を用いてソフトウエア的に求めることができる。
この例では、輻輳角に基づいて3つの撮像画像を合成する例について説明したが、例えば、他の画像合成方法を用いて、画像合成処理を行うようにしてもよい。例えば、2つの撮像系により生成された2つの画像のうち、重複する部分については、2つの画像をパターンマッチングさせ、このパターンマッチングにより2つの画像を合成する画像合成方法を用いることができる。また、2つの撮像系により生成された2つの画像における濃度レベルの変化を求め、この濃度レベルの変化に基づいて重複する部分を求めて2つの画像を合成する画像合成方法を用いることができる。
[撮像モードの制御例]
次に、撮像素子134乃至136から画像データを読出し、その画像を表示部140に表示する例について説明する。
図27は、本発明の第1の実施の形態における携帯電話装置100による撮像処理の撮像対象となる被写体500を示す図である。被写体500は、例えば、山を背景にして立っている人501、502やその周辺の車503、家504等を含む被写体である。
[第2の筐体の横長状態における撮像モードの制御例]
最初に、第2の筐体120を横長状態とした場合における各撮像素子からの画像データの読出方法および読み出された画像データの表示方法について説明する。また、本発明の第1の実施の形態では、第2の筐体120を横長状態とした場合における撮像モードとして5種類の撮像モードを示す。
[3眼横長広角画像撮像モードの制御例]
図28は、本発明の第1の実施の形態における撮像素子134乃至136における画像データの読出方法の一例(第1の読出方法)を模式的に示す図である。
図28(a)には、撮像素子134乃至136において、画素データが読み出される画素データ読出領域403乃至405を示す。この画素データ読出領域403乃至405は、図4(b)に示す画素データ読出領域403乃至405と同様である。このため、同一の符号を付して共通する部分についての説明を省略する。また、以下では、撮像素子134乃至136における画素データ読出領域についてはその輪郭を太線で示す。ここで、画素データ読出領域403乃至405は、図13に示すレジスタ370および380に保持されている設定内容に基づいて決定される領域である。また、この例では、画素データ読出領域403乃至405に含まれる各画素のうち、全画素を読み出す例について説明する。
ここで、本発明の第1の実施の形態では、例えば、撮像素子134として、横1440画素×縦1920画素の画素数を有し、画素の横対縦比が3:4となる撮像素子を用いる例を示す。また、撮像素子135および136として、横1920画素×縦1440画素の画素数を有し、画素の横対縦比が4:3となる撮像素子を用いる例を示す。
この読出し動作を行う場合における撮像素子134乃至136の画素データの読出に関する各設定値が、図13に示すレジスタ370および380に保持されている。具体的には、次の(11)乃至(17)の設定値が、複眼全画素読出し撮像時の縦方向撮像領域設定レジスタ374および複眼全画素読出し撮像時の横方向撮像領域設定レジスタ384に保持されている。
(11)撮像素子134において読み出す領域(画素データ読出領域403)の水平方向の画素数H10
(12)撮像素子134において読み出す領域(画素データ読出領域403)の垂直方向の画素数V11
(13)撮像素子135および136において読み出す領域(画素データ読出領域404および405)の水平方向の画素数H11
(14)撮像素子135および136において読み出す領域(画素データ読出領域404および405)の垂直方向の画素数V11
(15)撮像素子134乃至136において、画素が配列されているアレイ端から読出開始位置までの水平方向の画素数および垂直方向までの画素数
(16)撮像素子134乃至136において、垂直同期信号から垂直方向の画素読み出し開始までの垂直バックポーチ期間
(17)撮像素子134乃至136において、水平同期信号から水平方向の画素読み出し開始までの水平バックポーチ期間
これらの設定値は、予め設定しておくようにしてもよく、ユーザ操作により、信号線L2を介して、複眼全画素読出し撮像時の縦方向撮像領域設定レジスタ374および複眼全画素読出し撮像時の横方向撮像領域設定レジスタ384に設定されるようにしてもよい。
図28(b)には、画素データ読出領域403乃至405における読出開始位置411乃至413および読出走査方向を示す。この読出開始位置411乃至413および読出走査方向は、図6(a)に示す読出開始位置411乃至413および読出走査方向と同様である。このため、同一の符号を付して共通する部分についての説明を省略する。
このように、撮像素子134乃至136から読み出された画像データについては、上述したように、各画像の重複部分を合成して合成画像を生成する。しかしながら、以下では、説明の容易のため、各画像の重複部分については考慮せずに説明する。この例では、横1440画素×縦1920画素の撮像素子134から、その一部の画像データ(横1440画素×縦1440画素)が読み出され、横1920画素×縦1440画素の撮像素子135および136から、その全部の画像データが読み出される。このように読み出された画像データを合成する場合には、横対縦の比が11:3の約760万画素(横5280画素×縦1440画素)の画像が生成される。このように生成された合成画像の表示例を図29に示す。
図29は、本発明の第1の実施の形態における表示部140における画像の表示例を示す図である。図29に示す例は、図28に示す第1の読出方法により読み出された画像データを表示する表示例である。
図29(a)には、携帯電話装置100による撮像処理の撮像対象となる被写体500を示す。なお、被写体500は、図27に示すものと同一である。ここで、被写体500における撮像範囲511乃至513は、図4(a)に示す撮像素子134乃至136の画素データ読出可能領域400乃至402に対応する撮像範囲であるものとする。すなわち、撮像範囲511は、撮像素子134の画素データ読出可能領域400に対応し、撮像範囲512は、撮像素子135の画素データ読出可能領域401に対応し、撮像範囲513は、撮像素子136の画素データ読出可能領域402に対応するものとする。また、撮像範囲511乃至513のうち、図28に示す画素データ読出領域403乃至404に対応する領域の輪郭を太線で示す。
図29(b)には、被写体500を撮像対象とした場合に、図28に示す第1の読出方法により読み出された画像データを表示部140に表示する表示例を示す。なお、図29(b)には、携帯電話装置100を構成する第1の筐体110および第2の筐体120のうち、第1の筐体110を省略して示す。また、以下に示す表示例でも、第1の筐体110を省略して示す。
上述したように、表示部140の横対縦の比は4:3であるため、横対縦の比が11:3である画像を表示部140の全画面に表示させることができない。そこで、表示部140における各画素が正方格子である場合には、例えば、図28に示す第1の読出方法により読み出されて生成された横対縦の比が11:3の画像を解像度変換して表示させる。例えば、その画像の横方向の画素数が表示部140の横方向の画素数と略同一となり、横対縦の比が11:3となるように、画像を水平方向および垂直方向に解像度変換する。
図29(b)に示すように、解像度変換がされた合成画像を、表示部140における垂直方向の中央部分(撮像画像表示領域521)に表示させる。ここで、表示された画像の上下の余白部分(余白画像表示領域522および523)には、例えば、単一色の画像を表示させることができる。
なお、表示部140の各画素が正方格子でない場合には、表示部140に表示させた時に画像の形状が異常とならないように、表示部140の画素の縦横の長さの比を用いて解像度変換の倍率を変換し、この変換された画像を表示させることができる。
図29(c)には、撮像素子134乃至136から読み出された画素データを表示する場合における表示部140における走査方向を示す。この走査方向については、図6(c)に示す例と同様であるため、ここでの説明を省略する。
[3眼横長狭角画像撮像モードの制御例]
図30は、本発明の第1の実施の形態における撮像素子134乃至136における画像データの読出方法の一例(第2の読出方法)を模式的に示す図である。
図30(a)には、撮像素子134乃至136において、画素データが読み出される画素データ読出領域421乃至423を示す。第2の読出方法は、デジタルスチルカメラ等の撮像装置のユーザが広く慣れ親しんでいる横長の画像を読み出す方法であり、例えば、撮像素子134の一部の領域を読み出すとともに、撮像素子135および136の一部の領域を読み出す。
画素データ読出領域421は、例えば、図28に示す画素データ読出領域403と同一とする(例えば、横1440画素×縦1440画素の領域)。また、画素データ読出領域422および423は、例えば、垂直方向の長さV21を、画素データ読出可能領域401および402の垂直方向の長さV20と同一とする。また、画素データ読出領域422および423は、例えば、水平方向の長さH21を、画素データ読出可能領域401および402の水平方向の長さの1/6とする。すなわち、画素データ読出領域422および423は、例えば、横240画素×縦1440画素の領域とする。また、画素データ読出領域421乃至423は、図13に示すレジスタ370および380に保持されている設定内容に基づいて決定される領域である。また、この例では、画素データ読出領域421乃至423に含まれる各画素のうち、全画素を読み出す例について説明する。ここで、撮像素子134乃至136には、いわゆる、倒立像が結像されるため、撮像素子135および136の画素データ読出領域422および423は、撮像素子134の反対側の領域となる。
この読出し動作を行う場合における撮像素子134乃至136の画素データの読出に関する各設定値が、図13に示すレジスタ370および380に保持されている。具体的には、次の(21)乃至(27)の設定値が、複眼全画素読出し撮像時の縦方向撮像領域設定レジスタ374および複眼全画素読出し撮像時の横方向撮像領域設定レジスタ384に保持されている。
(21)撮像素子134において読み出す領域(画素データ読出領域421)の水平方向の画素数H20
(22)撮像素子134において読み出す領域(画素データ読出領域421)の垂直方向の画素数V21
(23)撮像素子135および136において読み出す領域(画素データ読出領域422および423)の水平方向の画素数H21
(24)撮像素子135および136において読み出す領域(画素データ読出領域422および423)の垂直方向の画素数V21
(25)撮像素子134乃至136において、画素が配列されているアレイ端から読出開始位置までの水平方向の画素数および垂直方向までの画素数
(26)撮像素子134乃至136において、垂直同期信号から垂直方向の画素読み出し開始までの垂直バックポーチ期間
(27)撮像素子134乃至136において、水平同期信号から水平方向の画素読み出し開始までの水平バックポーチ期間
これらの設定値は、予め設定しておくようにしてもよく、ユーザ操作により、信号線L2を介して、複眼全画素読出し撮像時の縦方向撮像領域設定レジスタ374および複眼全画素読出し撮像時の横方向撮像領域設定レジスタ384に設定されるようにしてもよい。
図30(b)には、画素データ読出領域421乃至423における読出開始位置424乃至426および読出走査方向を示す。この例では、横1440画素×縦1920画素の撮像素子134から、その一部の画像データ(横1440画素×縦1440画素)が読み出される。また、横1920画素×縦1440画素の撮像素子135および136から、その一部の画像データ(横240画素×縦1440画素)が読み出される。このように読み出された画像データを合成する場合には、横対縦の比が4:3の約276万画素(横1920画素×縦1440画素)の画像が生成される。このように生成された合成画像の表示例を図29に示す。
このように、画素データ読出領域421乃至423は、撮像素子135および136における読出領域の大きさを、第1の読出方法よりも小さくした例である。そして、第2の読出方法により読み出された画像データを合成して生成される合成画像は、横対縦の比が4:3(16:9等とするようにしてもよい)となる。このため、現在、市販されている撮像装置における記録用画像の横対縦の比と同じ横対縦比の合成画像を生成して表示させることができる。
図31は、本発明の第1の実施の形態における表示部140における画像の表示例を示す図である。図31に示す例は、図30に示す第2の読出方法により読み出された画像データを表示する表示例である。
図31(a)には、携帯電話装置100による撮像処理の撮像対象となる被写体500を示す。図31(a)に示す例は、画素データ読出領域が変更された点以外は、図29(a)に示す例と略同様である。このため、図29(a)と共通する部分には同一の符号を付して、その部分についての説明を省略する。なお、撮像範囲511乃至513のうち、図30に示す画素データ読出領域421乃至423に対応する領域の輪郭を太線で示す。
図31(b)には、被写体500を撮像対象とした場合に、図30に示す第2の読出方法により読み出された画像データを表示部140に表示する表示例を示す。
上述したように、表示部140の横対縦の比は4:3であり、横対縦の比が4:3であるため、合成画像を表示部140の全画面に表示させることができる。例えば、合成画像のサイズが表示部140の画素数と同一となるように解像度変換し、表示部140に表示させる。また、この場合には、図29(b)に示す余白画像表示領域522および523が不要となる。
なお、図30に示す第2の読出方法により読み出されて生成された合成画像の横対縦の比が、表示装置の横対縦の比と同じでない場合には、第1の読出方法と同様に表示させることができる。この場合に、例えば、表示された合成画像の上下の余白部分(余白画像表示領域)には、例えば、単一色を表示させる。
図31(c)には、撮像素子134乃至136から読み出された画素データを表示する場合における表示部140における走査方向を示す。この走査方向については、図6(c)に示す例と同様であるため、ここでの説明を省略する。
[単眼横長画像撮像モードの制御例]
図32は、本発明の第1の実施の形態における撮像素子134乃至136における画像データの読出方法の一例(第3の読出方法)を模式的に示す図である。
図32(a)には、撮像素子134乃至136において、画素データが読み出される画素データ読出領域431を示す。第3の読出方法は、デジタルスチルカメラ等の撮像装置のユーザが広く慣れ親しんでいる横長の画像を読み出す方法であり、例えば、撮像素子134の横方向の略全ての領域を読み出すとともに、縦方向では横方向よりも画素数の少ない領域を読み出す。なお、撮像素子135および136からの読出しは行わない。
画素データ読出領域431は、例えば、水平方向の長さH30を、画素データ読出可能領域400の水平方向の長さと同一とし、垂直方向の長さV30を、画素データ読出可能領域400の垂直方向の長さの半分程度とする。画素データ読出領域431は、例えば、横1440画素×縦1080画素の領域とする。また、画素データ読出領域431は、図13に示すレジスタ370および380に保持されている設定内容に基づいて決定される領域である。また、この例では、画素データ読出領域431に含まれる各画素のうち、全画素を読み出す例について説明する。
この読出し動作を行う場合における撮像素子134の画素データの読出に関する各設定値が、図13に示すレジスタ370および380に保持されている。具体的には、次の(31)乃至(35)の設定値が、単眼全画素読出し撮像時の縦方向撮像領域設定レジスタ371および単眼全画素読出し撮像時の横方向撮像領域設定レジスタ381に保持されている。
(31)撮像素子134において読み出す領域(画素データ読出領域431)の水平方向の画素数H30
(32)撮像素子134において読み出す領域(画素データ読出領域431)の垂直方向の画素数V30
(33)撮像素子134において、画素が配列されているアレイ端から読出開始位置までの水平方向の画素数および垂直方向までの画素数
(34)撮像素子134において、垂直同期信号から垂直方向の画素読み出し開始までの垂直バックポーチ期間
(35)撮像素子134において、水平同期信号から水平方向の画素読み出し開始までの水平バックポーチ期間
これらの設定値は、予め設定しておくようにしてもよく、ユーザ操作により、信号線L2を介して、単眼全画素読出し撮像時の縦方向撮像領域設定レジスタ371および単眼全画素読出し撮像時の横方向撮像領域設定レジスタ381に設定されるようにしてもよい。
図32(b)には、画素データ読出領域431における読出開始位置432および読出走査方向を示す。この例では、横1440画素×縦1920画素の撮像素子134から、その一部の画像データ(横1440画素×縦1080画素)が読み出される。また、撮像素子135および136からの読出は行われない。このように読み出された画像データを用いて、横対縦の比が4:3の約156万画素(横1440画素×縦1080画素)の画像が生成される。このように生成された画像の表示例を図33に示す。
このように、画素データ読出領域431は、撮像素子134のみから読出しを行い、撮像素子135および136からの読出しを行わない例である。そして、第3の読出方法により読み出された画像データに基づいて生成される画像は、第2の読出方法と同様に、横対縦の比が4:3(16:9等とするようにしてもよい)となる。このため、現在、市販されている撮像装置における記録用画像の横対縦の比と同じ横対縦比の画像を生成して表示させることができる。また、例えば、一般に広く普及しているVGA(Video Graphics Array)画像(横640画素×縦480画素)よりも高精細な画像を、撮像素子135および136を動作させずに生成することができる。これにより、消費電力を低減させることができる。
図33は、本発明の第1の実施の形態における表示部140における画像の表示例を示す図である。図33に示す例は、図32に示す第3の読出方法により読み出された画像データを表示する表示例である。
図33(a)には、携帯電話装置100による撮像処理の撮像対象となる被写体500を示す。図33(a)に示す例は、画素データ読出領域が変更された点以外は、図29(a)に示す例と略同様である。このため、図29(a)と共通する部分には同一の符号を付して、その部分についての説明を省略する。なお、撮像範囲511乃至513のうち、図32に示す画素データ読出領域431に対応する領域の輪郭を太線で示す。
図33(b)には、被写体500を撮像対象とした場合に、図30に示す第2の読出方法により読み出された画像データを表示部140に表示する表示例を示す。
上述したように、表示部140の横対縦の比は4:3であり、生成された画像の横対縦の比が4:3であるため、画像を表示部140の全画面に表示させることができる。例えば、画像のサイズが表示部140の画素数と同一となるように解像度変換し、表示部140に表示させる。また、この場合には、図29(b)に示す余白画像表示領域522および523が不要となる。
なお、図32に示す第3の読出方法により読み出されて生成された画像の横対縦の比が、表示装置の横対縦の比と同じでない場合には、第1の読出方法と同様に表示させることができる。この場合に、例えば、表示された合成画像の上下の余白部分(余白画像表示領域)には、例えば、単一色を表示させる。
図33(c)には、撮像素子134乃至136から読み出された画素データを表示する場合における表示部140における走査方向を示す。この走査方向については、図6(c)に示す例と同様であるため、ここでの説明を省略する。
[単眼縦長画像撮像モードの制御例]
図34は、本発明の第1の実施の形態における撮像素子134乃至136における画像データの読出方法の一例(第4の読出方法)を模式的に示す図である。
図34(a)には、撮像素子134乃至136において、画素データが読み出される画素データ読出領域435を示す。第4の読出方法は、携帯電話装置のユーザが広く慣れ親しんでいる縦長の画像を読み出す方法であり、例えば、撮像素子134の全ての領域を読み出す。なお、撮像素子135および136からの読出しは行わない。
画素データ読出領域435は、例えば、水平方向の長さH40を、画素データ読出可能領域400の水平方向の長さと同一とし、垂直方向の長さV40を、画素データ読出可能領域400の垂直方向の長さ同一とする。画素データ読出領域435は、例えば、横1440画素×縦1920画素の領域とする。また、画素データ読出領域435は、図13に示すレジスタ370および380に保持されている設定内容に基づいて決定される領域である。また、この例では、画素データ読出領域435に含まれる各画素のうち、全画素を読み出す例について説明する。
この読出し動作を行う場合における撮像素子134の画素データの読出に関する各設定値が、図13に示すレジスタ370および380に保持されている。具体的には、次の(41)乃至(45)の設定値が、単眼全画素読出し撮像時の縦方向撮像領域設定レジスタ371および単眼全画素読出し撮像時の横方向撮像領域設定レジスタ381に保持されている。
(41)撮像素子134において読み出す領域(画素データ読出領域435)の水平方向の画素数H40
(42)撮像素子134において読み出す領域(画素データ読出領域435)の垂直方向の画素数V40
(43)撮像素子134において、画素が配列されているアレイ端から読出開始位置までの水平方向の画素数および垂直方向までの画素数
(44)撮像素子134において、垂直同期信号から垂直方向の画素読み出し開始までの垂直バックポーチ期間
(45)撮像素子134において、水平同期信号から水平方向の画素読み出し開始までの水平バックポーチ期間
これらの設定値は、予め設定しておくようにしてもよく、ユーザ操作により、信号線L2を介して、単眼全画素読出し撮像時の縦方向撮像領域設定レジスタ371および単眼全画素読出し撮像時の横方向撮像領域設定レジスタ381に設定されるようにしてもよい。
図34(b)には、画素データ読出領域435における読出開始位置436および読出走査方向を示す。この例では、横1440画素×縦1920画素の撮像素子134から、その全部の画像データ(横1440画素×縦1920画素)が読み出される。また、撮像素子135および136からの読出は行われない。このように読み出された画像データを用いて、横対縦の比が3:4の約276万画素(横1440画素×縦1920画素)の画像が生成される。このように生成された画像の表示例を図35に示す。
このように、画素データ読出領域435は、撮像素子134から読出しを行い、撮像素子135および136からの読出しを行わない例である。そして、第4の読出方法により読み出された画像データに基づいて生成される画像は、横対縦の比が3:4となる。このため、例えば、一般に広く普及している縦長のVGA画像(横640画素×縦480画素)よりも高精細な画像を、撮像素子135および136を動作させずに生成することができる。これにより、消費電力を低減させることができる。
図35は、本発明の第1の実施の形態における表示部140における画像の表示例を示す図である。図35に示す例は、図34に示す第4の読出方法により読み出された画像データを表示する表示例である。
図35(a)には、携帯電話装置100による撮像処理の撮像対象となる被写体500を示す。図35(a)に示す例は、画素データ読出領域が変更された点以外は、図29(a)に示す例と略同様である。このため、図29(a)と共通する部分には同一の符号を付して、その部分についての説明を省略する。なお、撮像範囲511乃至513のうち、図34に示す画素データ読出領域435に対応する領域の輪郭を太線で示す。
図35(b)には、被写体500を撮像対象とした場合に、図34に示す第4の読出方法により読み出された画像データを表示部140に表示する表示例を示す。
上述したように、表示部140の横対縦の比は4:3であるため、生成された画像の横対縦の比が3:4である画像を表示部140の全画面に表示させることができない。そこで、例えば、第1の読出方法と同様に、横対縦の比が3:4の画像を解像度変換して表示させる。例えば、その画像の縦方向の画素数が表示部140の縦方向の画素数と略同一となり、横対縦の比が3:4となるように、画像を水平方向および垂直方向に解像度変換する。
図35(b)に示すように、解像度変換がされた画像を、表示部140における水平方向の中央部分(撮像画像表示領域527)に表示させる。ここで、表示された画像の左右の余白部分(余白画像表示領域528および529)には、例えば、単一色の画像を表示させることができる。
なお、第4の読出方法により読み出されて生成された画像の横対縦の比が、表示装置の横対縦の比と同じでない場合には、第1の読出方法と同様に表示させることができる。
図35(c)には撮像素子134乃至136から読み出された画素データを表示する場合における表示部140における走査方向を示す。この走査方向については、図6(c)に示す例と同様であるため、ここでの説明を省略する。
[単眼縦長小領域画像撮像モードの制御例]
図36は、本発明の第1の実施の形態における撮像素子134乃至136における画像データの読出方法の一例(第5の読出方法)を模式的に示す図である。
図36(a)には、撮像素子134乃至136において、画素データが読み出される画素データ読出領域437を示す。第5の読出方法は、携帯電話装置のユーザが広く慣れ親しんでいる縦長の画像を読み出す方法であり、例えば、撮像素子134の一部の領域を読み出す。なお、撮像素子135および136からの読出しは行わない。
画素データ読出領域437は、例えば、水平方向の長さH50を、画素データ読出可能領域400の水平方向の長さよりも短くし、垂直方向の長さV50を、画素データ読出可能領域400の垂直方向の長さよりも短くする。画素データ読出領域437は、例えば、横480画素×縦640画素の領域とする。また、画素データ読出領域437は、図13に示すレジスタ370および380に保持されている設定内容に基づいて決定される領域である。また、この例では、画素データ読出領域437に含まれる各画素のうち、全画素を読み出す例について説明する。
この読出し動作を行う場合における撮像素子134の画素データの読出に関する各設定値が、図13に示すレジスタ370および380に保持されている。具体的には、次の(51)乃至(55)の設定値が、単眼全画素読出し撮像時の縦方向撮像領域設定レジスタ371および単眼全画素読出し撮像時の横方向撮像領域設定レジスタ381に保持されている。
(51)撮像素子134において読み出す領域(画素データ読出領域437)の水平方向の画素数H50
(52)撮像素子134において読み出す領域(画素データ読出領域437)の垂直方向の画素数V50
(53)撮像素子134において、画素が配列されているアレイ端から読出開始位置までの水平方向の画素数および垂直方向までの画素数
(54)撮像素子134において、垂直同期信号から垂直方向の画素読み出し開始までの垂直バックポーチ期間
(55)撮像素子134において、水平同期信号から水平方向の画素読み出し開始までの水平バックポーチ期間
これらの設定値は、予め設定しておくようにしてもよく、ユーザ操作により、信号線L2を介して、単眼全画素読出し撮像時の縦方向撮像領域設定レジスタ371および単眼全画素読出し撮像時の横方向撮像領域設定レジスタ381に設定されるようにしてもよい。
図36(b)には、画素データ読出領域437における読出開始位置438および読出走査方向を示す。この例では、横1440画素×縦1920画素の撮像素子134から、その一部の画像データ(横480画素×縦640画素)が読み出される。また、撮像素子135および136からの読出は行われない。このように読み出された画像データを用いて、横対縦の比が3:4の約31万画素(横480画素×縦640画素)の画像が生成される。このように生成された画像の表示例を図37に示す。
このように、画素データ読出領域437は、撮像素子134の一部から読出しを行い、撮像素子135および136からの読出しを行わない例である。また、第5の読出方法により読み出された画像データに基づいて生成される画像は、例えば、第4の読出方法により生成される画像よりも無線伝送に適する画像(すなわち、データ量が少ない画像)である。
図37は、本発明の第1の実施の形態における表示部140における画像の表示例を示す図である。図37に示す例は、図36に示す第5の読出方法により読み出された画像データを表示する表示例である。
図37(a)には、携帯電話装置100による撮像処理の撮像対象となる被写体500を示す。図37(a)に示す例は、画素データ読出領域が変更された点以外は、図29(a)に示す例と略同様である。このため、図29(a)と共通する部分には同一の符号を付して、その部分についての説明を省略する。なお、撮像範囲511乃至513のうち、図36に示す画素データ読出領域437に対応する領域の輪郭を太線で示す。
図37(b)には、被写体500を撮像対象とした場合に、図36に示す第5の読出方法により読み出された画像データを表示部140に表示する表示例を示す。
上述したように、表示部140の横対縦の比は4:3であるため、横対縦の比が3:4である画像を表示部140の全画面に表示させることができない。そこで、例えば、第4の読出方法と同様に、横対縦の比が3:4の画像を解像度変換して表示させる。例えば、その画像の縦方向の画素数が表示部140の縦方向の画素数と略同一となり、横対縦の比が3:4となるように、画像を水平方向および垂直方向に解像度変換する。
図37(b)に示すように、解像度変換がされた画像を、表示部140における水平方向の中央部分(撮像画像表示領域531)に表示させる。ここで、表示された画像の左右の余白部分(余白画像表示領域532および533)には、例えば、単一色の画像を表示させることができる。
なお、第5の読出方法により読み出されて生成された画像の横対縦の比が、表示装置の横対縦の比と同じでない場合には、第1の読出方法と同様に表示させることができる。
図37(c)には、撮像素子134乃至136から読み出された画素データを表示する場合における表示部140における走査方向を示す。この走査方向については、図6(c)に示す例と同様であるため、ここでの説明を省略する。
ここで、撮像素子134乃至136の画素データの読出に関する各設定値は、上述したように、図13に示すレジスタ370および380に保持されるとともに、撮像制御部201に保持される。そして、第2の筐体120が横長状態である場合には、図1等に示す撮像範囲切替スイッチ111がユーザが押下される毎に、第1の読出方法乃至第5の読出方法が切り替えられる。この場合に、撮像範囲切替スイッチ111が押下される毎に、撮像制御部201がその押下を検出し、第1の読出方法乃至第5の読出方法を順次切り替える。また、例えば、携帯電話装置100が起動した直後に、第2の筐体120が横長状態である場合には、第1の読出方法を設定することができる。
[画素間引きおよび画素加算の例]
以上では、第1の読出方法乃至第5の読出方法として、画素データ読出領域に含まれる全ての画素を読み出す例について説明した。しかしながら、使用目的に応じて、高精細な画像が必要でない場合も想定される。そこで、以下では、画素データ読出領域に含まれる各画素のうちの一部を読み出して消費電力を低減させる例について説明する。
以下で示す第6の読出方法乃至第10の読出方法は、撮像素子134乃至136において画素間引き処理を行うことにより、画素データ読出領域に含まれる各画素のうちの一部を読み出す例である。なお、以下での説明は省略するが、撮像素子134乃至136において画素加算処理を行うことにより、画素データ読出領域に含まれる各画素のうちの一部を読み出すようにしてもよい。
[3眼横長広角画像撮像モードの間引き例]
最初に、第6の読出方法について、図28および図29を参照して説明する。第6の読出方法は、第1の読出方法に対応するものであり、図28に示す画素データ読出領域403乃至405において、縦方向で1/2の画素間引き読み出しを行い、横方向で1/2の間引き読出しを行う例である。すなわち、横1440画素×縦1920画素の撮像素子134における画素データ読出領域403から、縦方向および横方向において1/2に間引きされた画像データ(横720画素×縦720画素)が読み出される。また、横1920画素×縦1440画素の撮像素子135および136における画素データ読出領域404および405から、縦方向および横方向において1/2に間引きされた画像データ(横960画素×縦720画素)が読み出される。このように読み出された画像データを合成する場合には、横対縦の比が11:3の約190万画素(横2640画素×縦720画素)の画像が生成される。この画像は、図29に示す例と同様に、水平方向に比較的広い画角であり、かつ、VGA画像よりも高精細な画像である。また、第1の読出方法よりも少ない消費電力により生成することができる。
この読出し動作を行う場合における撮像素子134乃至136の画素データの読出に関する各設定値が、図13に示すレジスタ370および380に保持されている。具体的には、上述した(11)乃至(17)の設定値が、複眼画素間引き読出し撮像時の縦方向撮像領域設定レジスタ375および複眼画素間引き読出し撮像時の横方向撮像領域設定レジスタ385に保持されている。また、水平方向および垂直方向の間引き間隔が、複眼画素間引き読出し撮像時の縦方向画素間引き間隔設定レジスタ376および複眼画素間引き読出し撮像時の横方向画素間引き間隔設定レジスタ386に保持されている。
これらの設定値は、予め設定しておくようにしてもよく、ユーザ操作により、信号線L2を介して設定されるようにしてもよい。
[3眼横長狭角画像撮像モードの間引き例]
次に、第7の読出方法について、図30および図31を参照して説明する。第7の読出方法は、第2の読出方法に対応するものであり、図30に示す画素データ読出領域421乃至423において、縦方向で1/2の画素間引き読み出しを行い、横方向で1/2の間引き読出しを行う例である。すなわち、横1440画素×縦1920画素の撮像素子134における画素データ読出領域421から、縦方向および横方向において1/2に間引きされた画像データ(横720画素×縦720画素)が読み出される。また、横1920画素×縦1440画素の撮像素子135および136における画素データ読出領域422および423から、縦方向および横方向において1/2に間引きされた画像データ(横240画素×縦720画素)が読み出される。このように読み出された画像データを合成する場合には、横対縦の比が4:3の約69万画素(横960画素×縦720画素)の画像が生成される。この画像は、図31に示す例と同様に、水平方向に比較的広い画角であり、かつ、VGA画像よりも高精細な画像である。また、第2の読出方法よりも少ない消費電力により生成することができる。
この読出し動作を行う場合における撮像素子134乃至136の画素データの読出に関する各設定値が、図13に示すレジスタ370および380に保持されている。具体的には、上述した(11)乃至(27)の設定値が、複眼画素間引き読出し撮像時の縦方向撮像領域設定レジスタ375および複眼画素間引き読出し撮像時の横方向撮像領域設定レジスタ385に保持されている。また、水平方向および垂直方向の間引き間隔が、複眼画素間引き読出し撮像時の縦方向画素間引き間隔設定レジスタ376および複眼画素間引き読出し撮像時の横方向画素間引き間隔設定レジスタ386に保持されている。
これらの設定値は、予め設定しておくようにしてもよく、ユーザ操作により、信号線L2を介して設定されるようにしてもよい。
[単眼横長画像撮像モードの間引き例]
次に、第8の読出方法について、図32および図33を参照して説明する。第8の読出方法は、第3の読出方法に対応するものであり、図32に示す画素データ読出領域431において、縦方向で1/2の画素間引き読み出しを行い、横方向で1/2の間引き読出しを行う例である。すなわち、横1440画素×縦1920画素の撮像素子134における画素データ読出領域431から、縦方向および横方向において1/2に間引きされた画像データ(横720画素×縦540画素)が読み出される。このように読み出された画像データを合成する場合には、横対縦の比が4:3の約39万画素(横720画素×縦540画素)の画像が生成される。この画像は、図33に示す例と同一の画角であり、かつ、VGA画像よりも高精細な画像である。また、第3の読出方法よりも少ない消費電力により生成することができる。
この読出し動作を行う場合における撮像素子134の画素データの読出に関する各設定値が、図13に示すレジスタ370および380に保持されている。具体的には、上述した(31)乃至(35)の設定値が、単眼画素間引き読出し撮像時の縦方向撮像領域設定レジスタ372および単眼画素間引き読出し撮像時の横方向撮像領域設定レジスタ382に保持されている。また、水平方向および垂直方向の間引き間隔が、単眼画素間引き読出し撮像時の縦方向画素間引き間隔設定レジスタ373および単眼画素間引き読出し撮像時の横方向画素間引き間隔設定レジスタ383に保持されている。
これらの設定値は、予め設定しておくようにしてもよく、ユーザ操作により、信号線L2を介して設定されるようにしてもよい。
[単眼縦長画像撮像モードの間引き例]
次に、第9の読出方法について、図34および図35を参照して説明する。第9の読出方法は、第4の読出方法に対応するものであり、図34に示す画素データ読出領域435において、縦方向で1/2の画素間引き読み出しを行い、横方向で1/2の間引き読出しを行う例である。すなわち、横1440画素×縦1920画素の撮像素子134における画素データ読出領域435から、縦方向および横方向において1/2に間引きされた画像データ(横720画素×縦960画素)が読み出される。このように読み出された画像データを合成する場合には、横対縦の比が3:4の約69万画素(横720画素×縦960画素)の画像が生成される。この画像は、図35に示す例と同一の画角であり、かつ、VGA画像よりも高精細な画像である。また、第4の読出方法よりも少ない消費電力により生成することができる。
この読出し動作を行う場合における撮像素子134の画素データの読出に関する各設定値が、図13に示すレジスタ370および380に保持されている。具体的には、上述した(31)乃至(35)の設定値が、単眼画素間引き読出し撮像時の縦方向撮像領域設定レジスタ372および単眼画素間引き読出し撮像時の横方向撮像領域設定レジスタ382に保持されている。また、水平方向および垂直方向の間引き間隔が、単眼画素間引き読出し撮像時の縦方向画素間引き間隔設定レジスタ373および単眼画素間引き読出し撮像時の横方向画素間引き間隔設定レジスタ383に保持されている。
これらの設定値は、予め設定しておくようにしてもよく、ユーザ操作により、信号線L2を介して設定されるようにしてもよい。
[単眼縦長小領域画像撮像モードの間引き例]
次に、第10の読出方法について、図36および図37を参照して説明する。第10の読出方法は、第5の読出方法に対応するものであり、図36に示す画素データ読出領域437において、縦方向で1/2の画素間引き読み出しを行い、横方向で1/2の間引き読出しを行う例である。すなわち、横1440画素×縦1920画素の撮像素子134における画素データ読出領域437から、縦方向および横方向において1/2に間引きされた画像データ(横240画素×縦320画素)が読み出される。このように読み出された画像データを合成する場合には、横対縦の比が3:4の約8万画素(横240画素×縦320画素)の画像が生成される。この画像は、図37に示す例と同一の画角である。また、第5の読出方法よりも少ない消費電力により生成することができる。
この読出し動作を行う場合における撮像素子134の画素データの読出に関する各設定値が、図13に示すレジスタ370および380に保持されている。具体的には、上述した(51)乃至(55)の設定値が、単眼画素間引き読出し撮像時の縦方向撮像領域設定レジスタ372および単眼画素間引き読出し撮像時の横方向撮像領域設定レジスタ382に保持されている。また、水平方向および垂直方向の間引き間隔が、単眼画素間引き読出し撮像時の縦方向画素間引き間隔設定レジスタ373および単眼画素間引き読出し撮像時の横方向画素間引き間隔設定レジスタ383に保持されている。
これらの設定値は、予め設定しておくようにしてもよく、ユーザ操作により、信号線L2を介して設定されるようにしてもよい。
[第2の筐体の縦長状態における撮像モードの制御例]
次に、第2の筐体120を縦長状態とした場合における各撮像素子からの画像データの読出方法および読み出された画像データの表示方法について説明する。また、本発明の第1の実施の形態では、第2の筐体120を縦長状態とした場合における撮像モードとして4種類の撮像モードを示す。ここで、例えば、第2の筐体120を縦長状態として撮影が行われている場合には、ユーザには横長の広角画像を撮影する意思がないと想定される。そこで、本発明の第1の実施の形態では、第2の筐体120を縦長状態とされている場合には、水平方向に比較的狭い範囲の画像を生成する例を示す。
[3眼横長狭角画像撮像の制御例]
第11の読出方法は、上述した第2の読出方法と同様に、デジタルスチルカメラ等の撮像装置のユーザが広く慣れ親しんでいる横長の画像を読み出す方法である。例えば、撮像素子134の一部の領域を読み出すとともに、撮像素子135および136の一部の領域を読み出す。このため、第11の読出方法として、上述した第2の読出方法と同様の画素データ読出領域421乃至423(図30に示す)において、全画素を読み出す例について説明する。
なお、画素データ読出領域421乃至423、これに関連する各設定値のレジスタ370および380の保持内容については、図30(a)に示す例と同様であるため、ここでの説明を省略する。また、画素データ読出領域421乃至423における読出開始位置424乃至426および読出走査方向についても、図30(b)に示す例と同様であるため、ここでの説明を省略する。また、生成された合成画像の表示例を図38に示す。
図38は、本発明の第1の実施の形態における表示部140における画像の表示例を示す図である。図38に示す例は、第11の読出方法により読み出された画像データを表示する表示例である。
図38(a)には、携帯電話装置100による撮像処理の撮像対象となる被写体500を示す。図38(a)に示す例は、画素データ読出領域が変更された点以外は、図29(a)に示す例と略同様である。このため、図29(a)と共通する部分には同一の符号を付して、その部分についての説明を省略する。なお、撮像範囲511乃至513のうち、図30に示す画素データ読出領域421乃至423に対応する領域の輪郭を太線で示す。
図38(b)には、被写体500を撮像対象とした場合に、第11の読出方法により読み出された画像データを表示部140に表示する表示例を示す。なお、図38(b)には、第1の筐体110を縦長状態にした場合を示す。また、第1の筐体110を縦長状態にした場合における表示部140の横対縦の比は3:4となる。
上述したように、表示部140の横対縦の比は3:4であるため、生成された画像の横対縦の比が4:3である画像を表示部140の全画面に表示させることができない。そこで、例えば、第1の読出方法と同様に、横対縦の比が4:3の画像を解像度変換して表示させる。例えば、その画像の横方向の画素数が表示部140の横方向の画素数と略同一となり、横対縦の比が4:3となるように、画像を水平方向および垂直方向に解像度変換する。
図38(b)に示すように、解像度変換がされた画像を、表示部140における垂直方向の中央部分(撮像画像表示領域541)に表示させる。ここで、表示された画像の上下の余白部分(余白画像表示領域542および543)には、例えば、単一色の画像を表示させることができる。
図38(c)には、画像メモリ170に書き込まれた撮像画像および余白画像を表示する際の表示部140の走査方向を模式的に示す。
[撮像画像の回転処理例]
ここで、第2の筐体120が縦長状態である場合において、撮像素子において読み出された画像を、上述した第2の筐体120の横長状態と同様に表示部140に表示させる場合を想定する。この場合には、第2の筐体120が90度回動しているため、第1の筐体110を基準とすると、90度回動された画像が表示部140に表示される。すなわち、ユーザにとっても、表示部140に表示された画像に含まれる被写体が、90度回転された状態となるため、違和感を覚えることになる。そこで、以下では、第2の筐体120の回動方向とは反対方向に画像を90度回転させて表示させる例について説明する。
図39は、本発明の第1の実施の形態における表示部140に表示される画像を回転させる回転処理を模式的に示す図である。この例では、撮像時における被写体の向きと、撮像素子における走査方向と、画像メモリ170への画像データの書き込み時および読出し時における方向と、表示部140における表示の走査方向と、表示部140に表示される被写体の向きとの関係を示す。なお、画像メモリ170への画像データの書き込みおよび読出しは、DSP200により行われる。
図39(a)には、撮像素子134乃至136において、走査方向に読み出された撮像画像545が、その走査方向でDSP200により画像メモリ170に書き込まれた状態を模式的に示す。図39(a)では、撮像素子134乃至136における走査方向を矢印で示す。
図39(b)には、画像メモリ170に書き込まれた撮像画像545について、撮像素子134乃至136の走査方向と直交する方向に走査しながら読み出す状態を模式的に示す。図39(b)では、画像メモリ170から読み出される撮像画像545の走査方向を矢印で示す。
図39(c)には、図39(b)に示す走査方向で画像メモリ170から読み出された撮像画像545について、図39(a)に示す方向と同一の方向で走査しながら画像メモリ170へ書き戻す状態を模式的に示す。図39(c)では、画像メモリ170に書き込まれる撮像画像545の走査方向を矢印で示す。このように、撮像素子134乃至136の走査方向と直交する方向に走査しながら画像メモリ170から読み出された撮像画像545について、この読み出された方向で走査しながら画像メモリ170へ書き戻す。これにより、撮像素子134乃至136から読み出された撮像画像545を90°回転させた状態で、画像メモリ170に保持させることができる。
図39(d)には、図39(c)に示す走査方向で画像メモリ170に書き込まれた撮像画像545に余白画像546および547を付加した状態を模式的に示す。余白画像546および547は、図38(b)に示す余白画像表示領域542および543に表示される画像である。
図39(e)には、画像メモリ170に書き込まれた撮像画像545、余白画像546および547を、最初の書き込み時と同じ方向で走査しながら読み出す状態を模式的に示す。図39(e)に示す状態で読み出された撮像画像545、余白画像546および547を表示部140に表示させることにより、ユーザに違和感を与えない画像を表示させることができる。図39(e)に示す状態で読み出された撮像画像545、余白画像546および547を表示部140に表示させる表示例は、図38(b)に示す。
[単眼横長画像撮像モードの制御例]
第12の読出方法は、上述した第11の読出方法と同様に、デジタルスチルカメラ等の撮像装置のユーザが広く慣れ親しんでいる横長の画像を読み出す方法である。例えば、撮像素子134の横方向の略全ての領域を読み出すとともに、縦方向では横方向よりも画素数の少ない領域を読み出す。なお、撮像素子135および136からの読出しは行わない。このため、第12の読出方法として、上述した第3の読出方法と同様の画素データ読出領域431(図32に示す)において、全画素を読み出す例について説明する。
なお、画素データ読出領域431、および、これに関連する各設定値のレジスタ370および380の保持内容については、図32(a)に示す例と同様であるため、ここでの説明を省略する。また、画素データ読出領域431における読出開始位置432および読出走査方向についても、図32(b)に示す例と同様であるため、ここでの説明を省略する。また、生成された合成画像の表示例を図40に示す。
図40は、本発明の第1の実施の形態における表示部140における画像の表示例を示す図である。図40に示す例は、第12の読出方法により読み出された画像データを表示する表示例である。
図40(a)には、携帯電話装置100による撮像処理の撮像対象となる被写体500を示す。図40(a)に示す例は、画素データ読出領域が変更された点以外は、図29(a)に示す例と略同様である。このため、図29(a)と共通する部分には同一の符号を付して、その部分についての説明を省略する。なお、撮像範囲511乃至513のうち、図32に示す画素データ読出領域431に対応する領域の輪郭を太線で示す。
図40(b)には、被写体500を撮像対象とした場合に、第12の読出方法により読み出された画像データを表示部140に表示する表示例を示す。なお、図40(b)に表示例は、図39に示す回転処理により回転された撮像画像の表示例である。
上述したように、表示部140の横対縦の比は3:4であるため、生成された画像の横対縦の比が4:3である画像を表示部140の全画面に表示させることができない。そこで、例えば、第11の読出方法と同様に、横対縦の比が4:3の画像を解像度変換して表示させる。例えば、その画像の横方向の画素数が表示部140の横方向の画素数と略同一となり、横対縦の比が4:3となるように、画像を水平方向および垂直方向に解像度変換する。
図40(b)に示すように、解像度変換がされた画像を、表示部140における垂直方向の中央部分(撮像画像表示領域551)に表示させる。ここで、表示された画像の上下の余白部分(余白画像表示領域552および553)には、例えば、単一色の画像を表示させることができる。
図40(c)には、撮像素子134から読み出された画素データを表示する場合における表示部140における走査方向を示す。
[単眼縦長画像撮像モードの制御例]
第13の読出方法は、携帯電話装置のユーザが広く慣れ親しんでいる縦長の画像を読み出す方法であり、例えば、撮像素子134の全ての領域を読み出す。なお、撮像素子135および136からの読出しは行わない。このため、第13の読出方法として、上述した第4の読出方法と同様の画素データ読出領域435(図34に示す)において、全画素を読み出す例について説明する。
なお、画素データ読出領域435、および、これに関連する各設定値のレジスタ370および380の保持内容については、図34(a)に示す例と同様であるため、ここでの説明を省略する。また、画素データ読出領域435における読出開始位置436および読出走査方向についても、図34(b)に示す例と同様であるため、ここでの説明を省略する。また、生成された合成画像の表示例を図41に示す。
図41は、本発明の第1の実施の形態における表示部140における画像の表示例を示す図である。図41に示す例は、第13の読出方法により読み出された画像データを表示する表示例である。
図41(a)には、携帯電話装置100による撮像処理の撮像対象となる被写体500を示す。図41(a)に示す例は、画素データ読出領域が変更された点以外は、図29(a)に示す例と略同様である。このため、図29(a)と共通する部分には同一の符号を付して、その部分についての説明を省略する。なお、撮像範囲511乃至513のうち、図32に示す画素データ読出領域435に対応する領域の輪郭を太線で示す。
図41(b)には、被写体500を撮像対象とした場合に、第13の読出方法により読み出された画像データを表示部140に表示する表示例を示す。なお、図41(b)に表示例は、図39に示す回転処理により回転された撮像画像の表示例である。
上述したように、表示部140の横対縦の比は3:4であり、生成された画像の横対縦の比が3:4であるため、その画像を表示部140の全画面に表示させることができる。例えば、画像のサイズが表示部140の画素数と同一となるように解像度変換し、表示部140に表示させる。また、この場合には、余白画像表示領域が不要となる。
なお、第13の読出方法により読み出されて生成された画像の横対縦の比が、表示装置の横対縦の比と同じでない場合には、第12の読出方法と同様に表示させることができる。この場合に、例えば、表示された合成画像の上下の余白部分(余白画像表示領域)には、例えば、単一色を表示させる。
図41(c)には、撮像素子134から読み出された画素データを表示する場合における表示部140における走査方向を示す。
[単眼縦長小領域画像撮像モードの制御例]
第14の読出方法は、携帯電話装置のユーザが広く慣れ親しんでいる縦長の画像を読み出す方法であり、例えば、撮像素子134の一部の領域を読み出す。なお、撮像素子135および136からの読出しは行わない。このため、第14の読出方法として、上述した第5の読出方法と同様の画素データ読出領域437(図36に示す)において、全画素を読み出す例について説明する。
なお、画素データ読出領域437、および、これに関連する各設定値のレジスタ370および380の保持内容については、図36(a)に示す例と同様であるため、ここでの説明を省略する。また、画素データ読出領域437における読出開始位置438および読出走査方向についても、図36(b)に示す例と同様であるため、ここでの説明を省略する。また、生成された合成画像の表示例を図42に示す。
図42は、本発明の第1の実施の形態における表示部140における画像の表示例を示す図である。図42に示す例は、第14の読出方法により読み出された画像データを表示する表示例である。
図42(a)には、携帯電話装置100による撮像処理の撮像対象となる被写体500を示す。図42(a)に示す例は、画素データ読出領域が変更された点以外は、図29(a)に示す例と略同様である。このため、図29(a)と共通する部分には同一の符号を付して、その部分についての説明を省略する。なお、撮像範囲511乃至513のうち、図36に示す画素データ読出領域437に対応する領域の輪郭を太線で示す。
図42(b)には、被写体500を撮像対象とした場合に、第14の読出方法により読み出された画像データを表示部140に表示する表示例を示す。なお、図42(b)に表示例は、図39に示す回転処理により回転された撮像画像の表示例である。
上述したように、表示部140の横対縦の比は3:4であり、生成された画像の横対縦の比が3:4であるため、その画像を表示部140の全画面に表示させることができる。例えば、画像のサイズが表示部140の画素数と同一となるように解像度変換し、表示部140に表示させる。また、この場合には、余白画像表示領域が不要となる。
なお、第14の読出方法により読み出されて生成された画像の横対縦の比が、表示装置の横対縦の比と同じでない場合には、第12の読出方法と同様に表示させることができる。この場合に、例えば、表示された合成画像の上下の余白部分(余白画像表示領域)には、例えば、単一色を表示させる。
図42(c)には、撮像素子134から読み出された画素データを表示する場合における表示部140における走査方向を示す。
ここで、撮像素子134乃至136の画素データの読出に関する各設定値は、上述したように、図13に示すレジスタ370および380に保持されるとともに、撮像制御部201に保持される。そして、第2の筐体120が縦長状態である場合には、図1等に示す撮像範囲切替スイッチ111がユーザが押下される毎に、第11の読出方法乃至第14の読出方法が切り替えられる。この場合に、撮像範囲切替スイッチ111が押下される毎に、撮像制御部201がその押下を検出し、第11の読出方法乃至第14の読出方法を順次切り替える。また、例えば、携帯電話装置100が起動した直後に、第2の筐体120が縦長状態である場合には、第14の読出方法を設定することができる。
[画素間引きおよび画素加算の例]
以上では、第11の読出方法乃至第14の読出方法として、画素データ読出領域に含まれる全ての画素を読み出す例について説明した。しかしながら、使用目的に応じて、高精細な画像が必要でない場合も想定される。そこで、以下では、画素データ読出領域に含まれる各画素のうちの一部を読み出して消費電力を低減させる例について説明する。
以下で示す第15の読出方法乃至第18の読出方法は、撮像素子134乃至136において画素間引き処理を行うことにより、画素データ読出領域に含まれる各画素のうちの一部を読み出す例である。なお、以下での説明は省略するが、撮像素子134乃至136において画素加算処理を行うことにより、画素データ読出領域に含まれる各画素のうちの一部を読み出すようにしてもよい。
[3眼横長狭角画像撮像モードの間引き例]
最初に、第15の読出方法について、図38を参照して説明する。第15の読出方法は、第11の読出方法に対応するものであり、図30に示す画素データ読出領域421乃至423において、縦方向で1/2の画素間引き読み出しを行い、横方向で1/2の間引き読出しを行う例である。なお、これらの間引き処理については、第7の読出方法に示す例と同様であるため、ここでの詳細な説明を省略する。また、これらの間引き処理における撮像素子134乃至136の画素データの読出に関する各設定値のレジスタ370および380の保持内容についても、第7の読出方法に示す例と同様であるため、ここでの詳細な説明を省略する。
[単眼横長画像撮像モードの間引き例]
次に、第16の読出方法について、図40を参照して説明する。第16の読出方法は、第12の読出方法に対応するものであり、図32に示す画素データ読出領域431において、縦方向で1/2の画素間引き読み出しを行い、横方向で1/2の間引き読出しを行う例である。なお、これらの間引き処理については、第8の読出方法に示す例と同様であるため、ここでの詳細な説明を省略する。また、これらの間引き処理における撮像素子134乃至136の画素データの読出に関する各設定値のレジスタ370および380の保持内容についても、第8の読出方法に示す例と同様であるため、ここでの詳細な説明を省略する。
[単眼縦長画像撮像モードの間引き例]
次に、第17の読出方法について、図41を参照して説明する。第17の読出方法は、第13の読出方法に対応するものであり、図34に示す画素データ読出領域435において、縦方向で1/2の画素間引き読み出しを行い、横方向で1/2の間引き読出しを行う例である。なお、これらの間引き処理については、第9の読出方法に示す例と同様であるため、ここでの詳細な説明を省略する。また、これらの間引き処理における撮像素子134乃至136の画素データの読出に関する各設定値のレジスタ370および380の保持内容についても、第9の読出方法に示す例と同様であるため、ここでの詳細な説明を省略する。
[単眼縦長小領域画像撮像モードの間引き例]
次に、第18の読出方法について、図42を参照して説明する。第18の読出方法は、第14の読出方法に対応するものであり、図36に示す画素データ読出領域437において、縦方向で1/2の画素間引き読み出しを行い、横方向で1/2の間引き読出しを行う例である。なお、これらの間引き処理については、第10の読出方法に示す例と同様であるため、ここでの詳細な説明を省略する。また、これらの間引き処理における撮像素子134乃至136の画素データの読出に関する各設定値のレジスタ370および380の保持内容についても、第10の読出方法に示す例と同様であるため、ここでの詳細な説明を省略する。
[モニタリング動作時における読出例]
次に、モニタリング動作が行われている場合における画素データの読出方法について説明する。例えば、静止画を記録するための静止画記録モードが設定されている場合には、静止画の記録指示操作が行われるまでの間、モニタリング動作が行われる。このモニタリング動作は、例えば、静止画の記録指示操作を行う前に、携帯電話装置100の向きや被写体の大きさが適切であるか否かを確認するためのモニタリング画像を表示部140に表示させる動作である。このモニタリング画像は、携帯電話装置100の向きや被写体の大きさが適切であるか否かをユーザが確認するための画像であり、記録するための画像ではない。このため、記録するための画像と比較して、高精細な画像としなくてもよい。
また、一般に、撮像装置が備える表示装置の画素数は、撮像装置が備える撮像素子の画素数の数十分の一であることが多い。このため、モニタリング動作が行われている場合において、画像の記録動作時よりも撮像素子から読み出す画素数を削減することができる。一方、モニタリング画像は、携帯電話装置100の向きや被写体の大きさを確認するための画像であるため、モニタリング画像の画角は、記録動作の場合と同一であることが好ましい。そこで、以下では、モニタリング動作が行われている場合において、記録動作の場合と画角を同一とし、読み出す画素数を削減するモニタリング画像の読出し方法について説明する。
例えば、第1の読出方法乃至第5の読出方法の何れかが設定されている場合において、モニタリング動作が行われている場合には、上述した第6の読出方法乃至第10の読出方法と同様に、画素間引き処理を行うことにより、読み出す画素数を削減する。この場合に、上述した第6の読出方法乃至第10の読出方法で示した間引き率(1/2)よりも大きい間引き率とすることができる。
また、例えば、第6の読出方法乃至第10の読出方法の何れかが設定されている場合において、モニタリング動作が行われている場合についても同様に、画素間引き処理を行うことにより、読み出す画素数を削減する。この場合に、上述した間引き率(1/2)よりもさらに大きい間引き率(例えば、1/2に1/M(:M>1(Mは整数))を乗算した値)とすることができる。なお、第11の読出方法乃至第18の読出方法の何れかが設定され、モニタリング動作が行われている場合についても同様に、読み出す画素数を削減することができる。なお、画素間引き処理の代わりに、画素加算処理を行うことにより、読み出す画素数を削減するようにしてもよい。また、モニタリング画像の表示については、読み出された画素数が異なる以外は、第1の読出方法乃至第5の読出方法の表示例と同様であるため、ここでの説明を省略する。
[画素間引きおよび画素加算の変形例]
以上では、撮像素子134乃至136において画素間引きおよび画素加算を行うことにより画像データの画素数を少なくする例を示した。この例では、DSP200において画素間引きおよび画素加算を行う例を示す。
図8に示す画素加算処理部221は、画素加算処理および画素間引き処理を行うものであり、DSP200内部において、画像バッファ211乃至219の後段の位置、および、デモザイク処理部222の前段の位置に配置されている。なお、画素加算処理部221の構成は、撮像素子134乃至136の加算器354乃至357、366と略同様とすることができる。
画素加算処理部221は、例えば、垂直方向の画素加算を行うため、少なくとも画像データの2本以上の水平ラインに含まれる一定量の画像データを保存するデータメモリを有する。また、画素加算処理部221は、画像データ上で同一カラムに位置する画像データを画像メモリ170から読み出し、読み出された画像データを加算器により加算する加算処理(すなわち、垂直画素の加算処理)を行う。
また、例えば、水平画素の加算処理を行う場合には、画素加算処理部221は、複数カラムの画像データをそれぞれ読み出し、読み出された画像データを加算器により加算する加算処理(すなわち、水平画素の加算処理)を行う。
また、例えば、垂直画素の加算処理および水平画素の加算処理の双方を行う場合には、複数カラムにおいて垂直画素の加算処理を行い、この加算処理により得られた画像データについて水平画素の加算処理をさらに行う。
これらの加算処理後に、画素加算処理部221は、加算処理後の画像データを後段のデモザイク処理部222に出力する。または、画素加算処理部221は、加算処理後の画像データを画像メモリ170に書き込む。
また、例えば、画素加算処理部221は、加算処理において入力される2つの画像データのうちの1つの画像データを加算器に入力するデータ線は選択信号線を備え、このデータ線とこの選択信号線とのAND結果が加算器に入力される。また、画素加算処理部221は、他の1つの画像データを保持する。例えば、選択信号線が選択されている場合には、データ線の値が加算器に入力されて画素加算処理が行われる。一方、選択信号線が選択されていない場合には、データ線から加算器に入力される値が0となり、画素加算処理が行われない。この場合には、画素間引き処理となり、加算器の選択信号線を備えていない側のデータ線から入力された画像データが出力される。
[画素間引きおよび画素加算の画像データの流れを示す例]
図43は、本発明の第1の実施の形態における撮像素子134により画素間引きおよび画素加算が行われた場合における画像データの流れを模式的に示す図である。図43に示す太線の矢印付近に配置された添え字は、画像データの画素数を表す。図43に示す例では、画素数が横1920画素×縦1440画素の撮像素子134を用いて、画素データ数を水平方向において1/2を間引きし、垂直方向において1/2を間引きする例を示す。なお、撮像素子134を用いて、画素データ数を水平方向において1/2を画素加算し、垂直方向において1/2を画素加算する場合についても同様に表すことができる。図43に示すように、撮像素子134から出力される画像データの画素数(横960画素×縦720画素)は、撮像素子134が有する画素数(横1920画素×縦1440画素の)よりも小さくなっている。
図44は、本発明の第1の実施の形態における画素加算処理部221により画素数を変更する場合における画像データの流れを模式的に示す図である。図44に示す太線の矢印付近に配置された添え字は、画像データの画素数を表す。図44に示す例では、画素数が横1920画素×縦1440画素の撮像素子134から出力された画像データについて、画素加算処理部221が、水平方向における画素データ数を1/2とし、垂直方向における画素データ数を1/2とする例を示す。図44に示すように、画素加算処理部221から出力される画像データの画素数(横960画素×縦720画素)が、撮像素子134が有する画素数および画素加算処理部221に入力される画像データの画素数よりも小さくなっている。
図45は、本発明の第1の実施の形態における画像メモリ170から画像データを読み出す際に画素数を変更する場合における画像データの流れを模式的に示す図である。図45に示す太線の矢印付近に配置された添え字は、画像データの画素数を表す。図45に示す例では、画像メモリ170から画像データを読み出す際に、画像データ上で一定の画素数毎に間隔を開けて画像データを読み出すことにより、画像データの画素数を小さくする例を示す。すなわち、画素数が横1920画素×縦1440画素の撮像素子134から出力された画像データが画像メモリ170に保持される。この画像メモリ170に保持されている画像データをデモザイク処理部222が読み出す際に、水平方向における画素データ数を1/2とし、垂直方向における画素データ数を1/2として、画像データを読み出す。図45に示すように、画像メモリ170から読み出されデモザイク処理部222に入力される画像データの画素数が、撮像素子134の画素数と画像バッファ211乃至213から画像メモリ170に書き込まれた画像データの画素数よりも小さくなっている。
[画像データの領域を変化させる場合の変形例]
この例では、DSP200を用いて画素データを読み出す領域を変化させ、画像データの画素数を小さくする例を示す。
図46は、本発明の第1の実施の形態における撮像素子134により読出領域を変化させる場合における画像データの流れを模式的に示す図である。図46に示す太線の矢印付近に配置された添え字は、画像データの画素数を表す。図46に示す例では、画素数が横1920画素×縦1440画素の撮像素子134を用いて、画素数が横480画素×縦640画素の画像データを読み出す例を示す。図46に示すように、撮像素子134が有する画素数が横1920画素×縦1440画素であるのに対し、撮像素子134から出力される画像データの画素数が横480画素×縦640画素となっている。
図47は、本発明の第1の実施の形態における画像メモリ170から画像データを読み出す際に読出領域を変化させる場合における画像データの流れを模式的に示す図である。図47に示す太線の矢印付近に配置された添え字は、画像データの画素数を表す。図47に示す例では、画像メモリ170から画像データを読み出す際に、画像データ上で一部の領域の画像データを読み出すことにより、画像データの領域を変化させて画像データの画素数を小さくする例を示す。すなわち、画素数が横1920画素×縦1440画素の撮像素子134から出力された画像データが画像メモリ170に保持される。この画像メモリ170に保持されている画像データをデモザイク処理部222が読み出す際に、画素数が横480画素×縦640画素の領域に対応する画像データを読み出す。図47に示すように、撮像素子134の画素数および画像バッファ211乃至213から画像メモリ170に書き込まれた画像データの画素数が横1920画素×縦1440画素である。これに対して、画像メモリ170から読み出されてデモザイク処理部222に入力される画像データの画素数が横480画素×縦640画素となる。
[単眼撮像動作時における2つの撮像系の停止例]
以上では、3つの撮像系のうち、少なくとも1つの撮像系を用いて撮像画像を生成する例について説明した。ここで、例えば、消費電力を低減させるため、撮像画像を生成しない撮像系については、その動作の停止等を行うことが好ましい。そこで、以下では、撮像画像を生成する場合に、撮像画像を生成しない撮像系についてその動作の停止等を行う例を示す。
[携帯電話装置の構成例]
図48は、本発明の第1の実施の形態における携帯電話装置100の機能構成例を示すブロック図である。なお、図48に示す構成例は、図3に示す構成のうち、第1の撮像系191乃至第3の撮像系193への電源供給に関する構成以外の構成を省略し、撮像制御部201を追加した例である。この例では、撮像系への電源を遮断することにより、撮像系の動作を停止させる例を示す(図50に示す制御方法1)。なお、電源制御部207、電源供給部208および電源供給部209は、図3に示すものと同一である。このため、以下では、撮像系の動作停止に関する部分を中心に説明し、図3と共通する部分についての説明を省略する。
例えば、撮像制御部201は、撮像素子134により生成される画像データのみを使用する撮像動作(単眼撮像動作)が選択された場合には、電源供給部209に対して、第2の撮像系192および第3の撮像系193への電源供給の遮断を指示する。これにより、単眼撮像動作が行われている場合には、撮像動作に使用されていない第2の撮像系192および第3の撮像系193の動作を停止させることができ、消費電力を削減することができる。なお、第2の撮像系192および第3の撮像系193への電源供給を遮断する場合には、DSP200から第2の撮像系192および第3の撮像系193へのクロック信号、垂直同期信号、水平同期信号等の出力を停止することが好ましい。これにより、消費電力をさらに削減することができる。
図49は、本発明の第1の実施の形態における携帯電話装置100の機能構成例を示すブロック図である。なお、図49に示す各構成例は、撮像動作の停止処理に関する構成のみを簡略化して示す。すなわち、論理積演算回路801乃至807と、各信号線のみを示す。ここで、論理積演算回路801乃至807には、2つの入力信号線が接続され、これらの各入力信号線から「H」信号が入力されたときに「H」信号を出力信号線に出力する論理積演算(AND)を行う回路である。また、この例では、撮像系の動作を停止させる場合に、停止対象となる撮像系への電源は遮断せずに、停止対象となる撮像系へのクロック供給等を遮断する例を示す。
図49(a)には、撮像系へのクロック供給を停止させるためのDSP200における回路構成例を示す。ここで、信号線809は、撮像素子134へのクロック信号の信号線であり、信号線810は、撮像素子135へのクロック信号の信号線であり、信号線811は、撮像素子136へのクロック信号の信号線である。また、信号線812は、撮像素子134へのオン/オフ制御信号の信号線であり、信号線813は、撮像素子135へのオン/オフ制御信号の信号線であり、信号線814は、撮像素子136へのオン/オフ制御信号の信号線である。また、信号線815は、撮像素子134へ出力されるクロック信号の信号線であり、信号線816は、撮像素子135へ出力されるクロック信号の信号線であり、信号線817は、撮像素子136へ出力されるクロック信号の信号線である。例えば、単眼撮像動作が選択された場合には、撮像制御部201が信号線812乃至814のうち、信号線813および814の信号を「L」信号とする。これにより、撮像素子135および136へのクロック供給が停止される(図50に示す制御方法2)。
図49(b)には、撮像系への電源供給およびクロック供給を遮断させずに、撮像素子134乃至136内のクロックを生成するための回路の動作を停止させる場合における回路構成例を示す。この例では、図10に示す逓倍器/分周器391、392のうちの逓倍器818を例にして示す。なお、この例で示す逓倍器818は、撮像素子135および136の逓倍器であるものとする。ここで、信号線819は、DSP200からのクロック信号の信号線であり、信号線820は、DSP200からの撮像オン/オフ信号の信号線である。また、信号線821は、逓倍後のクロック信号の信号線である。例えば、単眼撮像動作が選択された場合には、DSP200が信号線820の信号を「L」信号とする。これにより、撮像素子135および136内の逓倍器が停止される(図50に示す制御方法3)。
図49(c)には、撮像系への電源供給およびクロック供給と、撮像素子内でのクロックの逓倍器とを遮断させずに、撮像素子134乃至136内の垂直走査回路および水平走査回路の動作を停止させる場合における回路構成例を示す。ここで、信号線823は、垂直走査回路822内部の1ライン目における垂直制御信号の信号線であり、信号線824は、垂直走査回路822内部の2ライン目における垂直制御信号の信号線である。また、信号線825および831は、DSP200からの撮像オン/オフ信号の信号線であり、信号線828および830は、撮像素子内の逓倍器/分周器からのクロック信号の信号線である。また、信号線826は、垂直走査回路822の外部に出力される1ライン目における垂直制御信号の信号線であり、信号線827は、垂直走査回路822の外部に出力される2ライン目における垂直制御信号の信号線である。また、信号線832は、水平走査回路829内部へのクロック信号の信号線である。また、信号線833は、水平走査回路829の外部に出力される1ライン目における水平制御信号の信号線であり、信号線834は、水平走査回路829の外部に出力される2ライン目における水平制御信号の信号線である。なお、この例では、1ライン目および2ライン目の信号線のみを示し、他のラインの信号線を省略する。例えば、単眼撮像動作が選択された場合には、DSP200が信号線825および831の信号を「L」信号とする。これにより、撮像素子135および136内の垂直走査回路および水平走査回路において、垂直走査信号および水平走査信号の出力が停止される(図50に示す制御方法4)。ここで、図49(c)に示す例では、上述した例と比較して、第2の撮像系192および第3の撮像系193の内部で動作している回路が多いため、上述した例と比較すると消費電力の削減の効果が少ない。しかしながら、撮像素子にクロックが供給され、撮像素子内部の逓倍器も動作しているため、単眼撮像動作から複眼撮像動作への切替操作が行われた場合には、第2の撮像系192および第3の撮像系193の動作を迅速に再開させることができる。
また、DSP200から撮像系へ供給する垂直同期信号および水平同期信号を固定することにより、撮像系の動作を停止させるようにしてもよい(図50に示す制御方法5)。この場合には、各同期信号が入力されないため、撮像素子が画像データの読出動作を行えない状態となる。
図50は、本発明の第1の実施の形態における撮像系の動作を停止させるための制御方法と、各信号線との関係を示す図である。図50に示す一覧表は、上述した各制御方法と、各信号線との関係を示すものである。図50に示す各制御方法を行うことにより、撮像系の動作を停止させることができる。なお、制御方法1に対応する欄のうち斜線が付された欄の信号線は、出力なしにしておくことが好ましい。また、制御方法2乃至5に対応する欄のうち斜線が付された欄の信号線は、「L」固定または「H」固定することが好ましい。また、図50に示す一覧表に記載されていない信号線(DSP200から撮像系への信号線)については、「H」出力、「L」出力、出力不足、出力なしの何れの状態とするようにしてもよい。ただし、消費電力を低減させるため、出力なしの状態にしておくことが好ましい。
[撮像系からDSPへの画像データの取り込み例]
図51は、本発明の第1の実施の形態における撮像素子からの出力タイミングと、画像バッファへの書込みの様子を模式的に表すタイミングチャートである。図51に示す横軸は、時間軸を示す。また、波形700は、DSP200から各撮像系への水平同期信号を示す。また、横軸701乃至703は、各撮像系からDSP200に出力される画像データの時間遷移を示す。また、横軸704乃至706は、画像バッファ211乃至219の書き込み状態の時間遷移を示す。なお、図51に示す例では、各撮像系に対応する1組の3つの画像バッファの書き込み状態を同一ライン上に示す。
例えば、第1の撮像系191と対向する画像バッファ1A、1B、1Cを例にして説明する。例えば、1個目の画像バッファ1Aへの撮像素子134からの画像データの書込が終了すると、画像バッファ1Aは、DSP200内部への読み出しを待つ待機状態となる。この画像バッファ1Aの待機状態の間、2個目の画像バッファ1Bへの撮像素子134からの画像データの書込が行われる。そして、2個目の画像バッファ1Bへの撮像素子134からの画像データの書込が終了すると、画像バッファ1Bは、DSP200内部への読み出しを待つ待機状態となる。また、2個目の画像バッファ1Bへの画像データの書込が終了すると、1個目の画像バッファ1Aから、DSP200内部への画像データの読出しが行われる。そして、画像バッファ1Cの書込みが完了する前に、画像バッファ1Aからの画像データの読出しが終了し、画像バッファ1Aについては画像データを書き込める状態となる。続いて、これらの一連の動作が繰り返し行われる。また、画像バッファ2A乃至2C、画像バッファ3A乃至3Cについても同様に行われる。
ここで、3個の画像バッファに書き込まれたデータを1本のデータバス204を用いて読み出す場合には、撮像素子が画像バッファへ書き込んだ時間の少なくとも1/3以下の時間で画像バッファ内の画像データを読み取ることが必要である。
以下では、撮像素子が各画素の画像データを読み出し、かつ、画像バッファ211乃至219に書き込むクロック周波数と、画像バッファ211乃至219の画像データをDSP200が読み出すためのクロック周波数との関係について説明する。また、複眼撮像動作の際に画像バッファ211乃至219の画像データをDSP200が読み出すためのクロック周波数と、単眼撮像記録の際に画像バッファ211乃至219の画像データをDSP200が読み出すためのクロック周波数との関係について説明する。
図52乃至図54は、本発明の第1の実施の形態における撮像素子における各画素の読み出しおよび画像バッファへの書き込むためのクロック周波数と、画像バッファから画像データを読み出すためのクロック周波数との関係を示す図である。ここで、図52乃至図54に示す横軸の関係は、1ライン中の時間経過を示すものとし、縦軸の関係は、1フレーム中のライン毎の時間経過を示すものとする。なお、図52に示す例は、図28に示す第1の読出方法に対応する例(3眼横長広角画像撮像モード)である。また、図53に示す例は、図32に示す第3の読出方法に対応する例(単眼横長画像撮像モード)である。また、図54に示す例は、図36に示す第5の読出方法に対応する例(単眼縦長小領域画像撮像モード)である。
図52(a)には、3眼横長広角画像撮像モードが設定されている場合において、撮像素子におけるクロック周波数と、撮像素子からの画像データの出力タイミングとの関係を示す。波形710は、3眼横長広角画像撮像モードが設定されている場合において、撮像素子134乃至136における全領域から全画素を読み出す際に用いられるクロックを示す。また、横軸713乃至718は、撮像素子134乃至136から読み出され、画像バッファ211乃至219に出力される画像データの時間遷移を矩形で模式的に示す。なお、ライン719には、画像バッファ211に出力される画像データを示し、ライン720には、画像バッファ212に出力される画像データを示し、ライン721には、画像バッファ213に出力される画像データを示す。この例では、横軸715においてのみ矩形内に異なる符号(D11乃至D1C等)を付し、他の横軸では矩形内における符号を省略する。また、横軸713に示す大きい破線の丸は垂直同期信号のタイミングを示し、横軸713乃至718に示す小さい点線の丸は水平同期信号のタイミングを示す。なお、以下の図52乃至図54に示す横軸についても、同様に、大きい破線の丸および小さい点線の丸を付して、垂直同期信号のタイミングおよび水平同期信号のタイミングを示すものとする。
図52(b)には、3眼横長広角画像撮像モードが設定されている場合において、DSP200におけるクロック周波数と、画像バッファからの画像データの読出しタイミングとの関係を示す。波形722は、3眼横長広角画像撮像モードが設定されている場合において、DSP200が画像バッファ211乃至219から画像データを読み出す際に用いられるクロックを示す。また、横軸725乃至732は、画像バッファ211乃至219から読み出される画像データの時間遷移を矩形で模式的に示す。この例では、横軸729においてのみ矩形に異なる符号(D11乃至D1C等)を矢印で関連付けし、他の横軸では矩形における符号を省略する。なお、これらの各符号は、図52(a)に示す符号に対応する。また、区間733は、撮像素子134の読出し区間であり、区間734は、撮像素子135の読出し区間であり、区間735は、撮像素子136の読出し区間である。
ここで、3個の撮像素子134乃至136から3枚の画像データがDSP200に入力されると、この入力された画像データが画像バッファ211乃至219に書き込まれる。そして、画像バッファ211乃至219に書き込まれた画像データは、DSP200内の1本のデータバス204を介して読み出され、画像メモリとのI/F206を介して画像メモリ170へ書き込まれる。例えば、3眼横長広角画像撮像モードの設定されている場合を想定する。この場合には、図52(a)および(b)に示すように、撮像素子134乃至136が画像バッファ211乃至219へ画像データを書き込んだ時間の1/3以下の時間で各画像バッファ211乃至219の画像データを読み出す必要がある。
図53(a)には、単眼横長画像撮像モードが設定されている場合において、撮像素子におけるクロック周波数と、撮像素子からの画像データの出力タイミングとの関係を示す。図53(b)には、単眼横長画像撮像モードが設定されている場合において、DSP200におけるクロック周波数と、画像バッファからの画像データの読出しタイミングとの関係を示す。波形736は、単眼横長画像撮像モードが設定されている場合において、DSP200が画像バッファ211乃至219から画像データを読み出す際に用いられるクロックを示す。なお、区間737は、撮像素子134の読出し区間である。また、図52に示す例と共通する部分には、同一の符号を付す。
ここで、図52および図53を比較すると、3眼横長広角画像撮像モードが設定されている場合には、単眼横長画像撮像モードが設定されている場合と比較して画像データ量が3倍であることが把握できる。このため、3眼横長広角画像撮像モードが設定されている場合には、画像バッファ211乃至219の画像データを読み出すためのクロック周波数として、3眼横長撮像動作の3倍のクロック周波数が必要となる。また、同様に、3眼横長広角画像撮像モードが設定されている場合に、DSP200内部の画像信号処理を行う場合には、単眼横長画像撮像モードが設定されている場合と比較して3倍のクロック周波数が必要となる。
図54(a)には、単眼縦長小領域画像撮像モードが設定されている場合において、撮像素子におけるクロック周波数と、撮像素子からの画像データの出力タイミングとの関係を示す。波形738は、単眼縦長小領域画像撮像モードが設定されている場合において、撮像素子134乃至136における特定領域からのみ全画素を読み出す際に用いられるクロックを示す。図54(b)には、単眼縦長小領域画像撮像モードが設定されている場合において、DSP200におけるクロック周波数と、画像バッファからの画像データの読出しタイミングとの関係を示す。波形739は、単眼縦長小領域画像撮像モードが設定されている場合において、DSP200が画像バッファ211乃至219から画像データを読み出す際に用いられるクロックを示す。なお、区間740は、撮像素子134の読出し区間である。なお、図52に示す例と共通する部分には、同一の符号を付す。
ここで、図53および図54を比較すると、単眼縦長小領域画像撮像モードが設定されている場合には、受光面の全画素を読み出す場合と比較して画像データのデータ量が少ないことが把握できる。このため、単眼縦長小領域画像撮像モードが設定されている場合には、画像バッファ211の画像データを読み出すためのクロック周波数として、全画素を読み出す場合と比較して小さいクロック周波数が必要となる。また、同様に、DSP200内部の画像信号処理を行う場合には、全画素を読み出す場合と比較して小さいクロック周波数とすることができる。
[DSPのデータバスに要求される動作周波数例]
図55は、本発明の第1の実施の形態における撮像素子134により生成された画像データの流れを模式的に示す図である。図55に示す構成は、図43に示す構成例と同一であり、各部がデータバス204を経由して伝送する画像データのデータフォーマットを追記した点のみが異なる。また、この例では、DSP200における画素加算処理部221を使用しないものとし、画像出力は表示部140への出力のみとし、外部表示装置への出力は行わないものとする。
撮像素子134から画像バッファ211乃至213に書き込まれる画像データは、ベイヤーデータ750である。また、DSP200に入力された画像データは、ベイヤーデータをRGB(R(Red:赤)、G(Green:緑)、B(Blue:青))データへ補間するデモザイク処理部222の前段までは、ベイヤーデータフォーマットで伝送される。すなわち、画像バッファ211乃至213から画像メモリ170への画像データの書き込みと、デモザイク処理部222への画像データの読出しについては、画像データがベイヤーデータフォーマットで伝送される。
ここで、デモザイク処理部222によりデモザイク処理された画像データについては、解像度変換処理を行う前までの間、各処理部間を直接受け渡しされる。信号処理の際に扱うデータ量が大きい解像度変換の際には、所望の画像データを所望のタイミングで入力しやすいように画像データをデータバス204経由で画像メモリ170へ書き込んでおく。そして、解像度変換部231および251は、画像メモリ170から解像度変換処理に必要な画像データを読み込む。
これにより、記録用画像の解像度変換前にRGBデータフォーマットの画像データがデータバス204経由で画像メモリ170に書き込まれる。また、画像記録用の解像度変換の際にRGBデータフォーマットの画像データがデータバス204経由で画像メモリ170から読み出される。
また、表示部140に画像を表示させる場合には、一般的にYCbCrフォーマットで画像データを表示部140から要求される。このため、表示装置用の解像度変換の前にYCbCrデータフォーマットの画像データをデータバス204経由で画像メモリ170に書き込む。また、画像表示用の解像度変換の際にYCbCrデータフォーマットの画像データをデータバス204経由で画像メモリ170から読み出す。
ここで、データバス204経由で伝送される1枚の画像データのデータ量について説明する。例えば、1枚の画像データが撮像素子134からDSP200に入力された場合に、この入力された画像データを記録媒体180に1枚の画像ファイルとして記録するとともに表示部140に表示させる場合を想定して説明する。この場合には、ベイヤーデータの画像データが2枚分と、YCbCrデータの画像データが2枚分と、RGBデータの画像データが2枚分とがデータバス204を経由して伝送される。すなわち、画像バッファ211乃至213からデモザイク処理部222までの間の2枚分の画像データがベイヤーデータフォーマットで伝送される(ベイヤー751および752)。また、色調整処理部226から解像度変換部231までの間の2枚分の画像データがYCbCrデータフォーマットで伝送される(YCbCr753および756)。また、RGB変換処理部227から解像度変換部251までの間の2枚分の画像データがRGBデータフォーマットで伝送される(RGB754および755)。
ここで、YCbCrデータフォーマットの画像データの1枚分のデータ量は、同一画像サイズのベイヤーフォーマットの画像データの略2倍である。また、RGBデータフォーマットの画像データの1枚分のデータ量は、同一画像サイズのベイヤーフォーマットの画像データの略3倍である。例えば、1枚分の画像データを、記録媒体180に1枚の画像ファイルとして記録するとともに表示部140に表示させる場合には、ベイヤーデータフォーマット換算で略12枚分の画像データをデータバス204経由で伝送する必要がある。この画像データの伝送に関する処理を図56に示す。
図56は、本発明の第1の実施の形態におけるデータバス204を占有する処理と時間との関係を模式的に示す図である。図56(a)には、上述した撮像素子134からDSP200に入力された1枚分の画像データを、記録媒体180に1枚の画像ファイルとして記録するとともに表示部140に表示させる場合におけるデータバス204を占有する処理と時間との関係を示す。図56では横軸を時間軸とし、1フレームを処理する場合における関係を示す。なお、図55に示す例において、対応する各処理については図55に示す符号と同一のものを付す。
図56(b)には、撮像素子134からDSP200に入力された1枚分の画像データを、記録媒体180に記録せずに、表示部140に表示させる場合におけるデータバス204を占有する処理と時間との関係を示す。この例は、いわゆるモニタリング画像の表示動作が行われる場合の例である。ここで、モニタリング画像の表示動作が行われる場合には、画像を表示部140に表示するが、記録用の画像データを生成しない。すなわち、記録画像の解像度変換の前段で、RGBデータを画像メモリ170へ書き込む処理754と、記録画像の解像度変換の際にRGBデータを画像メモリ170から読み出す処理755とが不要となる。このため、モニタリング画像の表示動作において、撮像素子134からDSP200に入力された1枚分の画像データを表示部140に表示させる場合には、ベイヤーデータフォーマット換算で略6枚分の画像データをデータバス204経由で伝送するのみでよい。
以上で示したように、データバス204経由で伝送される画像データのデータ量が算出することができる。以下では、データバス204に要求される動作周波数について説明する。
ここでは、データバス204に要求される動作周波数の算出に用いられる変数を示す。
H:撮像素子において画素データ読出しを行う領域の横方向画素数。
V:撮像素子において画素データ読出しを行う領域の縦方向画素数。
R:撮像素子において画素データ読出しを行う際に画素間引き読出しを行う場合の間引き率。
B:画像の各画素データのビット幅。
F:撮像素子から入力された画像をDSP200において1秒間に画像信号処理できる画像の枚数。
Kb:撮像素子から入力された1枚の画像を記録媒体180へ記録および表示部140へ表示するまで間にDSP200のデータバス204上をベイヤーデータ形式で伝送する必要がある画像の枚数。
Ky:撮像素子から入力された1枚の画像を記録媒体180へ記録および表示部140へ表示するまで間にDSP200のデータバス204上をYCbCrデータ形式で伝送する必要がある画像の枚数。
Kr:撮像素子から入力された1枚の画像を記録媒体180へ記録および表示部140へ表示するまで間にDSP200のデータバス204上をRGBデータ形式で伝送する必要がある画像の枚数。
K:撮像素子から入力された1枚の画像を記録媒体180へ記録および表示部140へ表示するまで間にDSP200のデータバス204上を伝送させる画像の枚数をベイヤー画像データ換算で換算した値。
なお、Kは次式で求められる。
K=Kb×1+Ky×2+Kr×3
D:DSP200のデータバス204のビット幅
これらの変数を用いて、1秒間にDSP200へ入力されるデータ量(単位:ビット)DD1は、式13により求められる。
DD1=H×V×R×B×F …式13
また、1秒間にデータバス204で伝送すべきデータ量(単位:ビット)DD2は、式14により求められる。
DD2=H×V×R×B×F×K …式14
また、画像データを伝送させるために必要なデータバス204のクロック周波数(単位:Hz)Fclkは、式15により求められる。
Fclk=H×V×R×B×F×K/(D−DmodB) …式15
ここで、クロック周波数Fclkの好ましい範囲の下限値Fclk minは、式16により求めることができる。
Fclk min=(H×V×R×B×F×K×1.0)/(D−DmodB) …式16
ここで、データバス204上では、データ間に一切の隙間が無く絶えずデータが伝送されているわけではない。このため、データバス204を使って伝送する必要があるデータ量に基づいて、データバス204の動作周波数を求める場合には、データバス204の転送能力に数十%の余裕を持たせておくことが当業者間では広く知られている。
例えば、数%の余裕を持たせた場合には、持たせた余裕の量が少なすぎるおそれがある。一方、百数十%の余裕を持たせた場合には、余裕を持たせすぎである。これらについても当業者間では広く知られている。例えば、データバス204上のデータ伝送の間隔が空いてしまい、データバス204の伝送量が低下してしまうのは、数10%である。このため、データバス204の伝送能力として、最大で100%の余裕を持たせておけば、十分である。このため、クロック周波数Fclkの好ましい範囲の上限値は、以下のようになる。
ここで、クロック周波数Fclkの好ましい範囲の上限値Fclk maxは、式17により求めることができる。
Fclk max=(H×V×R×B×F×K×2.0)/(D−DmodB) …式17
このように、クロック周波数Fclkの好ましい範囲の下限値Fclk minおよび上限値Fclk maxを求めることができるため、データバス204のクロック周波数Fclkの好ましい範囲については、式18により定義することができる。
(H×V×R×B×F×K×1.0)/(D−DmodB)≦Fclk≦(H×V×R×B×F×K×2.0)/(D−DmodB) …式18
ここで、式16乃至式18に示す「D−DmodB」について説明する。
データバス204のビット幅が撮像素子の各画素のビット幅の整数倍になっていない場合には、画像メモリ170への書込み動作に無駄が生じる。例えば、データバス204のビット幅が128ビットであり、撮像素子の各画素のビット幅が12ビットである場合には、12ビットの画素データを11画素分転送することはできず、10画素分しか転送できない。このため、書込み動作として8ビット分の無駄が生じる。この無駄を示す量が、DmodBである。すなわち、データバス204のビット幅から、この無駄を示す量を減算した値(実効的なデータバス幅)が「D−DmodB」である。
上述した式16乃至式18に示すように、データバス204の好ましい動作周波数の範囲を算出する場合には、H、V、R、B、F、K、Dにより算出することができる。しかしながら、H、V、R、B、F、K、Dの各値は、携帯電話装置100により行われる撮像動作の内容に応じて変化する。このため、各撮像動作において設定されているH、V、R、B、F、K、Dの各値に応じて、データバス204の動作周波数を変化させることが好ましい。このように、データバス204の動作周波数を変化させることにより、DSP200において、データバス204の動作周波数を必要十分な値にまで低減させることができ、消費電力を低減させることができる。
図57は、本発明の第1の実施の形態における携帯電話装置100の各撮像動作についてデータバス204の動作周波数を決定するためのパラメータを示す図である。図57に示す各パラメータ(H1sr、V1sr等)を設定しておくことにより、携帯電話装置100の各撮像動作についてデータバス204の動作周波数を決定することができる。これらの各パラメータの一例を図58に示す。
図58は、本発明の第1の実施の形態における携帯電話装置100の各撮像動作についてデータバス204の動作周波数を決定するためのパラメータの一例を示す図である。この例では、静止画記録動作を行う場合を例にして示す。また、各パラメータに基づいて、データバス204の動作周波数の下限値Fclk_minおよび上限値Fclk_maxが予め算出することができる。なお、図58に示す例では、1秒間に静止画記録処理を行う画像の枚数、および、1秒間にモニタリング動作を行う画像の枚数を、30枚とする場合を示す。
[静止画記録動作の時分割処理例]
次に、静止画記録動作に関する時分割処理について説明する。この時分割処理は、例えば、静止画の撮像記録処理について、1フレームの期間内(すなわち、画像信号処理部220に供給される垂直同期信号1期間内)に終了させず、数フレームの期間に跨って各処理を行うことを意味するものとする。
例えば、近年、広く普及しているカメラ付き携帯電話装置を用いて、ユーザが比較的多くの静止画撮影を行う場合でも、数秒間に1枚程度であることが多い。このため、静止画記録動作を行う場合には、例えば、1枚の静止画の画像信号処理および記録処理等については、約1秒間かけて行うようにしても、ユーザの利便性を損なうおそれは少ないことが想定される。また、このように、1枚の静止画の画像信号処理および記録処理等を行うことにより、DSP200のデータバス204の動作周波数を低減させることができ、消費電力を削減させることができる。
なお、静止画を1枚記録した後に、その画像信号処理および記録処理等が終了するまでの間は、表示部140には「しばらくお待ちください」等のメッセージを表示して、静止画撮像処理を実行中であることを通知することができる。また、メッセージ以外に、静止画撮像処理を実行中であることを示すアイコンや標識を表示するようにしてもよく、モニタリング動作を並行して行い、モニタリング画像を表示するようにしてもよい。
図59および図60は、本発明の第1の実施の形態における画像信号処理部220により行われる時分割処理を模式的に示す図である。図59および図60に示す例は、モニタリング動作が行われている間に、静止画の記録指示操作が行われた場合における時分割処理を示す。図59に示す横軸は時間軸を示す。また、波形760は垂直同期信号を示す。また、横軸795は、データバス204を占有する処理と時間との関係を示す。横軸795に示す白抜きの矩形は、各フレームのモニタリング処理に必要なデータバス204を占有する処理を表す。また、横軸795に示す内部に斜線を付した矩形は、静止画の記録処理に必要なデータバス204を占有する処理(時分割処理)を表す。
上述したように、モニタリング動作が行われている場合には、静止画の撮像動作が行われている場合と比較して、データバス204を経由して伝送させることが必要なデータ量が少ない。ここで、例えば、区間796の何れかの時刻において、静止画の記録指示操作が行われた場合を想定する。この場合には、矢印797に示すフレーム3について静止画の記録動作が行われる。例えば、ユーザから記録指示操作が受け付けられた場合には、DSP200が、記録指示操作のタイミングに対応するフレーム(例えば、フレーム3)およびこれに続く複数フレーム(例えば、フレーム4乃至8)に跨って画像信号処理および記録処理を行う。この画像信号処理および記録処理が行われている間、撮像素子とDSP200は、モニタリング動作を並行して行う。そして、記録動作が終了した場合には(例えば、矢印798に示す時刻)、撮像素子とDSP200はモニタリング動作のみを行う。
なお、静止画の記録処理の時分割処理を行う場合に、時分割処理が行われている間はモニタリング動作を行わず、表示部140に単一色、または、予め用意されている画像を表示するようにしてもよい。また、これらの画像と、ユーザに画像記録処理中であることを知らせるメッセージ等とを表示するようにしてもよい。
図60には、上述した時分割処理において、垂直同期信号の期間内にモニタリング動作および記録処理の時分割処理を行うために、DSP200のデータバス204を経由して伝送させることが必要なデータ量を示す。なお、図60に示す例は、図56に示す例の一部を変形したものであり、図60(b)において記録動作時分割処理759を追加した点が異なる。なお、図60に示す例と共通する部分には、同一の符号を付す。
例えば、図60(a)に示す記録処理を12分割する。そして、図60(b)に示すように、モニタリング動作においては、1フレームについてベイヤー画像2枚分のデータ伝送を伴う量だけ各信号処理(例えば、記録動作時分割処理759)を行う。そして、記録処理が開始されたフレーム以降では、記録動作開始後のモニタリング動作を行いながら、記録処理のための信号処理を行う。ただし、最初の1つ目の処理は、画像メモリ170への画像データの書込みを完了させるため、必ずベイヤー画像1枚分と同等以上にする。なお、図60(b)に示す矩形751乃至753、756は、図59に示す横軸795における白抜きの矩形に対応し、図60(b)に示す矩形759は、図59に示す横軸795における内部に斜線を付した矩形に対応する。
図61は、本発明の第1の実施の形態における携帯電話装置100の静止画記録動作についてデータバス204の動作周波数を決定するためのパラメータの一例を示す図である。図61に示す例は、1秒間に静止画記録処理を行う画像の枚数を1枚とした点およびこれに関連する値を変更した点以外は、図58と同様である。このように、1秒間に静止画記録処理を行う画像の枚数を1枚とすることにより、データバス204の動作周波数の下限値Fclk_minおよび上限値Fclk_maxを低減させることができる。また、DSP200の消費電力を削減させることができる。
ここで、上述したように、モニタリング動作において生成される画像は、観賞用の画像でないため、画素データを間引きして消費電力を削減することが好ましい。そこで、図58および図61に示す例でも、モニタリング動作の場合には、画素データの間引き率として1よりも小さい値を用いている。このため、DSP200のデータバス204に必要とされる動作周波数が、図58および図61に示す静止画記録動作において、データバス204に必要とされる動作周波数よりも小さくすることができ、消費電力を削減することができる。
図62は、本発明の第1の実施の形態における携帯電話装置100の動画記録動作についてデータバス204の動作周波数を決定するためのパラメータの一例を示す図である。図62に示す例は、図57に示す各パラメータとして、動画記録動作の一例を示す。
ここで、3眼横長広角画像撮像モードが設定されている場合には、単眼横長画像撮像モードが設定されている場合と比較して画像データ量が約3倍となる。このため、例えば、静止画記録動作を行う場合には、垂直同期信号の数個分の時間をかけて(すなわち、数フレーム分の時間をかけて)、大きな画像の信号処理を行うことができる。これにより、データバス204に必要とされる動作周波数が大きくなり過ぎることを抑制することができる。しかしながら、動画記録動作を行う場合には、フレーム毎に新たな画像が入力されるため、1フレームの期間内で3眼の画像データを信号処理することが必要となる。そこで、データバス204に必要とされる動作周波数が大きくなり過ぎることを抑制するため、図62に示すように、画像の間引き処理を行い、データ量を低減することが好ましい。
[画像データの取り込み遅延の対策例]
本発明の第1の実施の形態では、3個の撮像素子からDSP200へ同時に入力される3枚の画像データをリングバッファ構造の画像バッファに一時的に保持させる。このリングバッファ構造の画像バッファを用いることにより、3個の撮像素子からDSP200へ同時に入力される3枚の画像データを、1本のデータバス204および画像メモリとのI/F205を介して、最小1個の画像メモリ170に書き込むことができる。しかしながら、リングバッファ構造の画像バッファ211乃至219を用いる場合には、以下で示すように、画像バッファ211乃至219から読み出されてDSP200内部へ取り込まれるまでに画像データの遅延が発生する。そこで、このように発生する遅延に対する処理を行うことが必要となる。
図63は、本発明の第1の実施の形態における画像バッファ211乃至219への書き込みタイミングと、DSP200内部へ取り込みタイミングとの様子を模式的に表すタイミングチャートである。図63に示す横軸は時間軸を示す。また、波形761は、DSP200から各撮像系への垂直同期信号を示し、波形762は、DSP200から各撮像系への水平同期信号を示す。なお、波形762におけるBP1は、2ライン分の垂直バックポーチを示す。なお、図63に示す例では、画像バッファ211乃至219の1つの容量が、撮像素子134乃至136からDSP200へ入力される画像データの1ライン分のデータ量と同じ場合を想定する。
横軸763には、第1の撮像系191からDSP200に入力される画像データの時間遷移を示し、横軸764には、第2の撮像系192からDSP200に入力される画像データの時間遷移を示す。また、横軸765には、第3の撮像系193からDSP200に入力される画像データの時間遷移を示す。
また、横軸766には、画像バッファ211乃至213の書き込み状態の時間遷移を示し、横軸767には、画像バッファ214乃至216の書き込み状態の時間遷移を示し、横軸768には、画像バッファ217乃至219の書き込み状態の時間遷移を示す。なお、図63に示す例では、各撮像系に対応する1組の3つの画像バッファの書き込み状態を同一ライン上に示す。
また、横軸769には、DSP200の画像バッファ211乃至219からのデータ読出し、および、DSP200内部へのデータ送出の対象となる画像データを示す。
また、波形770は、DSP200から各撮像系へ入力した垂直同期信号と同じタイミングの垂直同期信号を示し、波形771は、DSP200内部へ供給するために遅延させた垂直同期信号を示す。また、波形770におけるBP2は、4ライン分の垂直バックポーチを示し、波形771におけるBP3は、2ライン分の垂直バックポーチを示す。
図63に示すように、画像バッファ211乃至219への画像の有効データの書込みが開始されてから、このデータが画像バッファから読み出されてDSP200内部へ取り込まれるまでに、2ライン分の遅延が発生する。
図64は、本発明の第1の実施の形態における画像バッファ211乃至219への書き込みタイミングと、DSP200内部へ取り込みタイミングとの様子を模式的に表すタイミングチャートである。図64に示す横軸は時間軸を示す。また、波形781は、DSP200から各撮像系への水平同期信号を示す。なお、波形781におけるBP4は、撮像素子134乃至136により生成された画像における水平バックポーチを示す。なお、図63に示す例では、画像バッファ211乃至219の1つの容量が、撮像素子134乃至136からDSP200へ入力される画像データの1ライン分のデータ量の1/3と同じ場合を想定する。
横軸782には、第1の撮像系191からDSP200に入力される画像データの時間遷移を示し、横軸783には、第2の撮像系192からDSP200に入力される画像データの時間遷移を示す。また、横軸784には、第3の撮像系193からDSP200に入力される画像データの時間遷移を示す。
また、横軸785には、画像バッファ211乃至213の書き込み状態の時間遷移を示し、横軸786には、画像バッファ214乃至216の書き込み状態の時間遷移を示し、横軸787には、画像バッファ217乃至219の書き込み状態の時間遷移を示す。なお、図64に示す例では、各撮像系に対応する1組の3つの画像バッファの書き込み状態を同一ライン上に示す。
また、横軸789には、DSP200の画像バッファ211乃至219からのデータ読出し、および、DSP200内部へのデータ送出の対象となる画像データを示す。
また、波形790は、DSP200から各撮像系へ入力した水平同期信号と同じタイミングの水平同期信号を示し、波形791は、DSP200内部へ供給するために遅延させた水平同期信号を示す。また、波形790におけるBP5は、水平バックポーチを示し、波形791におけるBP6は、水平バックポーチを示す。
図64に示すように、画像バッファ211乃至219への画像の有効データの書込みが開始されてから、このデータが画像バッファから読み出されてDSP200内部へ取り込まれるまでに、画像の有効データ領域の2/3ライン分の遅延が発生する。
これらの遅延を取り除き、垂直同期信号と画像の有効データとの間隔、および、水平同期信号と画像の有効データとの間隔を、撮像素子134乃至136において画像データが生成された際の間隔と同じにすることが必要である。このために、本発明の第1の実施の形態では、少なくともDSP200内部の画像信号処理部220の一部には、DSP200から撮像素子134乃至136へ入力した同期信号と周期が同じで位相が遅れた信号を使用する。また、DSP200の撮像制御部201が、DSP200から撮像素子134乃至136へ入力する同期信号を生成して供給するとともに、撮像素子134乃至136へ入力した同期信号と周期が同じで位相が遅れた信号も生成する。そして、この生成された同期信号をDSP200内の各部に供給する。
[撮像装置の動作例]
図65は、本発明の第1の実施の形態における携帯電話装置100による撮像制御処理の処理手順を示すフローチャートである。
最初に、携帯電話装置100において電源が投入される(ステップS901)。続いて、撮像動作の開始指示操作が受け付けられたか否かが判断される(ステップS902)。例えば、ユーザが、表示部140におけるメニュー画面において、撮像動作の開始を指示する指示操作を行うことにより、撮像動作を開始させることができる。撮像動作の開始指示操作が受け付けられていない場合には(ステップS902)、撮像動作の開始指示操作が受け付けられるまで、監視を継続する。
撮像動作の開始指示操作が受け付けられた場合には(ステップS902)、回動状態検出部150が、第2の筐体120の回動状態を検出する(ステップS903)。なお、ステップS903は、特許請求の範囲に記載の検出手順の一例である。続いて、撮像制御部201が、第2の筐体120の回動状態が横長状態であるか否かを判断し(ステップS904)、第2の筐体120の回動状態が横長状態である場合には、横長状態撮像処理が行われる(ステップS910)。なお、横長状態撮像処理については、図66を参照して詳細に説明する。一方、第2の筐体120の回動状態が縦長状態である場合には、縦長状態撮像処理が行われる(ステップS950)。なお、横長状態撮像処理については、図69を参照して詳細に説明する。また、ステップS904、S910およびS950は、特許請求の範囲に記載の制御手順の一例である。
続いて、撮像動作の終了指示操作が受け付けられたか否かが判断される(ステップS905)。撮像動作の終了指示操作が受け付けられていない場合には(ステップS905)、ステップS903に戻る。一方、撮像動作の終了指示操作が受け付けられた場合には(ステップS905)、撮像制御処理の動作を終了する。
図66は、本発明の第1の実施の形態における携帯電話装置100による撮像制御処理の処理手順のうちの横長状態撮像処理(図65に示すステップS910の処理手順)を示すフローチャートである。
最初に、撮像制御部201が、初期設定として3眼横長広角画像撮像モードを設定する(ステップS911)。続いて、撮像制御部201が、静止画/動画撮像モードのうちの何れの撮像モードが設定されているかを判断する(ステップS912)。静止画撮像モードが設定されている場合には(ステップS912)、静止画撮像処理が行われる(ステップS920)。なお、静止画撮像処理については、図67を参照して詳細に説明する。一方、動画撮像モードが設定されている場合には(ステップS912)、動画撮像処理が行われる(ステップS930)。なお、動画撮像処理については、図68を参照して詳細に説明する。
続いて、撮像範囲切替指示操作が受け付けられたか否かが判断される(ステップS913)。例えば、図1等に示す撮像範囲切替スイッチ111が押下されたか否かが判断される。撮像範囲切替指示操作が受け付けられていない場合には(ステップS913)、ステップS915に進む。一方、撮像範囲切替指示操作が受け付けられた場合には(ステップS913)、撮像制御部201が、受け付けられた撮像範囲切替指示操作に応じて撮像モードを切り替える(ステップS914)。例えば、撮像範囲切替スイッチ111が押下される毎に、(1)3眼横長広角画像撮像モード、(2)3眼横長狭角画像撮像モード、(3)単眼横長画像撮像モード、(4)単眼縦長画像撮像モード、(5)単眼縦長小領域画像撮像モードの順序で切替が行われる。
続いて、第2の筐体120の回動状態に変化があったか否かが判断され(ステップS915)、第2の筐体120の回動状態に変化がない場合には、ステップS912に戻る。一方、第2の筐体120の回動状態に変化があった場合には(ステップS915)、横長状態撮像処理の動作を終了する。
図67は、本発明の第1の実施の形態における携帯電話装置100による撮像制御処理の処理手順のうちの静止画撮像処理(図66に示すステップS920の処理手順)を示すフローチャートである。
最初に、設定された撮像モードに応じて、モニタリング処理が行なわれる(ステップS921)。例えば、3眼横長広角画像撮像モードが設定されている場合には、図29(a)に示す太線の範囲内の画像が、図29(b)に示すように、モニタリング画像として表示部140に表示される。また、上述したように、モニタリング処理時には、画素間引き処理や画素加算処理を行うようにしてもよい。
続いて、静止画の記録指示操作が受け付けられたか否かが判断される(ステップS922)。例えば、モニタリング画像が表示部140に表示されている状態で、決定キー114が押下されたか否かが判断される。静止画の記録指示操作が受け付けられていない場合には(ステップS922)、ステップS924に進む。一方、静止画の記録指示操作が受け付けられた場合には(ステップS922)、設定された撮像モードに応じて、静止画記録処理が行われる(ステップS923)。例えば、3眼横長広角画像撮像モードが設定されている場合には、図29(a)に示す太線の範囲内の画像が、記録媒体180に記録される。
続いて、撮像範囲切替指示操作が受け付けられたか否かが判断される(ステップS924)。撮像範囲切替指示操作が受け付けられていない場合には(ステップS924)、第2の筐体120の回動状態に変化があったか否かが判断される(ステップS925)。第2の筐体120の回動状態に変化がない場合には(ステップS925)、静止画撮像モードから動画撮像モードへの切替操作が受け付けられたか否かが判断される(ステップS926)。例えば、静止画撮像モードが設定されている状態で、静止画/動画切替スイッチ112が押下されたか否かが判断される。撮像範囲切替指示操作の受け付け、第2の筐体120の回動状態変化、静止画撮像モードから動画撮像モードへの切替操作の受け付けの何れかがあった場合には(ステップS924乃至S926)、静止画撮像処理の動作を終了する。一方、撮像範囲切替指示操作の受け付け、第2の筐体120の回動状態変化、静止画撮像モードから動画撮像モードへの切替操作の受け付けの何れもなかった場合には(ステップS924乃至S926)、ステップS921に戻る。
図68は、本発明の第1の実施の形態における携帯電話装置100による撮像制御処理の処理手順のうちの動画撮像処理(図66に示すステップS930の処理手順)を示すフローチャートである。
最初に、設定された撮像モードに応じて、モニタリング処理が行われる(ステップS931)。
続いて、動画の記録開始指示操作が受け付けられたか否かが判断される(ステップS932)。例えば、モニタリング画像が表示部140に表示されている状態で、決定キー114が押下されたか否かが判断される。動画の記録開始指示操作が受け付けられていない場合には(ステップS932)、ステップS935に進む。一方、動画の記録開始指示操作が受け付けられた場合には(ステップS932)、設定された撮像モードに応じて、動画記録処理が行われる(ステップS933)。続いて、動画の記録終了指示操作が受け付けられたか否かが判断される(ステップS934)。例えば、動画記録処理が行われている状態で、決定キー114が再押下されたか否かが判断される。動画の記録終了指示操作が受け付けられていない場合には(ステップS934)、動画記録処理が継続して行われる(ステップS933)。一方、動画の記録終了指示操作が受け付けられた場合には(ステップS934)、動画記録処理を終了してステップS935に進む。
続いて、撮像範囲切替指示操作が受け付けられたか否かが判断される(ステップS935)。撮像範囲切替指示操作が受け付けられていない場合には(ステップS935)、第2の筐体120の回動状態に変化があったか否かが判断される(ステップS936)。第2の筐体120の回動状態に変化がない場合には(ステップS936)、動画撮像モードから静止画撮像モードへの切替操作が受け付けられたか否かが判断される(ステップS937)。撮像範囲切替指示操作の受け付け、第2の筐体120の回動状態変化、動画撮像モードから静止画撮像モードへの切替操作の受け付けの何れかがあった場合には(ステップS935乃至S937)、動画撮像処理の動作を終了する。一方、撮像範囲切替指示操作の受け付け、第2の筐体120の回動状態変化、動画撮像モードから静止画撮像モードへの切替操作の受け付けの何れもなかった場合には(ステップS935乃至S937)、ステップS931に戻る。なお、動画撮像モードが設定されている場合には、静止画撮像モードよりも間引き率を上げて動画記録処理を行うようにしてもよい。
図69は、本発明の第1の実施の形態における携帯電話装置100による撮像制御処理の処理手順のうちの縦長状態撮像処理(図65に示すステップS950の処理手順)を示すフローチャートである。
最初に、撮像制御部201が、初期設定として単眼縦長画像撮像モードを設定する(ステップS951)。続いて、撮像制御部201が、静止画/動画撮像モードのうちの何れの撮像モードが設定されているかを判断する(ステップS952)。静止画撮像モードが設定されている場合には(ステップS952)、静止画撮像処理が行われる(ステップS960)。なお、静止画撮像処理については、表示部140に表示される画像が異なる点以外は、図67に示す処理手順と略同一である。このため、以下での説明を省略する。一方、動画撮像モードが設定されている場合には(ステップS952)、動画撮像処理が行われる(ステップS970)。なお、動画撮像処理については、表示部140に表示される画像が異なる点以外は、図68に示す処理手順と略同一である。このため、以下での説明を省略する。
続いて、撮像範囲切替指示操作が受け付けられたか否かが判断される(ステップS953)。撮像範囲切替指示操作が受け付けられていない場合には(ステップS953)、ステップS955に進む。一方、撮像範囲切替指示操作が受け付けられた場合には(ステップS953)、撮像制御部201が、受け付けられた撮像範囲切替指示操作に応じて撮像モードを切り替える(ステップS954)。例えば、撮像範囲切替スイッチ111が押下される毎に、(1)単眼縦長画像撮像モード、(2)単眼縦長小領域画像撮像モード、(3)単眼横長画像撮像モード、(4)3眼横長狭角画像撮像モードの順序で切替が行われる。
続いて、第2の筐体120の回動状態に変化があったか否かが判断され(ステップS955)、第2の筐体120の回動状態に変化がない場合には、ステップS952に戻る。一方、第2の筐体120の回動状態に変化があった場合には(ステップS955)、縦長状態撮像処理の動作を終了する。
以上で示したように、本発明の第1の実施の形態では、複数の撮像モードの切替を容易に行うことができる。ここで、例えば、携帯電話装置の通話操作、電子メールの文章作成や文章読み取り等の操作を行う場合には、筐体を縦長にして使用することが多い。このため、例えば、カメラ付き携帯電話装置を用いて撮影が行われる場合にも、筐体および表示装置を縦長の状態にして撮影し、縦長の画像を記録することが多い。また、このように記録された縦長の画像について、例えば、携帯電話装置のユーザの間で再生または伝送等が行われることも多い。
しかしながら、人間の視野は横方向にもっと広い。このため、横縦比が大きい画像を記録することにより、人間の視野に入る領域に近い撮像範囲の画像を記録することができ、ユーザに与える違和感を軽減させることができると想定される。そこで、本発明の第1の実施の形態では、カメラ付き携帯電話装置のユーザが広く慣れ親しんでいる縦長画像と、人間の視野に比較的近い画角の大きな画像(例えば、パノラマ画像)との切替を第2の筐体120の回動操作のみで行うことができる。このように、比較的容易な操作により、縦長画像と画角の大きな画像とを切り替えることができるため、撮影タイミングを逃してしまうことを防止することができる。また、ユーザ好みの画像を容易に撮影することができる。
また、カメラ付き携帯電話装置のユーザが広く慣れ親しんでいる縦長画像については、単眼縦長画像撮像モードまたは単眼縦長小領域画像撮像モードにおいて表示または記録することができる。また、人間の視野に比較的近い画角の大きな画像(例えば、パノラマ画像)については、3眼横長広角撮像モード、3眼横長狭角撮像モード、単眼縦長画像撮像モードにおいて表示または記録することができる。また、これらの切替についても、撮像範囲切替スイッチ111により容易に行うことができる。このように、比較的容易な操作により、複数種類の画像を切り替えることができるため、撮影タイミングを逃してしまうことを防止することができる。また、ユーザ好みの画像を容易に撮影することができる。
[携帯電話装置の変形例]
図70および図71は、本発明の第1の実施の形態における携帯電話装置100の変形例を示す図である。
図70には、表示部および撮像部が同一の筐体に備えられている携帯電話装置1040を示す。図70(a)には、携帯電話装置1040を使用する際における一態様の正面側を示し、図70(b)には、その態様における背面側を示す。また、図70(c)には、携帯電話装置1040を使用する際における他の態様の正面側を示し、図70(d)には、その態様における背面側を示す。
携帯電話装置1040は、第1の筐体110および第2の筐体120を備える。また、第2の筐体120は、表示部140および撮像部1041を備える。なお、携帯電話装置1040は、表示部および撮像部が同一の筐体に備えられている点以外は、携帯電話装置100と略同一である。このため、携帯電話装置100と共通する部分には、同一の符号を付して、その説明を省略する。
撮像部1041は、配置されている位置が異なる点以外は、携帯電話装置100に備えられている撮像部130と略同一である。すなわち、撮像部1041において、3個の撮像系が所定の規則に従って並べて配置され、中央の撮像素子が縦長状態とされ、左右の撮像素子が横長状態とされて配置されている。
図71には、1つの筐体により構成されている携帯電話装置1050を示す。図71(a)には、携帯電話装置1050を使用する際における一態様の正面側を示し、図71(b)には、その態様における背面側を示す。また、図71(c)には、携帯電話装置1050を使用する際における他の態様の正面側を示す。
携帯電話装置1050は、1つの筐体により構成され、表示部140、撮像部1051および姿勢検出部1052を備える。なお、携帯電話装置1050は、1つの筐体により構成されている点、回動状態検出部150の代わりに姿勢検出部1052を備える点、および、撮像部が配置されている位置が異なる点以外は、携帯電話装置100と略同一である。このため、携帯電話装置100と共通する部分には、同一の符号を付して、その説明を省略する。
撮像部1051は、配置されている位置が異なる以外の点は、携帯電話装置100に備えられている撮像部130と略同一である。すなわち、撮像部1051において、3個の撮像系が所定の規則に従って並べて配置され、中央の撮像素子が縦長状態とされ、左右の撮像素子が横長状態とされて配置されている。
姿勢検出部1052は、回動状態検出部150の代わりに、携帯電話装置1050に内蔵されているものであり、携帯電話装置1050に加えられた加速度、動き、傾き等を検出するものである。姿勢検出部は、例えば、ジャイロセンサ、転倒センサ、重力センサ等により実現される。そして、検出された各情報を姿勢情報として撮像制御部201に出力する。撮像制御部201は、検出された姿勢情報に基づいて、携帯電話装置1050が横長状態であるか縦長状態であるかを検出する。そして、検出された状態に基づいて、撮像動作の制御を行う。例えば、携帯電話装置100の第2の筐体が横長状態であるか、縦長状態であるかに応じて行われた制御と同様の撮像制御を行うことができる。また、所定の操作部材を用いた操作入力に応じて撮像範囲を変更する撮像制御を行うようにしてもよい。この操作入力として、例えば、操作ボタンやタッチパネルによる操作入力を想定することができる。なお、姿勢検出部1052は、特許請求の範囲に記載の検出部の一例である。
このように、各態様の携帯電話装置に本発明の第1の実施の形態を適用することができる。
<2.第2の実施の形態>
本発明の第1の実施の形態では、複数の撮像系を備える携帯電話装置を例にして説明した。本発明の第2の実施の形態では、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置について説明する。
[撮像装置の外観構成例]
図72は、本発明の第2の実施の形態における撮像装置1000の外観構成を示す図である。図72(a)には、撮像装置1000の正面側(被写体側)の斜視図を示し、図1(b)および(c)には、撮像装置1000の背面側(撮影者側)の斜視図を示す。撮像装置1000は、第1の筐体1010および第2の筐体1020が回動部材1001により回動可能に連結されて構成される。撮像装置1000は、例えば、3つの撮像系を備えるデジタルスチルカメラにより実現される。なお、図72では、説明の容易のため、撮像装置1000を簡略化して示し、撮像装置1000の外側面に備えられている電源スイッチ等の図示を省略する。
第1の筐体1010は、撮像範囲切替スイッチ1011と、静止画/動画切替スイッチ1012と、シャッターボタン1013と、撮像部1030とを備える。撮像範囲切替スイッチ1011、静止画/動画切替スイッチ1012および撮像部1030については、図1等に示す撮像範囲切替スイッチ111、静止画/動画切替スイッチ112および撮像部130と略同一であるため、ここでの説明を省略する。なお、撮像範囲切替スイッチ1011は、特許請求の範囲に記載の操作受付部の一例である。
シャッターボタン1013は、画像の記録開始を指示する操作部材である。例えば、静止画撮像モードが設定されている場合に、撮像部1030により生成された画像データを静止画ファイルとして記録媒体に記録する際に押下される。
第2の筐体1020は、表示部1021を備える。表示部1021については、図1等に示す表示部140と略同一であるため、ここでの説明を省略する。また、撮像装置1000は、第1の筐体1010および第2の筐体1020が回動可能に接続されている。すなわち、回動部材1001(点線で示す)を回動基準として、第1の筐体1010に対して第2の筐体1020を回動させることができる。これにより、第1の筐体1010に対する第2の筐体1020の相対的な位置関係を変化させることができる。例えば、図72(b)に示す矢印1002方向に第2の筐体1020を90度回動させた場合における形態を図72(c)に示す。そして、本発明の第1の実施の形態と同様に、第2の筐体1020が横長状態であるか縦長状態であるかに基づいて、撮像動作の制御が行われる。
なお、本発明の実施の形態では、3つの撮像系を備える携帯電話装置および撮像装置を例にして説明したが、例えば、5つ以上の奇数個の撮像系を備える携帯電話装置および撮像装置等に本発明の実施の形態を適用することができる。すなわち、5つ以上の奇数個の撮像系を一定の規則で並べて配置し、中央の撮像素子を縦長状態とし、他の左右の撮像素子を横長状態として構成することにより、本発明の実施の形態を適用することができる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。