以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(表示制御:パノラマ画像における複数の領域を、表示部の長手方向において複数段となるように表示させる例)
2.第2の実施の形態(撮像部を可動式にして配置する情報処理装置の例)
<1.第1の実施の形態>
[情報処理装置の外観構成例]
図1は、本技術の第1の実施の形態における情報処理装置100の外観構成例を示す図である。図1のaには、情報処理装置100の上面図を示し、図1のbには、情報処理装置100の正面図を示す。また、図1のcには、情報処理装置100の側面図を示し、図1のdには、情報処理装置100の背面図を示す。また、図1のeには、情報処理装置100の電子基板の配置例を示す。
情報処理装置100は、例えば、複数の撮像部を備える情報処理装置(例えば、複眼カメラ付きスマートフォンや複眼カメラ付き携帯電話)により実現される。なお、図1では、説明の容易のため、情報処理装置100を簡略化して示し、情報処理装置100の外側面に備えられている電源スイッチ等の図示を省略する。また、情報処理装置100の筐体内に備えられている回路等の詳細についても図示を省略する。なお、情報処理装置100は、特許請求の範囲に記載の情報処理装置および表示装置の一例である。
ここで、本技術の実施の形態では、画像の縦方向サイズに対する横方向サイズの比を、「横縦比」と定義して説明する。また、デジタルハイビジョン画像の横縦比(16:9)よりも横縦比が大きい画像を「パノラマ画像」と定義して説明する。
情報処理装置100は、電子基板101と、電池格納部102と、切替スイッチ111と、決定キー112と、撮像部130と、表示部140とを備える。
電子基板101は、画像の撮像機能以外の機能を主に司る電子基板である。ここで、本技術の実施の形態では、情報処理装置100の筐体の短辺と平行になるように配置される複数の撮像系(撮像部130)を、可能な限り筐体短辺の外縁に近付けて配置するようにする。すなわち、複数の撮像系(撮像部130)と筐体短辺の外縁との間に、画像撮影と表示以外の機能の担う電子基板を配置しないようにする。また、複数の撮像系(撮像部130)と筐体短辺の外縁との間に配置する電子基板の面積を、情報処理装置100内に配置する電子基板であり、かつ、画像撮影と表示以外の機能を担う電子基板の面積の1/2以下とすることが好ましい。
電池格納部102は、電池が格納される領域である。
切替スイッチ111は、2つの機能を切替える際に用いられる操作部材(いわゆる、トグルスイッチ)である。例えば、切替スイッチ111は、静止画を記録するための静止画撮像モードと、動画を記録するための動画撮像モードとの何れかの撮像モードに切替える際に用いられる。また、例えば、切替スイッチ111は、スクロール方法(図41乃至図43に示すスクロールの有無)を変更する際に用いられる。
決定キー112は、ユーザによる各種機能を設定する際等に押下される操作部材である。例えば、静止画撮像モードが設定されている場合に押下されると、シャッターボタンとして機能する。
なお、テンキーや十字キーについては、ユーザ操作や自動で表示部140に適宜表示される。そして、その表示されたテンキーや十字キーをユーザが操作することができる。
撮像部130は、被写体を撮像して画像データを生成するものである。なお、本技術の実施の形態では、撮像部130による画像データの生成には、撮像部130による撮影の意味を含むものとする。なお、図1のbに示す撮像部130における丸は、撮像部130が備える複数の撮像系の各レンズを模式的に表すものである。すなわち、本技術の実施の形態では、3個のレンズ群が特定方向に並べて配置されている撮像部130を例にして説明する。また、図1のaに示すように、3個のレンズ群のうちの真中のレンズ群(光学系131)における光軸(光学系131を通過して撮像素子134に入射する光軸)が、表示部140の表示面に直交(または、略直交)するものとする。また、図1のaに示すように、3個のレンズ群(光学系131乃至133)における光軸が、1点で交わるものとする。ここで、特定方向は、例えば、表示部140の長手方向(情報処理装置100の長手方向)と直交する方向とすることができる。なお、図1に示す撮像部130を構成する各部については、説明の容易のため、簡略化して示す。
表示部140は、各種画像を表示する表示装置であり、例えば、タッチパネルにより構成される。表示部140には、例えば、撮像動作により生成された画像が表示される。表示部140として、例えば、LCD(Liquid Crystal Display)パネル、有機EL(Electro Luminescence)パネル等を用いることができる。ここで、カメラ付き情報処理装置(例えば、複眼カメラ付きスマートフォン)や一般的な撮像装置が備える表示部140の横対縦の比は、4:3または16:9であることが多い。そこで、本技術の第1の形態では、表示部140の横対縦の比を4:3とする例について説明する。
ここで、図1のb乃至dに示すように、情報処理装置100の長手方向を垂直方向(重力方向と平行な方向)と同一とする状態を、情報処理装置100の縦長状態と称する。また、情報処理装置100の長手方向を水平方向(重力方向と垂直な方向)と同一とする状態(すなわち、表示部140の表示面に直交する軸を回転軸として、縦長状態の情報処理装置100を90度回転させた状態)を、情報処理装置100の横長状態と称する。
このように、複眼の情報処理装置100を用いることにより、例えば、静止画のパノラマ画像を撮影する場合に、シャッターボタンを押下した直後に複数の撮像系で同時に撮影した画像を連結してパノラマ画像を形成することができる。なお、撮像位置(撮影者の位置)を回転中心として水平方向に撮像装置を回転移動させる操作(いわゆる、パンニング操作)によりパノラマ画像を生成することが可能な単眼の撮像装置が存在する。この単眼の撮像装置によりパノラマ画像を生成する場合には、上述したようにパンニング操作が必要となるため、シャッターボタンを押下した直後にパノラマ画像を生成することはできない。これに対して、情報処理装置100は、その単眼の撮像装置よりもパノラマ画像を短時間で撮影することができる。
[情報処理装置の内部構成例]
図2は、本技術の実施の形態における情報処理装置100の内部構成例を示す図である。
情報処理装置100は、アプリケーションプロセッサ11と、デジタルベースバンド処理部12と、アナログベースバンド処理部13と、RF(Radio Frequency)処理部14とを備える。また、情報処理装置100は、電池15と、マイクロフォン16と、スピーカ17と、アンテナ18と、切替スイッチ111と、決定キー112と、撮像部130と、表示部140とを備える。また、情報処理装置100は、姿勢検出部150と、プログラムメモリ160と、画像メモリ170と、記録媒体180と、DSP(Digital Signal Processor)200とを備える。なお、RF処理部14には、アンテナ18が備えられ、アナログベースバンド処理部13には、マイクロフォン16およびスピーカ17が備えられている。
アプリケーションプロセッサ11は、内蔵するメモリに記憶される各種プログラムに基づいて情報処理装置100の各部を制御するものである。アプリケーションプロセッサ11は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)を備えて構成される。
例えば、受話動作が行われる場合には、アンテナ18により受信された電波が、RF処理部14およびアナログベースバンド処理部13を経由して、デジタルベースバンド処理部12により復調される。そして、デジタルベースバンド処理部12による復調結果が、アナログベースバンド処理部13を経由してスピーカ17から出力される。
また、送話動作が行われる場合には、マイクロフォン16から入力された音声が、アナログベースバンド処理部13を経由して、デジタルベースバンド処理部12により変調される。そして、復調された音声データが、アナログベースバンド処理部13およびRF処理部14を経由してアンテナ18から送信される。
また、ユーザにより撮像動作の開始指示操作が行われると、情報処理装置100において撮像動作が行われる。例えば、ユーザにより撮像動作の開始指示操作が行われると、アプリケーションプロセッサ11が撮像動作に関する各部(撮像部130、DSP200等)に撮像動作の開始を指示し、これらの各部を起動させる。そして、起動された各部により撮像動作が行われ、生成された画像が表示部140に表示される。ここで、ユーザにより画像の記録指示操作が行われると、生成された画像が記録媒体180に記録される。また、ユーザにより画像を無線伝送する指示操作が行われると、生成された画像が無線伝送される。例えば、生成された画像データがデジタルベースバンド処理部12により変調され、アナログベースバンド処理部13およびRF処理部14を経由してアンテナ18から送信される。なお、電池15は、情報処理装置100に電源を供給する電池である。
なお、切替スイッチ111、決定キー112、撮像部130、表示部140、姿勢検出部150、プログラムメモリ160、画像メモリ170、記録媒体180およびDSP200については、図3、図7等を参照して詳細に説明する。
[撮像部の内部構成例]
図3は、本技術の実施の形態における撮像部130の内部構成例を示す図である。また、図3では、撮像部130と接続されるDSP200の一部を示す。なお、DSP200の全体構成については、図7および図8を参照して詳細に説明する。
撮像部130は、3個の撮像系(第1の撮像系191乃至第3の撮像系193)と、電源制御部207と、電源供給部208および209とを備える。また、3つの撮像系は、特定方向に並べて配置される。すなわち、第1の撮像系191が中央に配置され、第1の撮像系191の両側に第2の撮像系192および第3の撮像系193が配置される。
第1の撮像系191は、光学系131、撮像素子134およびDSPとのI/F(インターフェース)137を備える。また、第2の撮像系192は、光学系132、撮像素子135およびDSPとのI/F138を備える。また、第3の撮像系193は、光学系133、撮像素子136およびDSPとのI/F139を備える。なお、第1の撮像系191乃至第3の撮像系193の構成は略同一であるため、ここでは、主に第1の撮像系191の構成について説明し、第2の撮像系192および第3の撮像系193の説明を省略する。
光学系131は、被写体からの光を集光する複数のレンズ(ズームレンズおよびフォーカスレンズを含む)により構成される。また、これらの各レンズを通過した光の量(すなわち、露出)が絞り(図示せず)により調整される。そして、集光された被写体からの光が撮像素子134に入射される。
撮像素子134は、光学系131を介して入射された被写体像を結像して画像信号を生成する撮像素子である。すなわち、撮像素子134は、光学系131を介して入射された被写体からの光を受光して光電変換を行うことにより、光の受光量に応じたアナログの画像信号を生成する。このように撮像素子134により生成されたアナログの画像信号がDSPとのI/F137を介してDSP200に供給される。なお、撮像素子として、例えば、CCD(Charge Coupled Device)型やCMOS(Complementary Metal Oxide Semiconductor)型の固体撮像素子を用いることができる。
DSPとのI/F137は、撮像素子134と、DSP200とを接続するためのインターフェースである。
電源制御部207は、DSP200の撮像制御部201(図7に示す)からの電源制御の指示に基づいて、電源供給部208および209を制御するものである。すなわち、電源制御部207は、撮像制御部201からの電源制御の指示を受け付けると、電源供給部208および209が制御信号の入力仕様として要求する信号の振幅と信号の立ち上がり速度および立ち下がり速度に準拠した信号を作成する。そして、この作成された信号を電源供給部208および209に出力し、電源供給部208および209を制御する。なお、撮像制御部201の出力信号が、電源供給部208および209の制御信号の入力仕様に準拠している場合には、撮像制御部201の出力信号を電源供給部208および209に直接入力するようにしてもよい。
電源供給部208は、電源制御部207の制御に基づいて、第1の撮像系191へ電源を供給するものである。また、電源供給部209は、電源制御部207の制御に基づいて、第2の撮像系192および第3の撮像系193へ電源を供給するものである。なお、電源供給部208および209は、例えば、市販の電源IC(Integrated Circuit)により実現される。
また、第1の撮像系191乃至第3の撮像系193のそれぞれは、1つのデータ線と7種類の信号線とを介してDSP200と接続されている。ここで、第1の撮像系191およびDSP200を接続する1つのデータ線をL1とし、7種類の信号線を信号線L2乃至L8として説明する。なお、第2の撮像系192および第3の撮像系193のデータ線および信号線は、第1の撮像系191のデータ線および信号線と略同一である。このため、ここでは、主に第1の撮像系191のデータ線および信号線について説明し、第2の撮像系192および第3の撮像系193の説明を省略する。
データ線L1は、撮像素子134からDSP200へ画像データを伝送するデータ線である。このデータ線L1は、例えば、画像データの伝送レートを大きくするために複数本のデータ線により構成することが好ましい。また、画像データの伝送レートを大きくするため、および、伝送路上でのノイズ耐性を大きくするために、データ線L1として、高速かつ差動伝送方式のデータ線を用いることが好ましい。例えば、データ線L1として、LVDS(low voltage differential signaling)等を用いることが好ましい。
信号線L2は、撮像素子134とDSP200との間の双方向の通信線であり、例えば、4線構造シリアル通信線を用いることができる。信号線L2は、例えば、撮像素子134を使用するために必要となる各種の設定値をDSP200側から設定する際に使用される。一例として、撮像素子134からDSP200へ出力される画像データを間引いて出力するための設定値が、信号線L2を介してDSP200からレジスタ370および380(図12に示す)に書き込まれる。
信号線L3は、DSP200から撮像素子134へクロックを供給するクロック信号線である。撮像素子134は、信号線L3を介して供給されるクロックを使用して、1クロック周期当り1画素の撮像動作を行う。また、撮像素子134内に逓倍器を搭載し、DSP200から供給されたクロックを撮像素子134内で逓倍して、逓倍後のクロック1周期当り1画素の撮像動作を行うようにしてもよい。
信号線L4は、DSP200から撮像素子134へリセット信号を供給するリセット信号線である。
信号線L5は、DSP200から撮像素子134の撮像動作のオン/オフを制御する信号線である。すなわち、信号線L5は、DSP200から各撮像素子へ動作の停止と起動とを通知する信号線である。例えば、3つの撮像系のうち、1つの撮像素子のみを使用する撮像モードがユーザにより指示された場合には、使用しない2個の撮像素子の撮像動作を停止させることにより、消費電力を低減させることができる。
信号線L6は、垂直同期信号線である。すなわち、信号線L6は、DSP200から撮像素子134へ1フレーム毎の撮像タイミングを示唆する同期信号を通知するための信号線である。
信号線L7は、水平同期信号線である。すなわち、信号線L7は、DSP200から撮像素子134へ1フレーム中の1ライン毎の撮像タイミングを示唆する同期信号を通知するための信号線である。
信号線L8は、シャッター信号線である。例えば、情報処理装置100において、ユーザにより撮像画像記録を行うための操作部材(例えば、決定キー112)が押下された場合には、この押下に応じたシャッター信号が信号線L8を介してDSP200から撮像素子134に通知される。
また、撮像モードが設定されている場合において、ユーザ操作に基づいて、単眼撮像動作および複眼撮像動作の何れか一方を選択することができるものとする。単眼撮像動作が選択された場合には、第1の撮像系191により生成された画像データを用いた撮像動作が行われる。一方、複眼撮像動作が選択された場合には、第1の撮像系191乃至第3の撮像系193のそれぞれにより生成された画像データを用いた撮像動作が行われる。また、単眼撮像動作が選択された場合には、通常の画像が生成され、複眼撮像動作が選択された場合には、パノラマ画像(例えば、図29のbに示す)が生成される。
[撮像素子の配置構成例]
図4は、本技術の実施の形態における撮像部130を構成する撮像素子134乃至136の配置構成例を示す図である。
図4のaには、撮像素子134乃至136の配置構成を示す。ここで、一般に、撮像素子における受光面において、画素が配列されている領域の形状は略長方形である。そこで、以下では、撮像素子134乃至136を長方形により模式的に表す。
図4のaには、情報処理装置100の長手方向を垂直方向と一致させた場合における配置構成例を示す。具体的には、撮像素子134が中央に配置され、撮像素子134の両側に撮像素子135および136が配置される。また、撮像素子134乃至136は、その長手方向が配列方向と略一致するように配置される。また、撮像素子134乃至136における中心位置が同一平面上となるように配置される。すなわち、配列方向において、撮像素子134乃至136が横長に配置される。
また、図4のaでは、各画素を読み出すことが可能な画素データ読出可能領域400乃至402を撮像素子134乃至136内に長方形で模式的に示す。例えば、撮像素子134により、被写体の特定方向を長手方向とする第1の撮像画像が生成される。また、撮像素子135により、その特定方向を長手方向とし、第1の撮像画像に含まれる被写体の一方に隣接する被写体を含む第2の撮像画像が生成される。また、撮像素子136により、その特定方向を長手方向とし、第1の撮像画像に含まれる被写体の他方に隣接する被写体を含む第3の撮像画像が生成される。
なお、撮像部を構成する3つの撮像素子のうち、中央の撮像素子の長手方向が配列方向と直交する方向と略一致するように中央の撮像素子を配置するようにしてもよい(例えば、特開2011−44837号参照。)
図4のbには、情報処理装置100が縦長状態である場合において、画像データを生成する場合における画素データ読出領域の一例を示す。画素データ読出領域403乃至405は、画素データ読出可能領域400乃至402において、表示または記録に用いられる画像データを生成する際に各画素を読み出す領域の一例であり、図4のbではその輪郭を太線で示す。画素データ読出領域403乃至405は、例えば、画素データ読出可能領域400乃至402と同一とすることができる。また、画素データ読出領域403乃至405は、例えば、垂直方向の長さをV10とし、水平方向の長さをH10とすることができる。
図5および図6は、本技術の実施の形態における撮像素子134乃至136に結像される像と、画像データの読出方法との関係を示す図である。一般に、撮像素子には、いわゆる、倒立像が結像される。
図5には、撮像素子に結像される像として倒立像が生成される場合における被写体409と光学系131と撮像素子134に結像される撮像画像410との関係を模式的に示す。図5に示すように、光学系131を介して入射された被写体409からの光が撮像素子134に結像され、撮像画像410が生成される。この場合に、被写体409の上下方向と、撮像画像410の上下方向とが反転された状態となる。
図6のaには、撮像素子134乃至136から画素データを読み出す場合における読出開始位置411乃至413および読出し方向を模式的に示す。この例では、図4のbに示す画素データ読出領域403乃至405において画素データを読み出す例を示す。また、以下では、画素データ読出領域における読出開始位置を矩形で模式的に示す。例えば、画素データ読出領域403乃至405の右下隅の読出開始位置411乃至413から順次読出しが開始され、矢印方向に画素データが読み出される。例えば、画素データ読出領域403において、読出開始位置411から画素データの読出しが開始され、矢印方向に1画素ずつシフトされながら画素データの読出しが順次行われる。そして、水平方向の1ラインにおける端部(図6のaに示す画素データ読出領域403内の左端)に位置する画素の読出しが行われた場合には、読出し対象となるラインを1画素上側にシフトして他の端部に位置する画素の読出しが行われる。以下、同様に画素の読み出しが順次行われる。そして、画素データ読出領域403における上端のラインにおける端部に位置する画素の読出しが行われた場合には、撮像素子134の読出し処理を終了する。また、撮像素子135および136についても同時に読み出し処理が行われる。
図6のbには、撮像素子134乃至136から読み出された画素データが合成された場合における画像メモリ170上における合成画像414を模式的に示す。この例では、図6のaに示す読出方法により読み出された画素データを合成する例を示す。なお、合成画像414内における矢印方向は、画像メモリ170上における画像データの並び方向であるものとする。
図6のcには、撮像素子134乃至136から読み出された画素データを表示部140に表示する場合における合成画像の表示例を示す。この例では、図6のbに示す合成画像414を表示する例を示す。例えば、撮像画像表示領域415に合成画像414が表示され、その上下の余白画像表示領域416および417には一色画像(例えば、黒色や白色)が表示される。なお、表示部140内における矢印方向は、表示部140における走査方向であるものとする。
[DSPの構成例]
図7は、本技術の実施の形態におけるDSP200の内部構成例を示すブロック図である。
DSP200は、撮像制御部201と、CPU202と、DMA(Direct Memory Access)コントローラ203と、データバス204と、プログラムメモリとのI/F205と、画像メモリとのI/F206とを備える。また、DSP200は、撮像素子とのI/F210と、画像バッファ211乃至219と、画像信号処理部220と、解像度変換部231、241、251と、画像回転処理部232、242とを備える。また、DSP200は、表示部とのI/F233と、外部表示装置とのI/F243と、符号化復号化部252と、記録媒体とのI/F253と、発振回路264乃至266と、クロック生成回路270とを備える。また、DSP200は、AF(Auto Focus:自動焦点)制御部281と、顔検出部282とを備える。また、DSP200は、AE(Automatic Exposure:自動露出)制御部283と、AWB(Auto White Balance:自動ホワイトバランス調整)制御部284とを備える。データバス204には、CPU202、DMAコントローラ203、画像メモリとのI/F206、画像バッファ211乃至219、画像信号処理部220等が接続されている。また、撮像制御部201には、切替スイッチ111、決定キー112および姿勢検出部150からの各信号が入力される。
姿勢検出部150は、情報処理装置100の加速度、動き、傾き等を検出することにより情報処理装置100の姿勢の変化を検出するものであり、検出結果(検出された姿勢の変化に関する姿勢情報)を撮像制御部201に出力する。例えば、姿勢検出部150は、情報処理装置100の姿勢の変化として、3軸(例えば、X軸、Y軸、Z軸)の回転角を検出し、この検出結果を撮像制御部201に出力する。姿勢検出部150として、情報処理装置100における3軸の回転角を検出することができるセンサを用いることができる。ただし、少なくとも、1軸以上の回転角を検出することができるセンサを用いるようにしてもよい。例えば、姿勢検出部150として、転倒センサ、重力センサ、ジャイロセンサ、加速度の方向を検出することができる加速度センサ、回転運動を検出することができる角速度センサを用いることができる。
撮像制御部201は、撮像処理に関する各部を制御するものである。例えば、撮像制御部201は、姿勢検出部150からの検出結果に基づいて、情報処理装置100の姿勢を判断し、この判断結果に基づいて各部の撮像制御を行う。また、撮像制御部201は、切替スイッチ111および決定キー112からの入力信号に基づいて各部の撮像制御を行う。
ここで、本技術の実施の形態では、撮像部130により生成された画像を記録する際の撮像モード(画像サイズ等)をユーザが予め設定することができる。例えば、撮像モードを設定するためのメニュー画面を表示部140に表示させ、メニュー画面において決定キー112を用いて、ユーザが所望する設定内容を入力する。なお、撮像モードには、例えば、撮像時に使用する撮像素子の個数と、記録時における画像の垂直方向画像サイズおよび水平方向画像サイズとを含む。また、撮像モードには、例えば、画像の有効領域と垂直同期信号との間隔を表す垂直バックポーチおよび垂直フロントポーチと、画像の有効領域と水平同期信号との間隔を表す水平バックポーチと水平フロントポーチとを含む。また、撮像制御部201と、DSP200内の各部と、撮像素子134乃至136とは、撮像モードを保持するレジスタを備える。
ここで、撮像制御部201は、ユーザにより撮像モードが設定された場合には、この設定された撮像モードをDSP200内の各部および撮像素子134乃至136に通知し、各部が備えるレジスタに保持させる。このように、各部が備えるレジスタに、ユーザにより設定された撮像モードの設定内容を保持させることにより、複数の撮影条件をユーザが容易に切り替えて使用することができる。
撮像制御部201は、例えば、内蔵するレジスタに保持されている撮像モードの設定内容に基づいて、垂直同期信号、水平同期信号およびクロック信号を、DSP200内の各部および撮像素子134乃至136に通知する。また、撮像制御部201は、例えば、内蔵するレジスタに保持されている撮像モードの設定内容に基づいて、垂直同期信号、水平同期信号およびクロック信号を、DSP200内の表示に関する各部および表示部140に通知する。また、撮像制御部201は、例えば、電源制御部207に対して、電源のオン/オフを制御する信号を出力する。
CPU202は、プログラムメモリ160に記憶されている各種プログラムに基づいて、DSP200全体を制御するものである。例えば、CPU202は、姿勢検出部150からの検出結果(姿勢情報)に基づいて、情報処理装置100(表示部140)が横長状態であるか縦長状態であるかを検出し、検出された状態に基づいて表示制御を行う。この制御内容については、図28を参照して詳細に説明する。
DMAコントローラ203は、CPU202の制御に基づいて、各メモリ間におけるデータの転送を制御するものである。
プログラムメモリとのI/F205は、プログラムメモリ160と、DSP200とを接続するためのインターフェースである。
画像メモリとのI/F206は、画像メモリ170と、DSP200とを接続するためのインターフェースである。
撮像素子とのI/F210は、撮像素子134乃至136と、DSP200とを接続するためのインターフェースである。すなわち、撮像素子134乃至136により生成された画像データが撮像素子とのI/F210に入力される。例えば、撮像素子134乃至136から画像データを伝送するデータ線L1が、微小振幅のLVDS方式である場合には、DSPとのI/F137乃至139において、撮像素子134乃至136からの画像データがGND電位または電源電位に変換される。また、撮像素子とのI/F210の後段には、撮像素子134乃至136に対応する3系統の画像バッファ211乃至219を備える。
画像バッファ211乃至219は、撮像素子134乃至136から出力された画像データを保持する画像バッファであり、保持されている画像データがデータバス204を介して画像メモリ170に書き込まれる。例えば、各撮像素子について3個の画像バッファを備え、これらの各画像バッファは、データバス204に接続されている。例えば、撮像素子134については、3個の画像バッファ211乃至213が備えられる。また、撮像素子135については、3個の画像バッファ214乃至216が備えられる。また、撮像素子136については、3個の画像バッファ217乃至219が備えられる。ここで、本技術の実施の形態では、画像データを画像メモリ170に書込むため、画像バッファ211乃至219から画像データを読み出している間でも、撮像素子134乃至136からの新たに入力された画像データを順次保持させる。このため、画像バッファ211乃至219として、撮像素子134乃至136のそれぞれについて2個以上の画像バッファを備えていることが好ましい。
画像バッファ211乃至219の1個の容量は、データバス204のビット(bit)幅よりも大きいことが好ましい。例えば、データバス204が128ビット幅である場合には、各画像バッファは128ビット以上の容量であることが好ましい。また、画像バッファ211乃至219の1個の容量は、データバス204のビット幅の2倍以上であることがより好ましい。例えば、データバス204が128ビット幅である場合には、各画像バッファは256ビット以上の容量であることがより好ましい。
一方、画像バッファ211乃至219の1個の容量は、1つの撮像素子により生成される1枚の画像の画像データ量以下とすることができる。例えば、画像バッファ211乃至219の1個の容量は、撮像素子134の1ライン分の画素により生成される画像データのデータ量以下であることが好ましい。
本技術の実施の形態では、撮像素子134乃至136と、DSP200とを接続するデータ線のビット幅は、例えば、12ビットとする。また、例えば、DSP200のデータバス204のビット幅は、128ビット幅とし、画像バッファ211乃至219の1個の容量は、それぞれ128ビットとする。
画像信号処理部220は、撮像制御部201の制御に基づいて、画像バッファ211乃至219、データバス204を介して入力された画像データについて、各種の画像信号処理を行うものである。なお、画像信号処理部220の内部構成については、図8を参照して詳細に説明する。
解像度変換部231は、撮像制御部201またはCPU202の制御に基づいて、各画像を表示部140に表示させるための解像度変換を行うものであり、解像度変換が施された画像データを画像回転処理部232に出力する。
解像度変換部241は、撮像制御部201またはCPU202の制御に基づいて、各画像を外部表示装置245に表示させるための解像度変換を行うものであり、解像度変換が施された画像データを画像回転処理部242に出力する。
画像回転処理部232は、撮像制御部201またはCPU202の制御に基づいて、解像度変換が施された画像データについて回転処理を行うものであり、回転処理が施された画像データを表示部とのI/F233に出力する。
画像回転処理部242は、撮像制御部201またはCPU202の制御に基づいて、解像度変換が施された画像データについて回転処理を行うものであり、回転処理が施された画像データを外部表示装置とのI/F243に出力する。
表示部とのI/F233は、表示部140と、DSP200とを接続するためのインターフェースである。
外部表示装置とのI/F243は、外部表示装置245と、DSP200とを接続するためのインターフェースである。外部表示装置245は、例えば、テレビジョンである。
解像度変換部251は、撮像制御部201またはCPU202の制御に基づいて、各画像について記録用に解像度を変換するものであり、解像度変換が施された画像データを符号化復号化部252に出力する。例えば、解像度変換部251は、ユーザが希望する記録画像サイズに解像度を変換する解像度変換処理や、サムネイル画像を生成するための解像度変換処理を行う。
符号化復号化部252は、撮像制御部201またはCPU202の制御に基づいて、解像度変換部251から出力された画像データを圧縮するための符号化を行うものであり、符号化された画像データを記録媒体とのI/F253に出力する。また、符号化復号化部252は、記録媒体180に記録された画像データを表示部140に表示する場合には、記録媒体180に記録された画像データを記録媒体とのI/F253を経由して入力して復号化する。この復号化された画像データが、画像メモリ170に保持される。
記録媒体とのI/F253は、記録媒体180と、DSP200とを接続するためのインターフェースである。
記録媒体180は、記録媒体とのI/F253を介して供給された画像データを記録する記録媒体である。記録媒体180は、情報処理装置100に内蔵するようにしてもよく、着脱可能に情報処理装置100に装着されるようにしてもよい。記録媒体180として、例えば、テープ(例えば、磁気テープ)、光ディスク(例えば、記録可能なDVD(Digital Versatile Disc))を用いることができる。また、記録媒体180として、例えば、磁気ディスク(例えば、ハードディスク)、半導体メモリ(例えば、メモリカード)、光磁気ディスク(例えば、MD(MiniDisc))を用いるようにしてもよい。なお、記録媒体180に記録される画像データについては、図27を参照して詳細に説明する。
なお、発振回路264乃至266およびクロック生成回路270については、図9乃至図11を参照して詳細に説明する。
AF制御部281は、画像バッファ211乃至219、データバス204を介して入力された画像データについて、その画像(撮像画像)における所定領域に含まれる被写体に合焦するようにフォーカス制御を行うものである。なお、所定領域は、例えば、撮像画像の真中部分の領域、ユーザにより指定された領域、顔検出部282により検出された顔の位置を含む領域とすることができる。また、所定領域が複数存在する場合には、各所定領域についてフォーカス制御が行われる。そして、撮像画像においてフォーカスが合っている位置(合焦位置)に関する情報をCPU202および撮像制御部201に出力する。また、合焦位置に関する情報がAF制御部281に保持される。
顔検出部282は、画像バッファ211乃至219、データバス204を介して入力された画像データについて、その画像(撮像画像)に含まれる人物の顔を検出するものであり、その検出結果をCPU202および撮像制御部201に出力する。また、顔検出部282は、記録媒体180から読み出された画像データについて、その画像に含まれる人物の顔を検出するようにしてもよい。なお、画像に含まれる顔の検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートとコンテンツ画像とのマッチングによる顔検出方法(例えば、特開2004−133637参照。)を用いることができる。また、画像に含まれる肌色の部分や人間の顔の特徴量に基づいた顔検出方法を用いることができる。これらの顔検出方法により、人物の顔の画像における位置および大きさを求めることができる。また、顔の検出結果が顔検出部282に保持される。なお、顔検出部282は、特許請求の範囲に記載の特定対象物検出部の一例である。
AE制御部283は、画像バッファ211乃至219、データバス204を介して入力された画像データについて、シャッター速度や絞り値を自動的に調整するための自動露出制御部であり、その検出結果をCPU202および撮像制御部201に出力する。
AWB制御部284は、画像バッファ211乃至219、データバス204を介して入力された画像データについて、オートホワイトバランス調整等を行うものであり、その検出結果をCPU202および撮像制御部201に出力する。
[画像信号処理部220の内部構成例]
図8は、本技術の実施の形態における画像信号処理部220の内部構成例を示すブロック図である。
画像信号処理部220は、画素加算処理部221と、デモザイク処理部222と、YC変換処理部223と、画像合成処理部224と、シャープネス処理部225と、色調整処理部226と、RGB変換処理部227とを備える。
画素加算処理部221は、撮像素子134乃至136により生成された画像データについて、画素加算処理および画素間引き処理を行うものである。
デモザイク処理部222は、撮像素子134乃至136により生成された画像データ(モザイク画像)の各画素位置にR、G、Bの全てのチャネルの強度が揃うようにデモザイク処理(補間処理)を行うものである。そして、デモザイク処理部222は、デモザイク処理が施されたRGB画像をYC変換処理部223に供給する。すなわち、デモザイク処理部222は、1画素につき1色分の画素データのみを有するベイヤーデータを補間して1画素についてRGBの3個の画素データを算出する。
YC変換処理部223は、デモザイク処理部222により生成されたRGB画像にYCマトリックス処理およびクロマ成分に対する帯域制限を行うことにより、輝度信号(Y)および色差信号(Cr,Cb)を生成するものである。そして、生成された輝度信号(Y画像)および色差信号(C画像)が画像合成処理部224に供給される。
画像合成処理部224は、YC変換処理部223により生成された画像データについて、画像合成を行うものであり、合成された画像データをシャープネス処理部225に出力する。なお、この画像合成処理については、図18乃至図26を参照して詳細に説明する。
シャープネス処理部225は、画像合成処理部224により生成された画像データについて、信号変化の大きい部分を取り出して強調するシャープネス処理(被写体の輪郭を強調する処理)を行うものである。そして、シャープネス処理部225は、シャープネス処理が施された画像データを色調整処理部226に供給する。
色調整処理部226は、シャープネス処理部225によりシャープネス処理が施された画像データについて、色相および彩度の調整を行うものである。
RGB変換処理部227は、色調整処理部226により色相および彩度の調整が施された画像データについて、YCbCrデータからRGBデータへ変換するものである。
ここで、画像信号処理部220の信号の画像データの流れについて説明する。例えば、画像信号処理部220における各信号処理部が画像メモリ170からデータバス204を経由して画像データを直接読み込み、信号処理後の画像データをデータバス204経由で画像メモリ170に書き込む場合を想定する。この場合には、画像信号処理部220が、画像データ中の所望の位置の画像データを所望のタイミングで読み込むことができる点で有利である。しかし、データバス204を経由して伝送する必要があるデータ量が大きくなるため、データバス204の動作周波数を大きくする必要がある。このため、データバス204の設計が難しくなるとともに消費電力が大きくなるおそれがある。
また、例えば、画像信号処理部220における各信号処理部が画像データを前段の信号処理部からデータバス204を経由せずに受け取り、信号処理後の画像データを後段の信号処理部へデータバス204を経由せずに受け渡す場合を想定する。この場合には、データバス204を使用しないため、LSIの設計が容易であり、消費電力を小さくすることができる点で有利である。しかし、各信号処理部が画像データ中の所望の位置の画像データを所望のタイミングで読み込むことができないおそれがある。
そこで、本技術の実施の形態では、画像サイズが略一定であるデモザイク処理部222から色調整処理部226までの間は、データバス204の動作周波数と、消費電力の低減のため、画像データを各信号処理部間で直接受け渡す。また、解像度変換のように、大量の画像データを使用する信号処理部の前段では、画像メモリ170へ画像データを書き込み、解像度変換を行う際は、画像メモリ170から所望の画像データを読み出す例を示す。
[クロック生成回路の構成例]
図9は、本技術の実施の形態におけるクロック生成回路270の内部構成例を示すブロック図である。
クロック生成回路270は、高周波クロック用逓倍器20、24と、高周波クロック用分周器21、25と、低周波クロック用逓倍器22、26と、低周波クロック用分周器23、27とを備える。また、クロック生成回路270は、クロック用逓倍器28、30と、クロック用分周器29、31とを備える。ここで、各逓倍器は、入力されたクロックの周波数を逓倍するものである。また、各分周器は、入力されたクロックの周波数を1/n(nは任意の整数)にするものである。なお、この例では、クロック生成回路270が、図7に示すDSP200における各部の接続先に応じて少なくとも6種類のクロックを発生させる場合を例にして示す。
発振子261乃至263は、DSP200内に供給されるクロック信号を発生させるための振動源であり、例えば、水晶発振子が用いられる。
発振回路264乃至266は、DSP200内に供給されるクロック信号を生成するものであり、生成されたクロック信号をクロック生成回路270に出力する。
クロック生成回路270が生成する6種類のクロックのうち2種類は、撮像素子134乃至136に供給されるクロックである。この撮像素子134乃至136に供給されるクロックのうち1種類は、画素数が比較的大きい画像を生成するための比較的大きい周波数のクロックである。このクロックは、発振回路264から出力されたクロックが高周波クロック用逓倍器20に入力されて逓倍され、この逓倍されたクロックが高周波クロック用分周器21に入力されて分周されることにより生成される。また、他の1種類は、画素数が比較的小さい画像を生成するための比較的小さい周波数のクロックである。このクロックは、発振回路264から出力されたクロックが低周波クロック用逓倍器22に入力されて逓倍され、この逓倍されたクロックが低周波クロック用分周器23に入力されて分周されることにより生成される。そして、高周波クロック用分周器21および低周波クロック用分周器23により分周されたクロックが、クロック生成回路270において生成されたクロックとして出力され、DSP200内部を経由して撮像素子134乃至136に供給される。ここで、撮像素子134乃至136に供給するクロックは、この例で示した2種類に限らず、撮像動作により生成される画像サイズに応じて、さらに多くの種類を生成して用いることが好ましい。
クロック生成回路270が生成する6種類のクロックのうち他の2種類は、DSP200内部で使用されるクロックである。このDSP200内部で使用されるクロックのうち1種類は、画素数が比較的大きい画像を生成するための比較的大きい周波数のクロックである。このクロックは、発振回路264から出力されたクロックが高周波クロック用逓倍器24に入力されて逓倍され、この逓倍されたクロックが高周波クロック用分周器25に入力されて分周されることにより生成される。また、他の1種類は、画素数が比較的小さい画像を生成するための比較的小さい周波数のクロックである。このクロックは、発振回路264から出力されたクロックが低周波クロック用逓倍器26に入力されて逓倍され、この逓倍されたクロックが低周波クロック用分周器27に入力されて分周されることにより生成される。そして、高周波クロック用分周器25および低周波クロック用分周器27により分周されたクロックが、クロック生成回路270において生成されたクロックとして出力され、DSP200内部に供給される。ここで、DSP200内部で使用されるクロックは、この例で示した2種類に限らず、撮像動作により生成される画像サイズに応じて、さらに多くの種類を生成して用いることが好ましい。
クロック生成回路270が生成する6種類のクロックのうち残りの2種類は、表示部140に画像を表示するための画素クロックと、情報処理装置100外部の表示装置(例えば、外部表示装置245)に画像を表示するための画素クロックである。表示部140に画像を表示するための画素クロックは、発振回路265から出力されたクロックがクロック用逓倍器28に入力されて逓倍され、この逓倍されたクロックがクロック用分周器29に入力されて分周されることにより生成される。また、情報処理装置100外部の表示装置に画像を表示するための画素クロックは、発振回路266から出力されたクロックがクロック用逓倍器30により逓倍され、この逓倍されたクロックがクロック用分周器31に入力されて分周されることにより生成される。そして、クロック用分周器29により分周されたクロックが、クロック生成回路270において生成されたクロックとして出力され、DSP200内部を経由して表示部140に供給される。また、クロック用分周器31により分周されたクロックが、クロック生成回路270において生成されたクロックとして出力され、DSP200内部を経由して情報処理装置100外部の表示装置に供給される。ここで、これらの画像表示のためのクロックは、この例で示した2種類に限らず、接続する表示装置の仕様に応じて、さらに多くの種類を生成して用いることが好ましい。
図10および図11は、本技術の実施の形態におけるクロック生成回路270の変形例を示すブロック図である。
図10には、撮像素子134乃至136に供給される2種類のクロックが1つの逓倍器(クロック用逓倍器32)を共有して使用し、DSP200内部に供給される2種類のクロックが1つの逓倍器(クロック用逓倍器33)を共有して使用する例を示す。
図11には、撮像素子134乃至136に供給される複数種類のクロックと、DSP200内部に供給される複数種類のクロックとが、1つの逓倍器(クロック用逓倍器34)を共有して使用する例を示す。
[撮像素子の構成例および画素読出例]
図12は、本技術の実施の形態における撮像素子の内部構成例を示す図である。ここで、撮像素子134乃至136の内部構成は略同一であるため、図12では、撮像素子134のみを示し、他の撮像素子の図示および説明を省略する。また、図12では、撮像素子134として、CMOS型撮像素子を例にして説明する。
撮像素子134は、画素40乃至47と、垂直走査回路340と、水平走査回路345とを備える。また、撮像素子134は、ADC(A/D(Analog/Digital)コンバータ)350乃至353と、加算器354乃至357、366と、カラムラッチ358乃至361とを備える。また、撮像素子134は、スイッチ362乃至365と、出力ラッチ367と、出力回路368と、レジスタ370、380と、逓倍器/分周器391、392とを備える。なお、一般的に、撮像素子の縦方向の並びをカラムと称し、横方向の並びをロウと称する。このため、以下では、カラムおよびロウの名称を適宜用いて説明する。また、この例では、撮像素子134において、一部の画素(画素40乃至47)と、これに関連する各部とを代表して示し、他の構成についての図示および説明を省略する。
撮像素子134において、ロウ方向に垂直制御線341乃至344が配線されており、同一ライン上にある画素が1つおきに同一の垂直制御線に接続される。また、カラム方向にデータ読出線346乃至349が配線されており、同一ライン上にある画素が1つの読み出し線を共有する。
垂直走査回路340は、ロウ方向に配線されている垂直制御線341乃至344により、画素40乃至47と、データ読出線346乃至349との間のスイッチをオン/オフするものである。すなわち、ロウ方向の各画素において、1本の垂直制御線により、ロウ方向の同一ライン上にある画素のうち、1つおきの画素が共通にオン/オフされる。また、画素40乃至47の画像データが、各画素とこれに対応するデータ読出線との間のスイッチを経由して、データ読出線346乃至349に出力される。
水平走査回路345は、カラムラッチ358乃至361と、出力データ線369との間のスイッチ362乃至365をオン/オフするものである。垂直走査回路340によるスイッチのオン/オフと、水平走査回路345によるスイッチ362乃至365のオン/オフとの選択により、各画素を順次選択しながら時分割で全画素の信号を読み出すことができる。ここで、出力データ線369は、各カラムの出力結果を撮像素子134から出力するための出力データ線である。
ここで、撮像素子134には、画素40乃至47が2次元正方格子状に配置されている。なお、画素40乃至47の構成は同一であるため、ここでは、画素40を例にして説明する。画素40は、受光部であるフォトダイオード51と、アンプ52と、スイッチ53とにより構成されている。フォトダイオード51は、画素に照射された光をその光量に応じた電荷に変換するものである。アンプ52は、フォトダイオード51により変換された電荷の信号を増幅する増幅器である。スイッチ53は、垂直制御線342のオンオフに応じて、画素40の電荷転送を制御するスイッチである。
また、各カラムには、ADC350乃至353と、加算器354乃至357と、カラムラッチ358乃至361とが備えられている。以下では、データ読出線346に接続されているADC350と、加算器354と、カラムラッチ358とを例にして説明する。
ADC350は、アナログ値である各画素からの画像データをデジタルデータ(デジタル値)に変換するADコンバータである。
加算器354は、ADC350によりデジタルデータが変換される毎に、その変換後の新たなデジタルデータを、カラムラッチ358に保存されているデジタルデータに加算するものである。
カラムラッチ358は、ADC350により変換されたデジタルデータを順次保存するカラムラッチである。ここで、カラムラッチとは、AD変換後のデジタルデータを保存するデータ保存回路を示す名称である。このデータ保存回路として、線形回路により構成されたラッチ以外に、同期回路により構成されたフリップフロップ等のデジタルデータを保存することができる各回路を用いることができる。
例えば、画素40から出力された画像データは、ADC350、加算器354、カラムラッチ358を経由した後に、データ読出線346に接続されているスイッチ362を経由して、出力データ線390に出力される。ここで、本技術の実施の形態では、各カラムのデータ読出線と同様に、出力データ線390にも加算器366と出力ラッチ367とを備え、画像データの加算と保存とを行う。また、出力ラッチ367に保存されている画像データが、出力回路368を経由して出力データ線369に出力される。なお、出力データ線369からの画像データは、上述したデータ線L1に出力される。
逓倍器/分周器391、392は、DSP200からの制御に基づいて、入力されたクロックの周波数の逓倍、または、入力されたクロックの周波数の分周を行うものである。そして、逓倍器/分周器391、392は、生成されたクロックを、垂直走査回路340、水平走査回路345および出力回路368に供給する。
信号線393は、DSP200から垂直同期信号を供給する垂直同期信号線である。信号線394は、DSP200から水平同期信号を供給する水平同期信号線である。
また、信号線395は、DSP200からクロック信号を供給するクロック信号線である。信号線396は、DSP200から撮像動作のオン/オフを制御するための信号線、および、画素間引きを制御するための信号線である。信号線397は、撮像素子134とDSP200との間の双方向の通信線である。信号線398は電源供給線である。
なお、レジスタ370、380は、撮像動作に関する各設定値が保持されているレジスタであり、保持内容の一例を図13に示す。
図13は、本技術の実施の形態における撮像素子134が備えるレジスタ370および380の保持内容を模式的に示す図である。
レジスタ370および380には、撮像動作に関する各設定値が保持され、垂直走査回路340および水平走査回路345に供給される。なお、これらの設定値は、ユーザ操作により変更可能としてもよい。
図14乃至図16は、本技術の実施の形態における撮像素子134における各画素への制御信号と、これらの各画素から出力されるデータとの様子を模式的に表すタイミングチャートである。
ここで、図14乃至図16に示す横軸は時間軸である。また、図14乃至図16に示す垂直制御線341乃至344、カラムラッチ358乃至361には、対応する図12と同一の符号を付して説明する。また、図14乃至図16に示すカラムラッチ読出し信号には、対応する図12に示すスイッチ362乃至365と同一の符号を付して説明する。
図14に示す例では、撮像素子134における各画素のうち全画素を読出す場合における撮像動作について説明する。
垂直制御線341乃至344を使用して、あるロウ(例えば、画素40乃至43のライン)に接続された全ての撮像素子134の画素データを、各カラムのデータ読出線346乃至349に出力させる。続いて、データ読出線346乃至349に出力された画素データが、各カラムのADC350乃至353によりAD変換される。続いて、ADC350乃至353の出力が、各カラムのカラムラッチ358乃至361に保持される。例えば、図14に示すカラムラッチ358乃至361に画素データd1乃至d4が保持される。続いて、カラムラッチ358乃至361から出力データ線390への読出しスイッチ362乃至365を、水平走査回路345が1列ずつ順番にオンさせる。これにより1ライン中の各画素データを順番に読み出すことができる。例えば、図14に示す出力データ線390に画素データd1が出力された後に画素データd2乃至d3が順次出力される。
以降も同様に、水平方向の1ラインの読出しが終了する毎に、各画素から垂直信号線への読出しスイッチを、垂直走査回路340が1行ずつ順番にオンさせる。これにより各行の画素データがADC350乃至353に入力される。この入力された画素データがADC350乃至353によりAD変換された後は、各画素データが、各カラムのカラムラッチ358乃至361に保持される。例えば、図14に示すカラムラッチ358乃至361に画素データd5乃至d8が保持される。続いて、カラムラッチ358乃至361から出力データ線390への読出しスイッチ362乃至365を、水平走査回路345が1列ずつ順番にオンさせ、1ライン中の各画素データを順番に読み出す。例えば、図14に示す出力データ線390に画素データd5乃至d8が順次出力される。
図15に示す例では、撮像素子134における各画素のうち、画素間引き読出しの一例として水平間引きして読出す場合における撮像動作について説明する。
各画素から垂直信号線346乃至349への読出しスイッチを、垂直走査回路340が所望の列のみオンさせる。これにより特定の行の画素データのみがADC350乃至353に入力され、ADC350乃至353によりAD変換される。そして、ADC350乃至353の出力が、各カラムのカラムラッチ358乃至361に保持される。例えば、垂直制御線342および344に接続されている読出しスイッチをオンさせることにより、図15に示すカラムラッチ358および360に画素データd1およびd3が保持される。この1行の読出しが終了した後に、例えば、垂直制御線342および344に接続されている読出しスイッチをオンさせることにより、図15に示すカラムラッチ358および360に画素データd5およびd7が保持される。
また、カラムラッチ358乃至361から出力データ線390への読出しスイッチを、水平走査回路345が所望の列のみオンさせる。これにより1ライン中の特定の画素データのみを順番に読み出すことができる。
例えば、水平方向において、N個の画素データの中から1個の画素データを読み出す場合には、水平方向に1/N間引き読出しとなる。例えば、2個中に1個の画素データを読み出す場合には、水平方向に1/2間引き読出しとなり、4個中に1個の画素データを読み出す場合には、水平方向に1/4間引き読出しとなる。
水平方向(すなわち、ロウ方向)への間引き動作と同時に、垂直方向(すなわち、カラム方向)への間引き動作も行うことができる。例えば、垂直方向において、M本のラインの中からに1本のラインの画素データを読み出す場合には、垂直方向に1/M間引き読出しとなる。例えば、2本中に1本のロウの画素データを読み出す場合には、垂直方向に1/2間引き読出しとなり、4本中に1本のロウの画素データを読み出す場合には、垂直方向に1/4間引き読出しとなる。
図16に示す例では、撮像素子134における各画素のうち、画素加算読出を行う場合における撮像動作について説明する。この例では、画素加算読出として、水平方向の1/2の画素加算読出し、および、垂直方向の1/2の画素加算読出しの場合における撮像動作について説明する。
全画素読出しを行う場合と同様に、垂直制御線を使用して、あるロウに接続された全ての撮像素子134のデータを、各カラムに備わるデータ読出線へ出力させ、AD変換してカラムラッチに保持させる。ここで、全画素読出しを行う場合とは異なり、別の垂直制御線を使用して、別のロウに接続された全ての撮像素子134のデータを、各カラムに備わるデータ読出線へ出力させ、AD変換する。そして、加算器を用いて、カラムラッチのデータに加算する。垂直方向に所望の本数分だけ、この方法により各画素データの値を加算し、各カラムラッチに加算後のデータを保持させる。例えば、画素データd1+d5、d2+d6、d3+d7、d4+d8がカラムラッチ358乃至361に保持される。このように、垂直方向にN個の画素データを加算した後に、加算結果を1個の画素データとして出力することにより、垂直方向の1/Nの画素加算読出しとなる。
次に、カラムラッチから出力データ線390への読出しスイッチを、水平走査回路345が1列ずつ順番にオンさせる。この場合に、各カラムラッチから出力データ線390に読み出されたデータを、出力データ線390の加算器366により加算し、出力ラッチ367に保持させる。そして、水平方向に所望のカラム数分だけ加算処理を繰り返し、加算後のデータを撮像素子134に出力する。例えば、画素データd1+d5と、画素データd2+d6とが加算されたデータd1+d5+d2+d6が、出力データ線369を介して撮像素子134に出力される。このように、水平方向にM本のロウの画素データを加算することにより、水平方向に1/Mの画素加算読出しとなる。以上の処理を行うことにより、水平方向(ロウ方向)の加算処理と垂直方向(カラム方向)との加算処理が可能となる。
ここで、図15に示す間引き読出し、および、図16に示す画素加算の読出しを行う場合には、複数種類の間引き率、画素加算率に対応して撮像素子を動作させることが望ましい。そこで、以下では、複数種類の間引き率および画素加算率に対応して撮像素子を動作させる走査回路について説明する。
図17は、本技術の実施の形態における撮像素子134の間引きを行うための走査回路の一例を模式的に示す図である。図17のaには、3種類の走査回路104乃至106を示し、図17のbには、1/N間引き走査回路の構成例を示す。また、図17に示す例では、全画素読み出し、1/2間引き読み出し、1/4間引き読み出しの3種類の画素間引き率に対応するための撮像素子の走査回路について、撮像素子の横方向画素数が1024個の場合を例にして説明する。
図17のaに示すように、走査回路104は、1024本の出力信号線(scan_a[n(0≦n≦1023:nは整数)])を備え、各信号線を1本ずつenable状態にした後にdisable状態にする1024to1走査回路である。また、走査回路105は、512本の出力信号線(scan_b[n(0≦n≦511:nは整数)])を備え、各信号線を1本ずつenable状態にした後にdisable状態にする512to1走査回路である。また、走査回路106は、256本の出力信号線(scan_c[n(0≦n≦255:nは整数)])を備え、各信号線を1本ずつenable状態にした後にdisable状態にする256to1走査回路である。
図17のbに示すように、走査回路104の1024本の出力信号線のうち、4の倍数の番号の信号線には、走査回路105の出力信号線と、走査回路106の出力信号線と、3種類の画素間引き率の何れを選択しているのかを示す制御線とが接続される。この3種類の制御線は、全画素読み出し(sel_1per1)、1/2間引き読み出し(sel_1per2)、および、1/4間引き読み出し(sel_1per4)に対応する制御線である。
また、走査回路104の1024本の出力信号線のうち、4の倍数ではなく、かつ、2の倍数の番号の信号線には、走査回路105の出力信号線と、2種類の画素間引き率の何れを選択しているのかを示す制御線とが接続される。この2種類の制御線は、全画素読み出し、および、1/2間引き読み出しに対応する制御線である。
また、走査回路104の1024本の出力信号線のうち、上述した信号線以外の信号線には、全画素読み出しが選択されているのかを示す制御線が接続される。
図17のbに示す走査回路からの出力(scan_out[n(0≦n≦1023:nは整数)])により、撮像素子134において、全画素読み出し、1/2間引き読み出し、1/4間引き読み出しのそれぞれの間引き処理を行うことが可能となる。
[撮像系の配置構成例]
図18は、本技術の実施の形態における撮像部130および被写体との関係を示す図である。なお、図18では、図3に示す撮像部130における第1の撮像系191乃至第3の撮像系193のうち、光学系131乃至133、撮像素子134乃至136のみを示し、他の構成については省略する。また、図18では、撮像対象となる被写体を被写体面300とし、第1の撮像系191の光軸194が被写体面300と直交するように、情報処理装置100が配置されている場合を模式的に示す。また、第1の撮像系191の光軸194は、表示部140の表示面に直交(または、略直交)している。また、3つの光軸194乃至196が交点P0で交わるものとする。
撮像部130において、第1の撮像系191の光軸194と、第2の撮像系192の光軸195とのなす角をθ0とする。同様に、第1の撮像系191の光軸194と、第3の撮像系193の光軸196とのなす角をθ0とする。なお、第3の撮像系193は、第1の撮像系191の光軸194を挟んで、第2の撮像系192と線対象の位置となるように配置される。
また、第1の撮像系191において、撮像素子134に入射される入射光路の最も外側の線と、光軸194とがなす角度をθ1とする。また、第2の撮像系192において、撮像素子135に入射される入射光路の最も外側の線と、光軸195とがなす角度をθ2とする。同様に、第3の撮像系193において、撮像素子136に入射される入射光路の最も外側の線と、光軸196とがなす角度をθ2とする。例えば、図18に示すように、撮像素子134における受光面の水平方向の幅と、撮像素子135および136における受光面の水平方向の幅とは同一(または略同一)である。このため、撮像素子134に入射される画角2×θ1と、撮像素子135および136に入射される画角2×θ2とは同一(または略同一)である。
ここで、撮像素子134に入射される画角2×θ1により、被写体面300の撮像範囲301が特定される。同様に、撮像素子135に入射される画角2×θ2により、被写体面300の撮像範囲302が特定され、撮像素子136に入射される画角2×θ2により、被写体面300の撮像範囲303が特定される。本技術の実施の形態では、撮像素子134乃至136により生成される画像を合成し、パノラマ画像を生成する。このため、被写体面300の撮像範囲301と、被写体面300の撮像範囲302との一部が重なるように、各光軸のなす角が設定される。具体的には、撮像範囲301および302の一部が重なるように、第1の撮像系191の光軸194と、第2の撮像系192の光軸195とのなす角θ0と、第1の撮像系191の光軸194と、第3の撮像系193の光軸196とのなす角θ0とが設定される。なお、光軸194乃至196は同一平面に含まれる。また、光軸194乃至196が1点(交点P0)で交わるように、第1の撮像系191乃至第3の撮像系193が配置される。
ここで、第1の撮像系191のレンズ中心をR1とし、第2の撮像系192のレンズ中心をR2とし、第3の撮像系193のレンズ中心をR3とする。また、レンズ中心R1と交点P0との間の距離をL11とし、レンズ中心R2と交点P0との間の距離をL21とし、レンズ中心R3と交点P0との間の距離をL31とする。この場合に、第1の撮像系191乃至第3の撮像系193は、距離L11、L21およびL31が等しくなるように配置することが好ましい。
[台形歪みの補正例]
図19および図20は、本技術の実施の形態における撮像部130における撮像系と、これらの撮像対象となる被写体との関係を模式的に示す図である。
図19のaには、撮像部130による撮像対象となる被写体310を模式的に示す。この被写体310は、図18に示す被写体面300に対応する被写体であるものとする。また、被写体310に対応する範囲を矩形で示し、この矩形内を格子状にして模式的に示す。
図20のaには、撮像部130による撮像対象となる被写体311乃至313を模式的に示す。被写体311は、図19のaに示す被写体310のうち第1の撮像系191に対応する被写体であるものとする。同様に、被写体312は、被写体310のうち第2の撮像系192に対応する被写体であり、被写体313は、被写体310のうち第3の撮像系193に対応する被写体であるものとする。また、被写体311乃至313のうち、被写体311の水平方向における両方の端部と、被写体312および313の水平方向における一の端部とが重複する。
図19のbおよび図20のbには、撮像部130における撮像系を示す。なお、図19のbおよび図20のbに示す例は、符号等を省略した点以外の点は、図18に示す例と同一である。
図21は、本技術の実施の形態における撮像部130における撮像系と、これらにより生成される撮像画像との関係を模式的に示す図である。図21のaには、撮像部130により生成される撮像画像314乃至316を模式的に示す。これらの撮像画像314乃至316は、図20のaに示す被写体311乃至313に対応する撮像画像であり、被写体311乃至313内に示す格子状の矩形を模式的に示す。
図21のaに示すように、第2の撮像系192および第3の撮像系193の光軸195および196が被写体面300に対して直交していないため、撮像画像315および316には、台形歪みが発生する。この台形歪みについては、図22を参照して詳細に説明する。
図22は、本技術の実施の形態における撮像部130における撮像系と、これらの撮像対象となる被写体との関係を模式的に示す図である。なお、図22では、説明の容易のため、第3の撮像系193に関する構成を省略して、第1の撮像系191および第2の撮像系192のみを示す。また、図22に示す例は、第3の撮像系193に関する構成を省略した点以外の点は、図18に示す例と略同一である。また、交点P0、角θ0、θ1およびθ2、レンズ中心R1およびR2、距離L11については、図18に示す例と同一であるため、同一の符号を付して示す。
図22において、第1の撮像系191の光軸194と、被写体面300との交点をS11とする。また、第1の撮像系191の画角の右側外形線と、被写体面300との交点をS12とし、第1の撮像系191の画角の左側外形線と、被写体面300との交点をS13とする。
また、交点S11を含み、かつ、光軸194と直交する平面であって、第1の撮像系191に入射される平面状の被写体領域を被写体面S10とする。
また、第2の撮像系192の光軸195と、被写体面300との交点をS21とし、第2の撮像系192の画角の右側外形線と、被写体面300との交点をS32とし、第2の撮像系192の画角の左側外形線と、被写体面300との交点をS43とする。
また、交点S21を含み、かつ、光軸195と直交する平面であって、第2の撮像系192に入射される平面状の被写体領域を被写体面S20とする。
また、交点S32を含み、かつ、光軸195と直交する平面であって、第2の撮像系192に入射される平面状の被写体領域を被写体面S30とする。
また、交点S43を含み、かつ、光軸195と直交する平面であって、第2の撮像系192に入射される平面状の被写体領域を被写体面S40とする。
また、被写体面S30と光軸195との交点をS31とし、被写体面S40と光軸195との交点をS41とする。
また、第2の撮像系192の画角の右側外形線と、被写体面S20との交点をS22とし、第2の撮像系192の画角の右側外形線と、被写体面S40との交点をS42とする。
また、第2の撮像系192の画角の左側外形線と、被写体面S20との交点をS23とし、第2の撮像系192の画角の右側外形線と、被写体面S30との交点をS33とする。
また、第2の撮像系192のレンズ中心R2を通りかつ被写体面300に垂直な線分197と、被写体面300との交点をS51とする。
例えば、画角の左端の点S43を含む被写体面S40と、画角の右端の点S32を含む被写体面S30とを比較すると、被写体面S40は被写体面S30よりもレンズ中心R2から遠い位置に存在する。このため、被写体面S40が撮像される場合には、被写体面S30が撮像される場合よりも広い領域が撮像される。例えば、被写体面S40上と、被写体面S30上に同じ長さの線分を被写体として配置した場合を想定する。この場合には、被写体面S30について生成された撮像画像と、被写体面S40について生成された撮像画像とを比較すると、被写体面S40について生成された撮像画像に含まれる線分の方が短くなる。
このため、例えば、図20のaに示す被写体312が第2の撮像系192により撮像される場合には、図21のaに示す撮像画像315のように、被写体312に対応する領域が台形の形状となる。すなわち、図21のaに示す例では、撮像画像315において、被写体312に対応する矩形のうち、左側の辺が右側の辺よりも短くなる。
同様に、図20のaに示す被写体313が第3の撮像系193により撮像される場合には、図21のaに示す撮像画像316のように、被写体313に対応する領域が台形の形状となる。このように、3眼の撮像部により生成された撮像画像には、台形歪みが発生する。そこで、以下では、撮像画像の台形歪みを補正する台形歪み補正方法について説明する。
ここで、交点S11とレンズ中心R1との距離をL12とし、交点S13とレンズ中心R1との距離、および、交点S12とレンズ中心R1との距離をL13とする。
また、交点S21とレンズ中心R2との距離をL22とし、交点S31とレンズ中心R2との距離をL30とし、交点S41とレンズ中心R2との距離をL40とする。
また、交点S32とレンズ中心R2との距離をL23とし、交点S43とレンズ中心R2との距離をL24とし、交点S51とレンズ中心R2との距離をL51とする。なお、距離L61乃至L66については、図24を参照して説明する。
ここで、三角関数の公式により次式が成り立つ。
L21+L22=L11+L22=(L11+L12)/cosθ0
この式により、次の式1が求められる。なお、L11=L21である。
L22={(L11+L12)/cosθ0}−L11 …式1
また、距離L51については、三角関数の公式と式1により、次の式2が求められる。
L51=L22×cosθ0
=[{(L11+L12)/cosθ0}−L11)]×cosθ0 …式2
また、距離L23については、三角関数の公式と式2により、次の式3が求められる。
L23=L51/cos(θ2−θ0)
=(L22×cosθ0)/cos(θ2−θ0) …式3
また、距離L30については、三角関数の公式と式3により、次の式4が求められる。
L30=L23×cosθ2
={(L22×cosθ0)/cos(θ2−θ0)}×cosθ2
=([({(L11+L12)/cosθ0}−L11)×cosθ0]/cos(θ2−θ0)])×cosθ2 …式4
ここで、第1の撮像系191の光軸194における距離L11およびL12が決定されると、式4を用いることにより、距離L30を求めることができる。このように距離L30を求めることにより、距離L12に対する距離L30の比の値XR(=L12/L30)を求めることができる。なお、XR<1である。
また、距離L24については、三角関数の公式と式2により、次の式5が求められる。
L24=L51/cos(θ2+θ0)
=(L22×cosθ0)/cos(θ2+θ0) …式5
また、距離L40については、三角関数の公式と式1および式5により、次の式6が求められる。
L40=L24×cosθ2
={(L22×cosθ0)/cos(θ2+θ0)}×cosθ2
=[[{(L11+L12)/cosθ0−L11}×cosθ0]/cos(θ2+θ0)]×cosθ2 …式6
ここで、第1の撮像系191の光軸194における距離L11およびL12が決定されると、式6を用いることにより、距離L40を求めることができる。このように距離L40を求めることにより、距離L12に対する距離L40の比の値XL(=L12/L40)を求めることができる。なお、XL>1である。
次に、比の値XRおよびXLを用いて、台形歪みを補正する補正方法について説明する。
図21のaに示す撮像画像315について、右辺の長さがXR倍となり、左辺の長さがXL倍となるように各座標を変換する。すなわち、撮像画像315における右辺側については、右辺の長さがXR倍となるように、矢印321方向に縮小される。一方、撮像画像315における左辺側については、左辺の長さがXL倍となるように、矢印322方向に拡大される。このように、補正がされた補正画像317を図23のaに示す。
図23は、本技術の実施の形態における撮像部130における撮像系と、これらにより生成された撮像画像および補正後の補正画像との関係を模式的に示す図である。図23のaには、撮像部130により生成される撮像画像314と、図21のaに示す撮像画像315および316が補正された補正画像317および318とを模式的に示す。なお、図23のbに示す例は、符号等を省略した点以外の点は、図18に示す例と同一である。
上述したように、図21のaに示す撮像画像315について、右辺の長さがXR倍となり、左辺の長さがXL倍となるように各座標を変換することにより、図23のaに示す補正画像317が生成される。このように生成された補正画像317は、外形が台形の画像になる。そこで、補正画像317における中央部を長方形に切り出すことにより、台形歪みが補正された画像325(太線で示す)を取得することができる。
同様に、図21のaに示す撮像画像316について、左辺の長さがXR倍となり、右辺の長さがXL倍となるように各座標を変換することにより、図23のaに示す補正画像318が生成される。そして、補正画像318における中央部を長方形に切り出すことにより、台形歪みが補正された画像326(太線で示す)を取得することができる。なお、撮像画像の台形歪み補正処理は、画像合成処理部224により行われる。
また、このような台形歪み補正を行う場合には、例えば、台形に歪んだ撮像画像における各画素の座標を計測し、比の値XRおよびXLを予め求めておく。そして、予め求められた比の値XRおよびXLを用いて、台形歪み補正処理を情報処理装置100に内蔵されているCPU等の演算装置を用いてソフトウエア的に求めることができる。
なお、この例では、3眼撮像動作により発生する撮像画像の台形歪みを補正する補正方法の一例について説明したが、他の台形歪み補正方法(例えば、特開平08−307770号公報参照。)により補正を行うようにしてもよい。
[撮像画像の合成例]
図24は、本技術の実施の形態における画像合成処理部224が合成画像を生成する場合における合成の流れを模式的に示す図である。この例では、3つの撮像系の光軸がなす角度(輻輳角)に基づいて、3つの撮像系により生成された3つの撮像画像を合成する例を示す。すなわち、2つの撮像系により生成された2つの撮像画像のうち、重なり合う部分については輻輳角に基づいて何れか一方を切除し、この切除後に2つの撮像画像を合成する。
図24のaには、撮像部130における第1の撮像系191乃至第3の撮像系193により生成された撮像画像314、補正画像317および318と示す。なお、撮像画像314、補正画像317および318は、図23に示すものと同一である。図24のaに示すように、台形歪みの補正処理により、台形歪みが補正された撮像画像314、補正画像317および318が取得される。
ここで、上述したように、補正画像317の右端部の領域と、撮像画像314の左端部の領域とには同一の被写体が含まれる。また、補正画像318の左端部の領域と、撮像画像314の右端部の領域とには同一の被写体が含まれる。そこで、以下では、これらの同一の被写体が含まれる領域の算出方法について説明する。
ここで、図22において、交点S11と交点S21との距離をL61とし、交点S11と交点S13との距離をL62とし、交点S51と交点S21との距離をL63とする。また、交点S13と交点S51との距離をL64とし、交点S32と交点S51との距離をL65とし、交点S32と交点S13との距離をL66とする。なお、距離L66は、第1の撮像系191により生成された撮像画像と、第2の撮像系192により生成された撮像画像とのうち、同一の被写体が含まれる領域を特定するための距離である。第1の撮像系191により生成された撮像画像の左端部の領域と、第2の撮像系192により生成された撮像画像の右端部の領域との共通領域である。
ここで、三角関数の公式により、次の式7および式8が成立する。
L61=(L11+L12)×tanθ0 …式7
L62=L12×tanθ1 …式8
また、三角関数の公式と式2により、次の式9が求められる。
L63=L51×tanθ0
=[{(L11+L12)/cosθ0}−L11]×cosθ0×tanθ0 …式9
また、式7乃至式8を用いて、次の式10が求められる。
L64=L62+L63−L61
=(L12×tanθ1)+([{(L11+L12)/cosθ0}−L11]×cosθ0×tanθ0)−{(L11+L12)×tanθ0} …式10
また、三角関数の公式と式2により、次の式11が求められる。
L65=L51×tan(θ2−θ0)
=[{(L11+L12)/cosθ0}−L11]×cosθ0×tan(θ2−θ0) …式11
以上で求められた式10および式11を用いて、次の式12が求められる。
L66=L65+L64
={[{(L11+L12)/cosθ0}−L11]×cosθ0×tan(θ2−θ0)}+(L12×tanθ1)+([{(L11+L12)/cosθ0}−L11]×cosθ0×tanθ0)−[{(L11+L12)×tanθ0}] …式12
ここで、第1の撮像系191の光軸194における距離L11およびL12が決定されると、式12を用いることにより、距離L66を求めることができる。また、第1の撮像系191により生成された撮像画像の右端部の領域と、第3の撮像系193により生成された撮像画像の左端部の領域との共通領域についても同様に求めることができる。
図24のbには、撮像画像314、補正画像317および318のうち、合成対象となる領域を示す。例えば、第1の撮像系191により生成された撮像画像314について、式12を用いて算出された距離L66に相当する領域を削除する。同様に、撮像画像314について、撮像画像314の右端部について算出された共通領域を削除する。図24のbでは、両端部の共通領域が削除された後の画像327の外形を太線で示す。
図24のcには、撮像画像314、補正画像317および318を用いて生成されたパノラマ画像330を示す。図24のbに示すように、撮像画像314において両端部の画像が削除された後に、この削除後の画像327と、補正画像317および318とを用いてパノラマ画像が生成される。例えば、画像327の左端に補正画像317が連結され、画像327の右端に補正画像318が連結されてパノラマ画像330が生成される。
図25は、本技術の実施の形態における画像合成処理部224が合成画像を生成する場合における合成の流れを模式的に示す図である。図25に示す例は、図24の変形であり、画像合成の際に削除される領域を含む画像が異なる。すなわち、図25のbに示すように、第2の撮像系192により生成された撮像画像に対応する補正画像317について、式12を用いて算出された距離L66に相当する領域(右端部の領域)を削除する。同様に、補正画像318について、その左端部について算出された共通領域を削除する。図25のbでは、共通領域が削除された後の画像332および333の外形を太線で示す。
図25のcには、画像331乃至333を用いて生成されたパノラマ画像330を示す。図25のbに示すように、例えば、画像331の左端に画像332が連結され、画像331の右端に画像333が連結され、パノラマ画像330が生成される。
図26は、本技術の実施の形態における画像合成処理部224が合成画像を生成する場合における合成の流れを模式的に示す図である。図26に示す例は、図24の変形であり、画像合成の際に削除される領域を含む画像が異なる。すなわち、図26のbに示すように、第1の撮像系191により生成された撮像画像314について、式12を用いて算出された距離L66の半分に相当する領域を削除する。また、第2の撮像系192により生成された撮像画像に対応する補正画像317について、式12を用いて算出された距離L66の半分に相当する領域(右端部の領域)を削除する。
同様に、撮像画像314について、撮像画像314の右端部について算出された共通領域の半分を削除し、第3の撮像系193により生成された撮像画像に対応する補正画像318について、共通領域の半分に相当する領域(左端部の領域)を削除する。図26のbでは、共通領域が削除された後の画像334乃至336の外形を太線で示す。
図26のcには、画像334乃至336を用いて生成されたパノラマ画像330を示す。図26のbに示すように、例えば、画像334の左端に画像335が連結され、画像334の右端に画像336が連結され、パノラマ画像330が生成される。このように、各画像の一部を削除することにより、適切に画像を合成することができる。
なお、これらの画像合成処理は、画像合成処理部224により行われる。また、図8では、画像信号処理部220において、画像合成処理部224がYC変換処理部223の後段、かつ、シャープネス処理部225の前段に配置されている例を示す。ただし、画像信号処理部220の他の段階で画像合成処理を行うようにしてもよい。例えば、台形歪み補正処理および画像合成処理については、デモザイク処理部222の前段で行うようにしてもよい。また、例えば、台形歪み補正処理および画像合成処理については、デモザイク処理部222の後段、かつ、YC変換処理部223の前段で行うようにしてもよい。また、例えば、台形歪み補正処理および画像合成処理については、色調整処理部226の後段で行うようにしてもよい。
また、このような画像合成処理を行う場合には、例えば、台形歪み補正後の画像について、各画像の重複領域を予め計測しておく。そして、この計測された値を用いて、画像の重複領域の削除処理を情報処理装置100に内蔵されているCPU等の演算装置を用いてソフトウエア的に求めることができる。
この例では、輻輳角に基づいて3つの撮像画像を合成する例について説明したが、例えば、他の画像合成方法を用いて、画像合成処理を行うようにしてもよい。例えば、2つの撮像系により生成された2つの画像のうち、重複する部分については、2つの画像をパターンマッチングさせ、このパターンマッチングにより2つの画像を合成する画像合成方法を用いることができる。また、2つの撮像系により生成された2つの画像における濃度レベルの変化を求め、この濃度レベルの変化に基づいて重複する部分を求めて2つの画像を合成する画像合成方法を用いることができる。
[画像ファイルの構成例]
次に、情報処理装置100における静止画記録処理により記録媒体180に記録される画像データ(画像ファイル)について図面を参照して詳細に説明する。
図27は、本技術の実施の形態における記録媒体180に記憶される画像ファイルのファイル構造の一例を示す図である。図27に示す例では、DCF(Design rule for Camera File system)規格により記録される静止画ファイルのファイル構造を概略的に示す。
DCFは、デジタルスチルカメラやプリンタ等の機器間で、記録媒体を介して画像の相互利用を実現するためのファイルシステム規格である。また、DCFでは、Exif(Exchangeable image file format)をベースにして記録媒体に記録する場合におけるファイル名の付け方やフォルダの構成が規定されている。Exifは、画像ファイルの中に画像データおよびカメラ情報を付加するための規格であり、画像ファイルを記録するための形式(ファイルフォーマット)を規定するものである。図27のaには画像ファイル181の構成例を示し、図27のbには付属情報182の構成例を示し、図27のcにはメーカーノート185の構成例を示す。
画像ファイル181は、DCF規格により記録される静止画ファイルであり、図27のaに示すように、付属情報182および画像情報183から構成されている。画像情報183は、例えば、撮像部130により生成され、画像信号処理部220により各種画像信号処理が施された画像データについて、解像度変換部251により解像度変換され、符号化復号化部252により圧縮された画像データである。この画像データは、例えば、JPEG(Joint Photographic Experts Group)形式で圧縮される。
付属情報182は、図27のbに示すように、属性情報184およびメーカーノート(maker note)185から構成されている。属性情報184は、画像ファイル181に関する属性情報等であり、例えば、GPS情報、方位情報、撮像部の特性情報(例えば、デバイス特性)、撮影更新日時、画サイズ、色空間情報、メーカー名等が含まれる。
メーカーノート185は、一般的にユーザ独自のデータが記録される領域であり、各メーカーが自由に情報を記録することができる拡張領域である(TAGID=37500、MakerNote)。図27のcに示すように、メーカーノート185には、撮像画像に関する情報として、例えば、単眼撮影/複眼撮影186と、パノラマ画像の有無187と、合焦位置情報188と、顔情報189と、動体情報190とが記録される。
単眼撮影/複眼撮影186は、撮像素子134のみを用いて生成された画像データであるか(単眼撮影)、撮像素子134乃至136を用いて生成された画像データにより構成される画像データであるか(複眼撮影)を示す情報である。例えば、単眼撮影により生成された画像データである場合には「0」が格納され、複眼撮影により生成された画像データである場合には「1」が格納される。
パノラマ画像の有無187は、アスペクト比が一定の値を超えた画像(パノラマ画像)であるか、それ以外の画像(通常の画像)であるかを示す情報である。例えば、通常の画像である場合には「0」が格納され、パノラマ画像である場合には「1」が格納される。
合焦位置情報188は、撮像画像における合焦位置に関する情報であり、例えば、AF制御部281により検出された合焦位置に関する情報が格納される。
顔情報189は、撮像部130により生成された画像に含まれる顔の位置およびサイズを含む情報である。例えば、顔の位置として、撮像画像における顔を含む矩形領域の左上隅の位置(座標)が格納され、顔のサイズとして、撮像画像におけるその矩形領域の垂直方向および水平方向の長さ(縦幅および横幅)が格納される。これらの顔情報は、顔検出部282により検出される。
動体情報190は、撮像部130により生成された画像に含まれる動体(移動する物体(例えば、走る車))の位置およびサイズを含む情報である。例えば、動体の位置として、撮像画像における動体を含む矩形領域の左上隅の位置(座標)が格納され、動体のサイズとして、撮像画像におけるその矩形領域の垂直方向および水平方向の長さ(縦幅および横幅)が格納される。これらの動体情報は、CPU202により検出される。
また、画像ファイル181に記録されている付属情報182(属性情報184およびメーカーノート185)を用いて、再生時に各種画像を表示することができる。
[静止画の表示タイミング例]
ここで、静止画を扱う情報処理装置において画像表示が必要となるタイミングについて説明する。静止画を扱う情報処理装置において画像表示が必要となるタイミングは、主に、ライブビュー表示、ポストビュー表示、再生表示、記録画像の一覧表示(いわゆる、サムネイル表示)の4つである。そこで、これらの各画像表示について説明する。
なお、上述したように、撮像位置(撮影者の位置)を回転中心として水平方向に撮像装置を回転移動させる操作(いわゆる、パンニング操作)によりパノラマ画像を生成することが可能な単眼の撮像装置が存在する。この単眼の撮像装置によりパノラマ画像を生成する場合には、パノラマ画像の撮影開始時に表示部に表示されていた画像がパノラマ画像の一端となり、パノラマ画像の撮影終了時に表示部に表示されていた画像がパノラマ画像の他の一端となる。このため、パノラマ画像の撮影をどこから始めて、どこで終えるかを、ユーザは、比較的容易に把握することができる。
また、この単眼の撮像装置によりパノラマ画像を生成する場合には、撮影対象となるパノラマ画像の範囲を、撮影しながら変更することができる。例えば、パノラマ画像の撮影を開始した位置に対応する画像がパノラマ画像の一端となり、パノラマ画像の撮影を止めた位置に対応する画像がパノラマ画像の他の一端となる。
これに対して、情報処理装置100は、シャッターボタン(例えば、決定キー112)を押下した一瞬でパノラマ画像を撮影することが可能である。すなわち、ユーザが希望する所望の一瞬でパノラマ画像を撮影することができる。このように、情報処理装置100では、パノラマ画像の撮影が一瞬で終わってしまうため、撮影する前に画角(例えば、ユーザが所望する水平方向の範囲)を決めておく必要がある。例えば、パノラマ画像の撮影前のライブビュー表示時に、表示部140において確認する必要がある。例えば、主たる被写体を画格に捉えているか、被写体の状態は良いか(人が目をつぶっていないか、蝶が花にとまる瞬間か)を確認する必要がある。また、画像の右端および左端としてどこまで撮影されるか(所望の被写体が写っているか)を確認する必要がある。
(1)ライブビュー表示
ライブビュー表示は、静止画記録モードが設定されている状態で静止画の記録指示操作が行われる前に、撮像部130により生成された撮像画像を表示部140に表示させる動作である。すなわち、ライブビュー表示は、撮像動作前(すなわち、シャッターボタンの押下前)に被写体をユーザが確認するため、その時点で撮像素子に入力されている画像を継続して表示する動画表示である。また、ライブビュー表示において表示される画像(撮像画像)をライブビュー画像と称する。
また、情報処理装置におけるライブビュー表示の目的は、主に、次の(a)乃至(c)である。
(a)情報処理装置100のユーザが、ライブビュー画像を見ながら、主たる被写体を画角(言い換えると、画像として記録する領域)内に捉えているかを確認すること。
(b)画角として左右どこまでの領域が記録されるのか(言い換えると、画像としてどこまでの領域が記録されるのか、特に、パノラマ画像の場合には左右どこまでの領域が記録されるのか)を確認しながら、この領域を調整してこれを決定すること。
(c)主たる被写体の状況を確認(例えば、人物が目をつぶっていないか、花に蝶がちょうど留まる瞬間であるかの確認)して撮影するタイミングを決定すること。
また、各領域の調整は、調整結果を逐次ライブビュー表示にフィードバックして表示させながら調整を進めることができる。
(2)ポストビュー表示
ポストビュー表示は、静止画記録モードが設定されている状態で静止画の記録指示操作が行われた場合に、この記録指示操作に基づく記録処理の終了後、一定期間、その記録された撮像画像を自動的に表示させる動作である。すなわち、ポストビュー表示は、撮像動作後(すなわち、シャッターボタンの押下によるパノラマ画像の記録処理が終了した後)に記録画像をユーザが確認するための表示である。このポストビュー表示において表示される画像(撮像画像)をポストビュー画像と称する。
なお、例えば、情報処理装置100の消費電力を削減するため、ユーザからの指示やバッテリの残量に関する情報に基づいて、意図的にクロック周波数を下げることも想定される。この場合には、静止画の画像信号処理と画像記録処理が一定時間内に終わらない可能性がある。このような場合には、ユーザにより静止画の記録指示操作が行われた後、一定期間、モニタリング画像を表示部140に表示しない。具体的には、記録指示操作が行われてから、情報処理装置100において撮像画像の記録処理が終了するまでの間、画像信号処理や画像記録処理を行っているため、新たな撮像画像の撮影を行うことができない旨が表示部140に表示される。例えば、表示部140には、単色無地の画像(例えば、黒色や紺色)が表示され、この単色無地の画像上に、「処理中」や「しばらくお待ち下さい」等の文字や、装置内部で処理が実行中であることを表す標識(例えば、砂時計)が表示される。このように、新たな撮像画像の撮影を行うことができない旨を表す画像を「黒画像」と称し、この表示動作を「黒画像表示動作」と称する。すなわち、ユーザにより静止画の記録指示操作が行われると、黒画像表示動作により黒画像が表示部140に表示され、一定期間経過すると、ポストビュー動作によりポストビュー画像が表示部140に表示される。
また、情報処理装置におけるポストビュー表示の目的は、主に、次の(d)および(e)である。
(d)撮影により記録された画像の確認と、これによる画像の撮り直しが必要であるか否かの判断を行うこと。
例えば、画角(すなわち、撮影により記録された画像の領域)が満足できるものであるか否かや、被写体の状況が満足できるものであるか否か(例えば、花に蝶がちょうどとまる瞬間であるか)を確認することである。また、この確認とともに、画像の撮り直しが必要であるかを判断することである。
ここで、画角の確認としては、パノラマ画像としてどの領域が撮影して記録されているのか、画像の右端と左端とを確認することが重要である。また、被写体の状況の確認としては、主たる被写体がどのように撮影されて記録されているのかを詳細に確認することが重要である。
(e)撮影により記録された画像を鑑賞すること。
画像の鑑賞は、次に示す画像の再生表示と目的が同じである。また、撮影された画像の確認と撮り直しの判断は、ポストビュー表示だけのものであり、かつ、機会を逸すると撮り直しはできなくなってしまうことが多い。このため、ポストビュー表示の主たる目的は、(e)画像の鑑賞よりも(d)画像の確認と撮り直しの判断にある。なお、ポストビュー表示は、静止画の記録処理により記録された画像の確認が目的であるため、ライブビューのようなリアルタイムの動画表示は行わず、記録された静止画の表示が行われる。
(3)再生表示
再生表示は、任意の時間において、ユーザ操作により記録媒体180に記憶されているコンテンツ(例えば、パノラマ画像)を再生させる動作である。
また、情報処理装置における画像の再生表示の目的は、主に、撮影により記録された画像の鑑賞である。パノラマ画像を鑑賞する際は、画像全体を鑑賞することと、主たる被写体の細部を詳細に鑑賞することの2つが可能であることが好ましい。
なお、ここで示す再生表示は、静止画の記録処理により記録された画像の鑑賞が目的であるため、ライブビューのようなリアルタイムの動画表示は行わず、記録された静止画の表示が行われる。
(4)記録画像の一覧表示(いわゆる、サムネイル表示)
複数枚の画像を撮影して記録が行われた場合には、どのような画像を記録したのか、複数枚の画像を一目で見ることができると便利である。ただし、表示部140上に複数枚の記録画像を表示するため、1枚の大きさは小さくならざるを得ない。
この状態で、それぞれの画像(特に、パノラマ画像)において、それぞれが何を撮影した画像であるのかを、ユーザが視認することができることが好ましい。
なお、サムネイル表示は、記録した画像の一覧表示が目的であるため、静止画表示のみが行われる。
[動画の表示タイミング例]
次に、動画を扱う情報処理装置において画像表示が必要となるタイミングについて説明する。動画を扱う情報処理装置において画像表示が必要となるタイミングは、主に、リアルタイム表示、再生表示、記録画像の一覧表示(いわゆる、サムネイル表示)の3つである。そこで、これらの各画像表示について説明する。
(1)リアルタイム表示
情報処理装置におけるリアルタイム表示の目的は、主に、動画記録モードが設定されている状態で、撮影前および撮影中において、記録対象となる画像の画角の確認と被写体の状況の確認である。
なお、リアルタイム表示は、記録前および記録中の動画像のリアルタイム確認が目的であるため、動画表示のみが行われる。
(2)再生表示
情報処理装置における画像の再生表示の目的は、主に、撮影により記録された画像の鑑賞である。パノラマ画像を鑑賞する際は、画像全体を鑑賞することと、主たる被写体の細部を詳細に鑑賞することの2つが可能であることが好ましい。
なお、ここで示す再生表示は、記録した動画の鑑賞を目的であるため、動画表示のみが行われる。
(3)記録画像の一覧表示(いわゆる、サムネイル表示)
複数本の画像を撮影して記録が行われた場合には、どのような画像を記録したのか、代表的な画像(例えば、動画を取り始めた時の画像)を静止画として一目で見ることができると便利である。ただし、表示部140上に複数本の記録画像を表示するため、1枚の大きさは小さくならざるを得ない。この状態で、それぞれの画像(特に、パノラマ画像)において、それぞれが何を撮影した画像であるのかを、ユーザが視認することができることが好ましい。
なお、サムネイル表示は、記録した動画の先頭画像を一覧表示することが目的であるため、静止画表示のみが行われる。
なお、本技術の実施の形態では、「画像」と記載した場合には、画像そのものと、その画像を表示するための画像データとの両方の意味を含むものとする。
[情報処理装置の機能構成例]
図28は、本技術の実施の形態における情報処理装置100の機能構成例を示すブロック図である。
情報処理装置100は、表示部140と、姿勢検出部150と、画像生成部510と、画像メモリ520と、記録制御部530と、記憶部540と、表示制御部550と、操作受付部560とを備える。
画像生成部510は、被写体を撮像して撮像画像を生成するものであり、生成された撮像画像を画像メモリ520に保持させる。この撮像画像は、例えば、1つの撮像素子134を用いて生成される撮像画像、または、3つの撮像素子134乃至136を用いて生成された3つの撮像画像の合成により生成される撮像画像(例えば、パノラマ画像)である。これらの撮像画像は、操作受付部560により受け付けられたユーザ操作に応じて生成される。また、画像生成部510は、撮像画像の生成時における各情報を表示制御部550および記録制御部530に出力する。この撮像画像の生成時における各情報は、例えば、撮像画像に含まれる顔に関する情報(顔情報)や合焦位置に関する情報(合焦位置情報)である(例えば、図27のcに示す各情報)。すなわち、画像生成部510は、パノラマ画像における特定対象物を検出する検出部として機能する。なお、画像生成部510は、例えば、図2に示す撮像部130およびDSP200(図7に示す画像信号処理部220、AF制御部281、顔検出部282等)に対応する。また、画像生成部510は、特許請求の範囲に記載の対象物検出部の一例である。
画像メモリ520は、画像生成部510により生成された撮像画像、または、表示制御部550により記憶部540から取得された撮像画像(画像ファイル)を保持するものである。そして、画像メモリ520は、保持されている撮像画像を記録制御部530または表示制御部550に供給する。なお、画像メモリ520は、例えば、図2に示す画像メモリ170に対応する。
記録制御部530は、操作受付部560により受け付けられたユーザ操作に応じて、画像生成部510により生成されて画像メモリ520に保持されている撮像画像を記憶部540に画像ファイルとして記録させるものである。また、記録制御部530は、撮像画像の記録の際に、画像生成部510から出力された情報(撮像画像の生成時における各情報)をその画像ファイルに記録させる。例えば、記録制御部530は、パノラマ画像(横長の画像)を記録する際に、特定対象物(例えば、人物の顔)が存在する領域に関する特定対象物情報(例えば、図27のcに示す顔情報189)をそのパノラマ画像に関連付けて記憶部540に記録させる。なお、記録制御部530は、例えば、図2に示すDSP200(図7に示す撮像制御部201、解像度変換部251、符号化復号化部252等)に対応する。
記憶部540は、画像生成部510により生成された撮像画像を画像ファイルとして記憶するものであり、記憶されている画像ファイルを表示制御部550に供給する。なお、記憶部540は、例えば、図2に示す記録媒体180に対応する。
表示制御部550は、操作受付部560により受け付けられたユーザ操作に応じて、画像生成部510により生成されて画像メモリ520に保持されている撮像画像を表示部140に表示させるものである。また、表示制御部550は、操作受付部560により受け付けられたユーザ操作に応じて、記憶部540に記憶されている画像ファイルを取得して画像メモリ520に保持させてその画像ファイルの撮像画像を表示部140に表示させる。例えば、表示制御部550は、取得された画像ファイルに記録されている情報(撮像画像の生成時における各情報)に基づいて、画像メモリ520に保持されている撮像画像における複数の領域の画像を表示させることができる。また、例えば、表示制御部550は、記憶部540に記憶されているパノラマ画像を表示させる際に、そのパノラマ画像に関連付けて記録されている特定対象物情報を用いて特定対象物が存在する領域に関する画像を表示させることができる。例えば、顔情報(図27のcに示す顔情報189)を用いて人物の顔が存在する領域の画像を表示させることができる。
また、表示制御部550は、例えば、ライブビュー表示時、ポストビュー表示時、再生表示時に画像を表示部140に表示させる。この場合に、例えば、表示制御部550は、画像生成部510により生成されたパノラマ画像における複数の領域を、表示部140の長手方向において複数段となるように表示させる制御を行う。
例えば、表示制御部550は、図32等に示すように、パノラマ画像の長手方向に直交する直交方向を境界としてパノラマ画像を分割し、この分割後の各画像を表示部140の長手方向において複数段となるように表示させる。この場合に、表示制御部550は、例えば、パノラマ画像の長手方向における両端部の領域を含む2つの画像(左画像および右画像)と、その両端部の間に存在する領域を含む画像(中画像)とを表示部140の長手方向において2段となるように表示させる。また、表示制御部550は、例えば、左画像および右画像を同一のラインに表示させ、中画像を他のラインに表示させる。また、表示制御部550は、例えば、左画像と右画像と中画像との垂直方向のサイズを同一にして表示させる。また、表示制御部550は、例えば、中画像の水平方向のサイズを、左画像および右画像の水平方向のサイズよりも大きくして表示させる。
また、表示制御部550は、例えば、図37、図38に示すように、パノラマ画像から検出された特定対象物(例えば、人物、蝶)が存在する領域を含む画像を中画像として表示させるようにしてもよい。
また、表示制御部550は、例えば、図42、図43に示すように、中画像として表示される領域を、パノラマ画像における両端部のうちの一方の端部から他の端部に移動させながら中画像を表示させるようにしてもよい。
また、表示制御部550は、例えば、図35、図36等に示すように、パノラマ画像における複数の領域の表示領域以外の領域に、パノラマ画像の縮小画像を表示させるようにしてもよい。
また、表示制御部550は、例えば、図39、図40等に示すように、パノラマ画像における複数の領域のそれぞれの位置を表す表示情報(例えば、枠)をパノラマ画像の縮小画像に関連付けて表示させるようにしてもよい。
なお、表示制御部550は、例えば、図46に示すように、パノラマ画像の長手方向と表示部140の長手方向とが一致するか否かを判断し、一致する場合には、上述した各制御を行わずに、パノラマ画像を表示部140に表示させるようにしてもよい。一方、パノラマ画像の長手方向と表示部140の長手方向とが一致しない場合には、上述した各制御を行い、パノラマ画像における複数の領域を、表示部140の長手方向において複数段となるように表示させるようにしてもよい。
また、表示制御部550は、操作受付部560により受け付けられたユーザ操作に応じて、各設定画面を表示部140に表示させる。なお、表示制御部550は、例えば、図2に示すDSP200(図7に示す撮像制御部201、CPU202、符号化復号化部252、解像度変換部231、画像回転処理部232等)に対応する。
表示部140は、表示制御部550の制御に基づいて各画像を表示するものである。なお、表示部140は、例えば、図2に示す表示部140に対応する。
操作受付部560は、ユーザによる操作入力を受け付ける操作受付部であり、受け付けられた操作入力の内容を各部に出力する。例えば、操作受付部560は、ユーザにより静止画記録指示操作が行われた場合には、その旨を画像生成部510、記録制御部530および表示制御部550に出力する。また、操作受付部560は、記憶部540に記憶されている画像ファイルを表示する表示指示操作が行われた場合には、その旨を表示制御部550に出力する。また、操作受付部560は、記憶部540に記憶されている画像ファイルが表示されている場合に、その表示状態を変更する指示操作が行われた場合には、その旨を表示制御部550に出力する。なお、操作受付部560は、例えば、図1および図2に示す各操作部材(切替スイッチ111、決定キー112等)に対応する。
姿勢検出部150は、情報処理装置100(表示部140)の姿勢を検出するものであり、その検出結果を表示制御部550に出力する。例えば、姿勢検出部150は、情報処理装置100の姿勢が横長状態であるか、縦長状態であるかを検出する。なお、姿勢検出部150は、図2に示す姿勢検出部150に対応する。
[パノラマ画像の表示例]
次に、撮像素子134乃至136から画像データを読出し、その画像を表示部140に表示する例について説明する。
図29は、本技術の実施の形態における情報処理装置100による撮像処理の撮像対象となる被写体と撮像範囲との関係を示す図である。
図29のaには、被写体および情報処理装置100の撮像動作時における関係を模式的に示す。図29のbには、図29のaに示す被写体における撮像範囲(点線の矩形590で示す)に対応するパノラマ画像600を示す。
ここで、従来の情報処理装置について説明する。例えば、1個の筐体からなる複眼撮像装置(例えば、複眼デジタルスチルカメラ)は、一般に、長方形の筐体の長手方向と、長方形の表示装置の長手方向とが一致するように筐体に表示装置が配置されている。ここで、記録対象または表示対象となる1つの画像は、横対縦の比が4:3または16:9の長方形であるため、これらの画像を、少しでもユーザが視認し易くすることが重要となる。そこで、画像全体を長方形の表示装置にできる限り大きく表示させるため、光学系(レンズ等)と撮像素子とからなる複数の撮像系については、光学中心配置線(複数の撮像系の光学中心を結ぶ線)と、筐体の長手方向とが一致するように筐体に配置されている。
なお、光学中心を1つにする1個の光学系と1個の撮像素子とからなる1個の撮像系を備える単眼撮像装置においても同様に、長方形の筐体の長手方向と、長方形の表示装置の長手方向とが一致するように筐体に表示装置が配置されている。また、画像の横対縦の比が大きいパノラマ画像を扱う装置についても、このような配置が必要となる。
このように、複数の撮像系を情報処理装置の長手方向と平行する方向に並べて配置する情報処理装置を用いてパノラマ画像(水平方向に延びるパノラマ画像)の撮影を行う場合には、情報処理装置を横長状態で使用することが多いと想定される。しかしながら、スマートフォンや携帯電話等の情報処理装置の場合には、長方形の筐体と長方形の表示装置とを縦長状態にして使用することが多い。これらの情報処理装置について、表示装置の長辺と光学中心配置線とが平行になるように撮像系を配置すると、パノラマ画像の撮影を行う毎に横長状態とする必要があるため、パノラマ画像の撮影に不慣れなユーザにとって機器を使用し難くなるおそれがある。
このように、例えば、画像撮影以外の情報処理装置の機能を使用する場合には、ユーザは、情報処理装置を縦長状態で使用することが多い。一方、パノラマ画像の撮影時とパノラマ画像の表示時とについては、横長状態で使用することが考えられる。このように、使用する機能によって筐体の向きを変えることは、ユーザにとって煩雑となる。
また、このような情報処理装置は、光学中心配置線(複数の撮像系の光学中心を結ぶ線)が筐体の長手方向に平行であり、かつ、筐体の短辺(筐体の長手方向における端部側)の中央付近に光学中心配置線が配置されることが想定される。しかしながら、このように撮像系(光学系)を配置すると、写真撮影以外の機能を司る電子基板の設計を難しくしてしまうおそれがある。すなわち、レンズと撮像素子とからなる撮像系部品は、情報処理装置の部品の中でも高さが高いものが多い。このため、筐体の短辺(筐体の長手方向における端部側)の中央付近に、筐体の長手方向に平行に光学中心配置線がなるように撮像系部品を配置されると、電子基板の配置を邪魔してしまうおそれがある。例えば、図1のeに示す電子基板101の上側の凹部が深くなってしまう。
そこで、本技術の実施の形態では、複数の撮像部を、表示部の長手方向に直交する直交方向に並べて配置する例を示す。また、複数の撮像部により生成される複数の画像により構成されるパノラマ画像における複数の領域を、表示部の長手方向において複数段となるように表示させる例を示す。
また、本技術の実施の形態では、情報処理装置100の表示部140における長手方向と垂直方向とが略一致する状態で、複数の撮像系を用いて生成されるパノラマ画像を表示する場合には、パノラマ画像を分割して表示する例を示す。なお、以下で示す例では、表示部140における長手方向をY座標方向として称して説明することもある。
[パノラマ画像の表示例]
図30乃至図32は、本技術の実施の形態における画像生成部510により生成されたパノラマ画像600と、表示制御部550により表示部140に表示される画像との関係を示す図である。なお、パノラマ画像を表示部140に表示するタイミングは、上述したように、ライブビュー表示、ポストビュー表示、再生表示等が想定される。
図30のaには、画像生成部510により生成されたパノラマ画像600と、表示対象となる画像601乃至603とを示す。なお、パノラマ画像600は、図29のbに示すパノラマ画像600と同様である。
図30のbには、表示制御部550により表示部140に表示される画像604乃至606を示す。ここで、画像604は、図30のaに示す画像601に対応し、画像605は、図30のaに示す画像602に対応し、画像606は、図30のaに示す画像603に対応する。
このように、表示部140の長手方向における上段に配置される画像(中画像)604をパノラマ画像における中央近傍の画像とする。また、表示部140の長手方向における下段の左側に配置される画像(左画像)605をパノラマ画像600における左側の端部の画像とし、下段の右側に配置される画像(右画像)606をパノラマ画像600における右側の端部の画像とする。
このように、表示部140の長手方向における少なくとも2箇所の位置に、少なくとも3つの画像を表示する。なお、本技術の実施の形態では、上述したように、表示部140の長手方向における上段に配置される画像を中画像と称して説明する。また、表示部140の長手方向における下段の左側に配置される画像を左画像と称し、下段の右側に配置される画像を右画像と称して説明する。
なお、図30では、中画像および左画像と、中画像および右画像との水平方向におけるそれぞれの距離が離れている場合の表示例を示すが、中画像および左画像と、中画像および右画像とのそれぞれの範囲が一部重なるようにしてもよい。この表示例を図31に示す。また、中画像および左画像と、中画像および右画像との水平方向における境界が互いに接するようにしてもよい。この表示例を図32に示す。
図31のaには、パノラマ画像600と、表示対象となる画像611乃至613との関係を示す。図31のbには、表示制御部550により表示部140に表示される画像614乃至616を示す。
図32のaには、パノラマ画像600と、表示対象となる画像621乃至623との関係を示す。図32のbには、表示制御部550により表示部140に表示される画像624乃至626を示す。
このように、本技術の実施の形態では、中画像に表示されておらず、かつ、中画像よりも左側の領域を左画像の全体または一部として表示する。また、中画像に表示されておらず、かつ、中画像よりも右側の領域を右画像の全体または一部として表示する。また、左画像よりも右の領域の一部と、左画像よりも右側の領域の一部とを、中画像の全体または一部として表示する。
なお、左画像、中画像および右画像を表示する場合には、これらの各画像(左画像、中画像および右画像)の表示倍率を略一致させて表示することが好ましい。また、これらの各画像の縦幅(縦サイズ)も略一致させて表示することが好ましい。
このように、表示部140における長手方向に2段で3つの画像を表示することによりパノラマ画像の全体を表示部140に表示する場合よりも小さい横幅(横サイズ)で各画像を表示することができる。すなわち、ある幅の表示部140において、パノラマ画像の全体を表示する場合よりも、拡大した画像を表示することができる。これにより、例えば、パノラマ画像600に含まれる車(左端部に存在)や犬(右端部に存在)が比較的大きいサイズの画像として表示されるため、これらをユーザが容易に確認することができる。
ここで、ライブビュー表示を行う場合の主な目的は、上述した目的(a)乃至(c)である。例えば、(a)主たる被写体を画角内に捉えているか否かの確認と、(b)画角として左右どこまでの領域が記録されるのかを確認しながら、この領域を調整してこれを決定することと、(c)主たる被写体の状況を確認して撮影のタイミングを決めることである。
このように、(a)乃至(c)を目的とする場合には、パノラマ画像の全体を表示部140に表示することは必ずしも不可欠ではなく、主たる被写体と、画角の左端および右端とを拡大して表示することが重要となる。そこで、図30に示すように、中画像および左画像と、中画像および右画像とが、重ならないようにし、その代わりに、表示部140に表示可能な範囲で中画像、左画像および右画像をできるだけ大きく表示することが好ましい。
また、中画像、左画像および右画像を表示する際に、主たる被写体を表示する中画像と、画角の左端および右端を表示する左画像および右画像との表示倍率(拡大率)が異なると、ユーザが確認する際に戸惑うおそれがある。
また、主たる被写体を表示する中画像と、画角の左端および右端を表示する左画像および右画像との縦幅(縦サイズ)が異なると、ユーザは両者の拡大率が異なるのではないかと一瞬錯覚するおそれがある。このため、中画像と左右画像の表示倍率(拡大率)は同じであることが好ましく、また、中画像と左右画像の縦幅(縦サイズ)は同じであることが好ましい。
ここで、例えば、各種の情報処理装置(例えば、携帯電話、スマートフォン)の場合には、表示部における表示内容は、ユーザが上から下に読むように表示されていることが多い。このため、ユーザは、表示部を上から下に見ることに慣れていることが多い。
また、例えば、ライブビュー表示を行う場合には、ユーザは、最初に、主たる被写体を画角内に適切に捉えているかを確認することが多い。このため、左画像および右画像よりも先に中画像を見ることが考えられる。そこで、表示部140において、中画像と、左画像および右画像とをY座標上の異なる位置に配置する場合には、左画像および右画像よりも中画像を上方に配置することが好ましい。また、左画像と右画像とは、Y座標上の同じ位置に配置することが好ましい。
このため、図30乃至図32では、表示部140における長手方向において、中画像を、左画像および右画像よりも上側に表示する例を示す。
[中画像の横幅(横サイズ)を他の画像よりも大きく表示する例]
図30乃至図32では、表示部140における長手方向の上側に中画像を配置し、その下側に左画像および右画像を配置して表示する例を示した。また、中画像、左画像および右画像のサイズを同一にして表示する例を示した。このように各画像を表示する場合には、表示部140における長手方向の上側には、1つの中画像のみが配置されるため、表示部140における長手方向の上側は、空き領域が存在する。そこで、以下では、表示部140における長手方向の上側の空き領域を有効に利用する例を示す。
図33および図34は、本技術の実施の形態における画像生成部510により生成されたパノラマ画像600と、表示制御部550により表示部140に表示される画像との関係を示す図である。
図33では、中画像の横縦比および横幅(横サイズ)を、左画像および右画像よりも大きくして表示する例を示す。なお、図33のaおよびbの関係は、中画像の横縦比および横幅(横サイズ)を、他の画像(左画像および右画像)よりも大きくした点以外は、図30のaおよびbの関係と同様である。例えば、図33では、他の点(各画像の表示倍率が略一致、各画像の縦幅(縦サイズ)が略一致)については、図30と同一である。
これにより、例えば、ライブビュー表示の際に、ユーザが中画像において、主たる被写体の状況だけでなく、その周囲の状況まで確認することができるため、パノラマ画像の中央付近をユーザが確認し易くすることができる。このため、人物の周りの背景等についても、ユーザが容易に確認することができる。このように、ユーザにとっての利便性が向上する。
また、中画像と、左画像および右画像との関係については、図33に示すサイズ以外のサイズとするようにしてもよい。この表示例を図34に示す。
図34のaには、水平方向のサイズをパノラマ画像600よりも大きくしたパノラマ画像640と、表示制御部550により表示部140に表示される画像641乃至643との関係を示す。
図34のbには、水平方向のサイズをパノラマ画像600よりも小さくしたパノラマ画像645と、表示制御部550により表示部140に表示される画像646乃至648との関係を示す。なお、水平方向のサイズについては、ユーザ操作により適宜変更することができる。
[パノラマ画像の全体を表示する例]
以上では、パノラマ画像を分割して表示する例を示した。ここで、パノラマ画像の細部については、各画像(中画像、左画像および右画像)により確認することができるが、パノラマ画像全体についても確認を希望するユーザも存在することが想定される。そこで、以下では、パノラマ画像の全体またはこれに類する画像(例えば、全体の一部が欠けているパノラマ画像)についても各画像(中画像、左画像および右画像)と同時に表示する例を示す。
図35は、本技術の実施の形態における画像生成部510により生成されたパノラマ画像600および表示対象となる各画像と、表示部140の表示例との関係を示す図である。
図35のaには、画像生成部510により生成されたパノラマ画像600を示す。図35では、各画像(中画像、左画像および右画像)とともに、パノラマ画像の全体(または、これに類する画像)の縮小画像を表示する例を示す。具体的には、図35のaでは、パノラマ画像600と、これが縮小された縮小画像637との関係を4つの矢印で模式的に示す。また、図35のbでは、表示部140に表示される縮小画像638(図35のaに示す縮小画像637に対応)の表示例を示す。なお、図35のaおよびbの関係は、パノラマ画像600の全体画像を表示する点以外は、図33のaおよびbの関係と同様である。
特に、情報処理装置100の表示部140における長手方向と垂直方向とが略一致する状態で、画像を表示する場合には、図35のbに示すように表示することが好ましい。例えば、パノラマ画像の全体画像(または、これに類する画像)638については、中画像634、左画像635および右画像636の表示倍率よりも小さくすることが好ましい。すなわち、パノラマ画像の全体画像(または、これに類する画像)638よりも、中画像634、左画像635および右画像636の縦幅(縦サイズ)を大きくすることが好ましい。
このように、図35では、パノラマ画像の全体画像を、中画像の段と左画像および右画像の段との間に表示させる例を示す。なお、図30乃至図34に示す表示例に、パノラマ画像の全体画像を表示するようにしてもよい。
このように、中画像、左画像および右画像とともに、パノラマ画像の全体画像(または、これに類する画像)を表示することにより、パノラマ画像の全容を容易に確認することができる。すなわち、中画像、左画像および右画像の表示により、例えば、ライブビュー表示時に必要となる主たる被写体の状況の確認と、左右の画角の確認とを行うことができる。さらに、パノラマ画像の全体画像(または、これに類する画像)の表示により、パノラマ画像の全容を容易に確認することができる。
図36は、本技術の実施の形態における表示部140に表示されるパノラマ画像および表示対象となる各画像の表示例を示す図である。図36には、パノラマ画像の全体画像(または、これに類する画像)を中画像、左画像および右画像の表示領域の外側に表示する例を示す。
図36のaには、パノラマ画像の全体画像(または、これに類する画像)638を左画像635および右画像636の表示領域の下側に表示する例を示す。
図36のbには、パノラマ画像の全体画像(または、これに類する画像)638を中画像634の表示領域の上側に表示する例を示す。
このように、パノラマ画像の全体画像(または、これに類する画像)638の表示位置については、適宜変更するようにしてもよい。また、ユーザの好みに応じて、その表示位置の変更を可能とするようにしてもよい。例えば、ユーザ操作(例えば、タッチ操作による移動)によりその表示位置の変更を可能とするようにしてもよい。
[被写体に基づいて中画像を決定する例]
以上では、パノラマ画像の真中部分(水平方向における真中部分)の画像を中画像とする例を示した。上述したように、例えば、ライブビュー表示を行う場合の主な目的は、上述した3点(目的(a)乃至(c))である。
ここで、例えば、主たる被写体が人物であり、遠くの風景を背景としたパノラマ画像を撮影する場合を想定する。この場合には、主たる被写体である人物を画像の中心に置いた構図で撮影するのみではなく、画像の中心から左右どちらかにずれた位置に人物を置いた構図で画像を撮影することがある。このような場合には、中画像として表示される画像の領域が、パノラマ画像の中心(すなわち、画角の中心)で固定されていると、不都合が生じることが想定される。例えば、撮影前のライブビュー表示として表示される中画像に主たる被写体(例えば、人物)が含まれないことも想定される。この場合には、上述した目的(a)や目的(c)を達成することができないおそれがある。
また、例えば、花に留まろうとしている蝶を主たる被写体として撮影する場合に、この蝶がパノラマ画像の真中付近ではなく、左右の何れかの端部側に存在する構図で撮影する場合を想定する。この場合には、蝶が花にとまる瞬間であるかを確認して撮影するタイミングを決定することができないおそれがある。そこで、以下では、被写体に基づいて中画像を決定する例を示す。
[パノラマ画像に含まれる顔の位置に基づいて中画像を決定する例]
図37は、本技術の実施の形態における画像生成部510により生成されたパノラマ画像650、655、660と中画像651、656、661との関係を示す図である。
図37では、パノラマ画像に含まれる顔の位置を中心として中画像を決定する例を示す。ここで、図37のa乃至cに示す矩形654、659、664は、画像生成部510(顔検出部282)により検出された顔の位置を表す。このように、パノラマ画像から人物の顔が検出された場合には、表示制御部550は、その検出された顔の位置(パノラマ画像の長手方向における位置)を中心とする中画像を生成する。
例えば、図37のaに示すように、表示制御部550は、パノラマ画像650から人物の顔(矩形654内に示す)が検出された場合には、その顔を中心とする中画像651を生成する。また、例えば、図37のbに示すように、表示制御部550は、パノラマ画像655から人物の顔(矩形659内に示す)が検出された場合には、その顔を中心とする中画像656を生成する。また、例えば、図37のcに示すように、表示制御部550は、パノラマ画像660から人物の顔(矩形664内に示す)が検出された場合には、その顔を中心とする中画像661を生成する。
図37では、撮影時に顔検出部282により検出された人物の顔の領域とその周辺を含む領域を中画像とする例を示した。ただし、撮影時に合焦対象となった領域とその周辺を含む領域を中画像とするようにしてもよい。また、撮影時に動体検出部(例えば、図7に示すCPU202)により検出された動体の領域とその周辺を含む領域を中画像とするようにしてもよい。なお、パノラマ画像から検出された動体の領域とその周辺を含む領域を中画像とする例を図38に示す。
また、撮影時にこれら(顔検出、動体検出、合焦)以外の画像解析の結果に基づいて、特異点を検出し、この検出された特異点の領域とその周辺を含む領域を中画像とするようにしてもよい。
図38は、本技術の実施の形態における画像生成部510により生成されたパノラマ画像665、670、675と中画像666、671、676との関係を示す図である。
図38では、パノラマ画像に含まれる蝶の位置を中心として中画像を決定する例を示す。なお、蝶は、動体として検出するようにしてもよく、特定物体として物体検出により検出するようにしてもよい。
このように、主要な被写体の確認を適切に行うため、パノラマ画像の中心部(画角の中心部)に中画像を固定するのではなく、画像解析に基づいて検出された特異点を含む画像とこの周辺を中画像として表示することができる。
[特異点の座標を記録する例]
ここで、ポストビュー表示を行う主たる目的は、上述したように、例えば、撮影により記録された画像の確認と、画像の撮り直しが必要であるか否かの判断である。なお、撮影により記録された画像の確認は、例えば、主たる被写体を記録した状況が満足できるものであるか否かの確認(例えば、花に留まろうとしている蝶を撮影した場合には、蝶が花に留まる瞬間を撮影できているかの確認。)である。また、例えば、画角(すなわち、撮影により記録された画像の領域)が満足できるものであるか否かの確認である。
また、例えば、主たる被写体が人物であり、遠くの風景を背景とした画像を撮影する場合を想定する。この場合には、上述したように、主たる被写体(人物)を画像の中心に置いた構図で撮影するのではなく、画像の中心から左右どちらかにずれた位置に人物を置いた構図で画像を撮影することがある。
このような場合、表示部140に表示される中画像の領域が画角の中心で固定されていると、例えば、撮影後のポストビュー表示の際に、画像の確認を適切に行うことができないおそれがある。例えば、主たる被写体を記録した状況が満足できるものであったか否かを確認し、撮り直しが必要であるか否かを判断する際に、主たる被写体が中画像に含まれていないため、その判断をすることが困難であるという不都合が生じることが想定される。
このため、これらの確認を適確に行うため、上述したように、中画像に表示する領域は、画角の中心部に固定するのではなく、画像解析に基づいて検出された特異点を含む領域とその周辺を表示することが好ましい。
ここで、画像解析による被写体の位置の検出は、撮影前のライブビュー表示期間中に撮像素子に入力された画像と、撮影記録を行う時に撮像素子に入力された画像とについて行われることが多い。また、この検出結果は、撮影後に消去してしまうことが多い。このように、画像解析による被写体の位置の検出結果が消去されてしまうと、ポストビュー表示時や再生表示時に用いることができない。
そこで、本技術の実施の形態では、撮影の際に画像解析により検出された特異点の位置(パノラマ画像における特異点の座標)を、パノラマ画像に関連付けて記録する。例えば、生成された画像の画素データ以外の領域(または、その圧縮データ以外の領域)に記録することができる。例えば、記録されるパノラマ画像のExif形式の画像データのヘッダや、画像データ中のjpeg形式の画像ファイルのヘッダ等に記録することができる。例えば、図27のcに示すメーカーノート185に記録することができる。そして、ポストビュー表示時や任意の時刻における再生表示時に、表示対象となるパノラマ画像に関連付けて記録されている特異点の座標とその周辺の領域とを用いて、その特異点を含む中画像を表示することができる。
また、例えば、パノラマ画像とは別に、撮影の際に検出された特異点を含む領域とその周辺の画像(例えば、中画像)を表示用画像としての解像度で記録しておくようにしてもよい。例えば、その表示用画像のファイル識別情報(例えば、ファイル名)をパノラマ画像のjpeg形式の画像ファイルのヘッダ等に記録しておくことができる。そして、ポストビュー表示時や任意の時刻における再生表示時に、表示対象となるパノラマ画像に関連付けて記録されているその表示用画像を読み出して中画像として表示することができる。
なお、本技術の実施の形態では、人物の顔や蝶を特定対象物として検出する例について説明したが、人物の顔や蝶以外の物体を特定対象物として検出して用いるようにしてもよい。例えば、哺乳類、爬虫類、魚類等の動物(例えば、犬、猫、牛、馬)、自動車、飛行機等の特定対象物を検出して用いるようにしてもよい。
[パノラマ画像における各画像の領域を表示する例]
以上では、中画像、左画像および右画像とともに、パノラマ画像の全体画像(または、これに類する画像)を表示する例を示した。ここで、例えば、表示されている各画像(中画像、左画像および右画像)のパノラマ画像における位置(長手方向における位置)を把握することができれば、ユーザが確認等をし易い。そこで、以下では、表示されている各画像(中画像、左画像および右画像)のパノラマ画像における領域を表示する例を示す。
図39は、本技術の実施の形態における画像生成部510により生成されたパノラマ画像および各画像(中画像、左画像および右画像)の表示例を示す図である。なお、図39に示す各画像およびその配置については、図35のbに示す例と同様である。
図39のaには、中画像634のパノラマ画像638における領域を、パノラマ画像638上に枠681で表す例を示す。図39のbには、左画像635のパノラマ画像638における領域を、パノラマ画像638上に枠682で表し、右画像636のパノラマ画像638における領域を、パノラマ画像638上に枠683で表す例を示す。なお、これらの枠681乃至693については、表示対象となる各画像(中画像、左画像、右画像)の位置に基づいて、表示制御部550が表示させる。
なお、図39では、各画像のパノラマ画像638における領域を、パノラマ画像638上に枠で表す例を示したが、他の表示態様とするようにしてもよい。例えば、各画像のパノラマ画像638における領域を、パノラマ画像638上に半透明の網掛けで覆うようにしてもよい。また、各画像のパノラマ画像638における領域を、パノラマ画像638上に半透明の網掛けで覆い、かつ、この網掛けを明滅させるようにしてもよい。また、各画像のパノラマ画像638における領域を、パノラマ画像638上にアンダーラインや矢印で表すようにしてもよい。なお、図39のbに示すように、左画像635および右画像636のパノラマ画像638における領域を、パノラマ画像638上に表す場合には、右画像の領域を表す表示と、左画像の領域を表す表示とについて、異なる表示とするようにしてもよい。なお、左画像および右画像の領域を表す表示は、例えば、枠、半透明の網掛け等である。例えば、各画像の領域を、パノラマ画像(全体画像)上に枠で表す場合には、枠の表示の色を左右で変えるようにしてもよい。
図40は、本技術の実施の形態における画像生成部510により生成されたパノラマ画像および各画像(中画像、左画像および右画像)の表示例を示す図である。図40では、各画像(中画像、左画像および右画像)のパノラマ画像における各領域を、パノラマ画像(全体画像)上に枠で表示する例を示す。なお、図40には、図30のbに示す表示例にパノラマ画像685を追加して配置した表示例を示す。
具体的には、中画像604のパノラマ画像685における領域を、パノラマ画像685上に枠686で表す。また、左画像605のパノラマ画像685における領域を、パノラマ画像685上に枠687で表し、右画像606のパノラマ画像685における領域を、パノラマ画像685上に枠688で表す例を示す。
なお、図40では、各画像のパノラマ画像685における領域を、パノラマ画像685上に枠で表す例を示したが、図39と同様に、他の表示態様とするようにしてもよい。例えば、各画像のパノラマ画像685における領域を、パノラマ画像685上に半透明の網掛けで覆うようにしてもよい。また、各画像のパノラマ画像685における領域を、パノラマ画像685上に半透明の網掛けで覆い、かつ、この網掛けを明滅させるようにしてもよい。また、各画像のパノラマ画像685における領域を、パノラマ画像685上にアンダーラインや矢印で表すようにしてもよい。
なお、中画像の領域を表す表示と、左画像および右画像の領域を表す表示とについて、異なる表示態様とすることが好ましい。例えば、中画像の領域は、半透明の網掛けで覆い、左画像および右画像の領域は、枠で囲むようにすることができる。この場合に、左画像および右画像の領域を表す表示について、異なる表示態様とすることが好ましい。例えば、左画像および右画像の領域を表す枠の表示の色を左右で変えることができる。
[モードに応じて領域表示を変更する例]
上述したように、撮影時には、ユーザが各画像の構図等を容易に把握し易いように、各画像の領域を表す表示をすることが好ましい。ただし、再生時には、各画像の構図等の確認ではなく、パノラマ画像の鑑賞に重点がおかれると想定される。このように、モードに応じてユーザが表示画像上で確認したい内容が異なる。例えば、ライブビュー表示時とポストビュー表示時と再生表示時とにおいて、ユーザが表示画像上で確認したい内容が異なる。そこで、ここでは、パノラマ画像を表示する際に、各モードにおいて、ユーザの希望に合うようにパノラマ画像を表示する例を示す。すなわち、表示モードに応じて領域表示を変更する例を示す。
例えば、画像の確認を主たる目的とするライブビュー表示およびポストビュー表示においては、各画像の領域を表す表示情報(例えば、図39、図40に示す枠681乃至683、686乃至688)をパノラマ画像上に表示する。
一方、画像の鑑賞を主たる目的とする再生表示においては、各画像の領域を表す表示情報をパノラマ画像に表示しないようにする。
また、情報処理装置100の工場出荷の際に、これらの表示方法を設定しておくようにしてもよい。また、ライブビュー表示、ポストビュー表示、再生表示のそれぞれにおいて、各画像の領域を表す表示情報をパノラマ画像に表示する/しないをユーザが個別に設定することができるようにしてもよい。例えば、情報処理装置100の表示部140に項目設定画面を表示させ、この項目設定画面内においてユーザが設定するようにしてもよい。
[中画像をスクロール表示する例]
以上では、表示部140に表示される各画像(中画像、左画像および右画像)のパノラマ画像における位置(長手方向における位置)を固定して表示する例を示した。ここで、中画像については、パノラマ画像における位置(長手方向における位置)を移動させながら表示することも考えられる。そこで、以下では、中画像のパノラマ画像における位置(長手方向における位置)を移動させながら表示(いわゆる、自動スクロール表示)する例を示す。
図41は、本技術の実施の形態における画像生成部510により生成されたパノラマ画像における中画像の領域の遷移例を示す図である。なお、図41に示すパノラマ画像は、図29のbに示すパノラマ画像600と同様である。また、図41では、パノラマ画像における中画像の領域を枠690で囲んで示す。
なお、図41では、説明の容易のため、パノラマ画像における中画像の領域の遷移として4つの領域のみを示すが、移動間隔は、例えば、1画素または数画素分だけ進むようにすることができる。また、移動速度については、ユーザが見易い速度とすることができる。
図42および図43は、本技術の実施の形態における画像生成部510により生成されたパノラマ画像および各画像(中画像、左画像および右画像)の表示例を示す図である。なお、図42および図43に示すパノラマ画像685、左画像605および右画像606は、図40と同様である。ただし、図42および図43では、各画像の領域を表す表示情報については、中画像に関する表示情報(枠691、693、695、697)のみを表示する例を示す。
また、パノラマ画像685における中画像の領域の遷移については、図41に示す遷移に対応する。
このように、中画像については、パノラマ画像における領域を自動的に移動させながら表示する。いわゆる、中画像の自動スクロール表示を行う。
ここで、モードに応じて中画像の自動スクロール表示を行うか否かを設定しておくようにしてもよい。例えば、撮影前に被写体を確認するライブビュー表示を行う際と、撮影後に記録画像を確認するポストビュー表示を行う際は、中画像の自動スクロール表示を行わない。すなわち、中画像のパノラマ画像における位置(長手方向における位置)を固定して表示させる。一方、任意の時間における画像の再生表示を行う際は、中画像の自動スクロール表示を行う。
また、例えば、表示制御部550は、ライブビュー時またはポストビュー時には、第1表示方法と、第2表示方法とをユーザ操作に基づいて切り替えるようにしてもよい。ここで、第1表示方法は、例えば、パノラマ画像における中画像の位置を固定して表示させる表示方法である。また、第2表示方法は、パノラマ画像に含まれる特定対象物が存在する領域を含む画像を中画像として表示させる表示方法である。一方、表示制御部550は、再生時には、第3表示方法(自動スクロール表示)と、第2表示方法とをユーザ操作に基づいて切り替えるようにしてもよい。
または、撮影前に被写体を確認するライブビュー表示を行う際のみ、中画像の自動スクロール表示を行わずに特定の領域(例えば、中画像の領域)を表示するようにしてもよい。この場合に、撮影後に記録画像を確認するポストビュー表示を行う際と、任意の時間における画像の再生表示を行う際とは、中画像の自動スクロール表示を行うようにしてもよい。または、ライブビュー表示とポストビュー表示を行う際は、中画像の自動スクロール表示を行わずに特定の領域を表示し、任意の時間における画像の再生表示を行う際は、中画像の自動スクロール表示を行うようにしてもよい。
また、例えば、表示制御部550は、ライブビュー時には、第1表示方法と、第2表示方法とをユーザ操作に基づいて切り替えるようにしてもよい。一方、表示制御部550は、ポストビュー時または再生時には、第3表示方法と、第2表示方法とをユーザ操作に基づいて切り替えるようにしてもよい。
また、これらの表示方法の設定については、情報処理装置100の工場出荷の際、または、ユーザが情報処理装置100を使用する際に行うようにしてもよい。また、ライブビュー表示、ポストビュー表示、再生表示のそれぞれにおいて、中画像の自動スクロール表示を行うか否かを、ユーザが個別に設定することができるようにしてもよい。また、例えば、ライブビュー動作による画像の表示方法と、ポストビュー動作による画像の表示方法と、再生動作による画像の表示方法とのそれぞれについて個別に設定することができる。このような設定がされた場合には、表示制御部550は、その設定に基づいて各画像を表示させることができる。また、これらの各設定については、情報処理装置100の表示部140に項目設定画面を表示させ、この項目設定画面内においてユーザが手動で行うことができる。例えば、ライブビュー表示、ポストビュー表示、再生表示のそれぞれの機能が起動された時には、その項目設定画面内において設定された内容に従って中画像を表示することができる。
また、情報処理装置100の筐体表面にユーザからの指示を入力する入力部(例えば、タッチパネル)を設けるようにしてもよい。そして、ライブビュー表示、ポストビュー表示、再生表示のそれぞれの期間中にその入力部によりユーザから指示が入力されると、中画像の表示がそれぞれの表示期間毎に、静止画表示と自動スクロール表示とを切り替えるようにしてもよい。ここで、自動スクロール表示は、中画像として表示される領域をパノラマ画像における両端部のうちの一方の端部から他の端部に移動させながら中画像を表示させる表示方法の一例である。また、静止画表示は、中画像として表示される領域の移動を行わず一定の領域を中画像として表示する表示方法の一例である。
例えば、中画像の表示方法(静止画表示、自動スクロール表示)に関するユーザからの切り替え指示操作が受け付けられた場合を想定する。この場合には、表示制御部550は、その切り替え指示操作に基づいて、自動スクロール表示と、静止画表示との何れかを選択して中画像を表示させることができる。
また、中画像の静止画表示または自動スクロール表示を終了した時点で、中画像の表示方法としてどの表示方法を用いていたかを情報処理装置100の内部に保存するようにしてもよい。そして、ライブビュー表示、ポストビュー表示、再生表示のそれぞれの機能がその保存後に起動された時には、その保存内容に従って、中画像を表示するようにしてもよい。
例えば、中画像の表示方法の切り替えが行われた場合には、その切り替えに基づく中画像の表示が終了するまでの間に、その切り替えに係る表示方法が保持される。そして、その切り替えに基づく中画像の表示が終了した後に、パノラマ画像が新たに表示される場合には、その保持された表示方法を用いてそのパノラマ画像における中画像を表示させることができる。
[中画像をユーザ操作に基づいて表示する例]
以上では、各画像(中画像、左画像および右画像)を表示部140に自動で表示する例を示した。ここで、中画像については、ユーザが見たいと希望する位置(長手方向における位置)を迅速に表示することも重要である。そこで、以下では、中画像をユーザ操作に基づいて表示する例を示す。すなわち、ユーザ操作に基づいて中画像の表示領域を変更する例を示す。
図44は、本技術の実施の形態における画像生成部510により生成されたパノラマ画像および各画像(中画像、左画像および右画像)の表示例を示す図である。なお、図44に示すパノラマ画像685、左画像605および右画像606は、図40と同様である。ただし、図44では、各画像の領域を表す表示情報については、中画像に関する表示情報(枠701、703)のみを表示する例を示す。
ここで、情報処理装置100の表示部140をタッチパネルで構成する場合を想定する。この場合には、例えば、ユーザが表示部140の表示面に指10を押下した際には、その押下操作が抵抗変化や容量変化等の電気的特性変化として検出される。そして、中画像の1つの表示形態として特定の領域を表示中にその押下操作が検出された場合には、その検出された位置を中心とする中画像が生成されて表示される。また、ユーザによる表示部140の表示面への近接(例えば、手や指等の体の一部の近接)を検出することが可能なタッチパネルを用いる場合には、その近接を検出した場合についても、押下操作を検出した場合と同様に中画像を表示することができる。
ここで、中画像の別の表示形態として上述の自動スクロール表示中にその押下操作が検出された場合を想定する。この場合には、その検出された位置を中心とする中画像を表示する。この表示後には、その中画像を静止画として継続して表示するようにしてもよく、その位置を起点として自動スクロール表示を再開するようにしてもよい。
例えば、パノラマ画像における位置を指定する指定操作が行われた場合を想定する。この場合に、表示制御部550は、自動スクロール表示により中画像が表示されている場合には、その指定操作により指定されたパノラマ画像における位置とその周辺領域とを含む画像を新たな中画像として表示させる。そして、表示制御部550は、その位置を起点として移動を行いながら中画像の表示を行う。一方、その指定操作が行われた際に、静止画表示により中画像が表示されている場合には、表示制御部550は、その位置とその周辺領域とを含む画像を新たな中画像として表示させる。
なお、タッチパネルとして、例えば、静電式(静電容量方式)のタッチパネル、感圧式(抵抗膜圧式)のタッチパネル、光式のタッチパネル等を用いることができる。
また、タッチパネル以外の操作部材(例えば、十字キー)を用いて、中画像を表示すべき位置を指定するようにしてもよい。
[2段表示の変形例]
以上では、表示部140の長手方向において中画像、左画像および右画像を2段にして表示する例を示した。ただし、各画像のサイズによっては、表示部140の長手方向において中画像、左画像および右画像を1段にして表示するようにしてもよい。そこで、以下では、表示部140の長手方向において中画像、左画像および右画像を1段にして表示する例を示す。
図45は、本技術の実施の形態における画像生成部510により生成されたパノラマ画像600および表示対象となる各画像と、表示部140の表示例との関係を示す図である。
図45のaには、画像生成部510により生成されたパノラマ画像600を示す。図45のaに示す関係は、図30のa等に示す関係と同様である。また、図45のbには、表示部140に表示されるパノラマ画像711および各画像(中画像712、左画像713、右画像714)の表示例を示す。
図45のaおよびbに示すように、各画像(中画像712、左画像713および右画像714)の横幅を比較的小さくすることにより、これらの各画像を表示部140の長手方向において1段にして表示することができる。これにより、パノラマ画像711の水平方向と一致する各画像を表示することができる。
ここで、スマートフォンや携帯電話等の情報処理装置の通話操作、電子メールの文章作成や文章読み取り等の操作を行う場合には、筐体を縦長にして使用することが多い。このため、例えば、カメラ付き情報処理装置を用いて撮影が行われる場合にも、筐体および表示部を縦長状態にして撮影し、縦長の画像を記録することが多い。
そこで、本技術の実施の形態では、スマートフォンや携帯電話等の情報処理装置100において、情報処理装置100の長手方向と直交する直交方向に複数個の撮像系を並べて配置する。これにより、情報処理装置100を縦長状態にして撮影してもパノラマ画像を記録することができる。
また、ライブビュー表示時、ポストビュー表示時または再生表示時において、情報処理装置100を縦長状態にしてパノラマ画像を表示する場合には、パノラマ画像を分割した複数の画像を表示部140の長手方向において複数段に分けて表示する。これにより、複眼カメラ付きの携帯型の情報処理装置100において、ユーザが情報処理装置100を縦長に持った状態で、複眼パノラマ画像の撮影を容易に行うことができる。また、情報処理装置100を縦長状態にしてパノラマ画像を表示してもパノラマ画像を適切に表示することができる。
[情報処理装置の状態(縦長状態、横長状態)を変化させる場合の表示例]
以上では、情報処理装置100を縦長状態とした場合におけるパノラマ画像の表示例を示した。ただし、ユーザによっては、情報処理装置100を横長状態としてパノラマ画像を鑑賞することも想定される。
ここで、例えば、横長状態と縦長状態とで表示段数を同じにすることも考えられる。例えば、横長状態でパノラマ画像を表示する場合には、表示部140の横幅いっぱいにパノラマ画像を表示することにより、パノラマ画像を大きく表示することができる。しかしながら、パノラマ画像の上下にできる余白領域の上下方向の高さについて、縦長状態で表示部140の横幅いっぱいにパノラマ画像が表示される場合よりも、横長状態で表示部140の横幅いっぱいにパノラマ画像が表示される場合の方が狭くなる。このように、横長状態の場合は、パノラマ画像の上下にできる余白領域が縦長状態の場合よりも狭い。このため、横長状態の場合には、縦長状態の場合よりも、表示段数を少なくすることが好ましい。そこで、以下では、情報処理装置100の状態(縦長状態、横長状態)を変化させる場合の表示例を示す。
図46は、本技術の実施の形態における画像生成部510により生成されたパノラマ画像を表示部140に表示させる場合における表示例を示す図である。
図46のa乃至cの左側には、情報処理装置100を横長状態とした場合におけるパノラマ画像の表示例を示し、図46のa乃至cの右側には、情報処理装置100を縦長状態とした場合におけるパノラマ画像の表示例を示す。
例えば、情報処理装置100が横長状態とされている場合には、パノラマ画像720のみ、または、パノラマ画像720および中画像721が表示部140に表示される。また、例えば、情報処理装置100が縦長状態とされている場合には、中画像722と左画像723と右画像724との各画像、または、これらの各画像とともにパノラマ画像の縮小画像725が表示部140に表示される。
このように、表示部140が縦長状態になるようにユーザが情報処理装置100を持っている場合における各画像の段数を、表示部140が横長状態になるようにユーザが情報処理装置100を持っている場合における各画像の段数よりも大きくする。これにより、情報処理装置の状態(縦長状態、横長状態)を変化させた場合でも、ユーザがパノラマ画像を見易い表示とすることができる。
[情報処理装置の変形例]
次に、複数の撮像系を備える情報処理装置の変形例について説明する。
図47および図48は、本技術の実施の形態における情報処理装置100の変形例を示す図である。
図47および図48には、表示部140および撮像部130が異なる筐体(第1筐体811、第2筐体812)に備えられている情報処理装置800を示す。図47のaには、情報処理装置800の上面図を示し、図47のbには、情報処理装置800の電子基板の配置例を示す。なお、図47のaは、図1のaに対応し、図47のbは、図1のeに対応する。また、図48のaには、情報処理装置800の正面図を示し、図48のbには、情報処理装置800の側面図を示し、図48のcには、情報処理装置800の背面図を示す。なお、図48のaは、図1のbに対応し、図48のbは、図1のcに対応し、図48のcは、図1のdに対応する。また、図1に示す情報処理装置100と共通する部分については、同一の符号を付して示す。
情報処理装置800は、例えば、複数の撮像系を備える情報処理装置(例えば、複眼カメラ付き折り畳み式携帯電話)により実現される。
情報処理装置800は、回動部材802と、第1筐体811と、第2筐体812とを備える。第1筐体811および第2筐体812は、回動部材802を回動軸として折り畳み可能に連結されている。すなわち、回動部材802を回動軸として、操作部801および表示部140が対向するように折り畳むことができる。
第1筐体811は、撮像部130および表示部140を備える。また、第2筐体812は、操作部801と、電子基板815と、電池格納部816とを備える。
操作部801は、テンキー、十字キー、決定キー等により構成される操作部である。
このように、複数の撮像系を備える折り畳み式の情報処理装置800に本技術の実施の形態を適用することができる。なお、この変形例では、3個の撮像系が所定の規則に従って並べて配置されている例を示した。ただし、2または4以上の撮像系を備える情報処理装置(例えば、デジタルスチルカメラやデジタルビデオカメラ(例えば、カメラ一体型レコーダ)等の撮像装置)に本技術の実施の形態を適用することができる。すなわち、2または4以上の撮像系を一定の規則で並べて配置して構成することにより、本技術の実施の形態を適用することができる。2つの撮像系を一定の規則で並べて配置する例を図49乃至図51に示す。
図49乃至図51は、本技術の実施の形態における情報処理装置100の変形例を示す図である。
図49には、表示部140および撮像部830が1つの筐体に備えられている情報処理装置820を示す。図49のaには、情報処理装置820の上面図を示し、図49のbには、情報処理装置820の正面図を示す。また、図49のcには、情報処理装置820の側面図を示し、図49のdには、情報処理装置820の背面図を示す。また、図49のeには、情報処理装置820の電子基板の配置例を示す。なお、図49のa乃至eは、図1のa乃至eに対応する。また、図1に示す情報処理装置100と共通する部分については、同一の符号を付して示す。
また、図49のaに示すように、撮像部830を構成する2つの撮像系(光学系831、832、撮像素子833、834)の光軸を、光軸835および836とする。この場合に、光軸835と、表示部140の表示面に直交(または、略直交)する垂線837とのなす角度をθとし、光軸836と垂線837とのなす角度をθとする。すなわち、2つの撮像系(光学系831、832、撮像素子833、834)の光軸835および836が、垂線837を挟んで線対称の位置となるように、2つの撮像系(光学系831、832、撮像素子833、834)が配置される。
情報処理装置820は、例えば、複数の撮像系を備える情報処理装置(例えば、複眼カメラ付きスマートフォンや複眼カメラ付き携帯電話)により実現される。
情報処理装置820は、電子基板101と、電池格納部102と、切替スイッチ111と、決定キー112と、表示部140と、撮像部830とを備える。なお、情報処理装置820は、撮像部830を構成する撮像系(光学系831、832、撮像素子833、834)を2つとした点以外は、図1に示す情報処理装置100と同様である。このため、ここでの詳細な説明を省略する。
図50および図51には、表示部140および撮像部830が異なる筐体(第1筐体811、第2筐体812)に備えられている情報処理装置840を示す。図50のaには、情報処理装置840の上面図を示し、図50のbには、情報処理装置840の電子基板の配置例を示す。また、図51のaには、情報処理装置840の正面図を示し、図51のbには、情報処理装置840の側面図を示し、図51のcには、情報処理装置840の背面図を示す。なお、図50のaおよびb、図51のa乃至cは、図47のaおよびb、図48のa乃至cに対応する。また、図47および図48に示す情報処理装置800、図49に示す情報処理装置820と共通する部分については、同一の符号を付して示す。
情報処理装置840は、例えば、複数の撮像系を備える情報処理装置(例えば、複眼カメラ付き折り畳み式携帯電話)により実現される。
情報処理装置840は、回動部材802と、第1筐体811と、第2筐体812とを備える。なお、情報処理装置840は、撮像部830を構成する撮像系(光学系831、832、撮像素子833、834)を2つとした点以外は、図47および図48に示す情報処理装置800と同様である。このため、ここでの詳細な説明を省略する。
[パノラマ画像および他の画像の表示例]
上述したように、複数の撮像系を備える情報処理装置により生成されたパノラマ画像を表示することができる。ここで、複数の撮像系を備える情報処理装置は、通常の画像(例えば、縦横比が3:4の画像)を生成することも可能であるため、これらの各画像を適切に表示することも重要である。
そこで、以下では、複数の撮像系を備える情報処理装置により生成される各画像を適切に表示する例を示す。
[3つの撮像部を備える情報処理装置の表示例]
図52乃至図54は、本技術の実施の形態における情報処理装置により生成される各画像の表示例を示す図である。図52乃至図54には、3つの撮像素子における画像読出領域(太線の矩形で示す)と、表示制御部550により表示部140に表示される画像との関係を示す。なお、これらの各画像は、例えば、図1に示す情報処理装置100や図47および図48に示す情報処理装置800により生成される。
図52のaには、3つの撮像素子のうちの1つの撮像素子(真中の撮像素子)における一部を用いて画像(例えば、縦長3:4画像)851を生成する場合における表示例を示す。この場合には、図52のbに示すように、1つの撮像素子により生成された画像852の全体が表示される。すなわち、表示部140の表示画面上に画像(例えば、縦長3:4画像)を表示する段数は、パノラマ画像を表示する際の段数よりも少ない段数(例えば、1段)で表示することができる。
図53のaには、3つの撮像素子のうちの1つの撮像素子(真中の撮像素子)の全部を用いて画像(例えば、横長4:3画像)853を生成する場合における表示例を示す。この場合には、図53のbに示すように、1つの撮像素子により生成された画像854の全体が表示される。すなわち、表示部140の表示画面上に画像(例えば、横長4:3画像)を表示する段数は、パノラマ画像を表示する際の段数よりも少ない段数(例えば、1段)で表示することができる。
図54のaには、3つの撮像素子を用いてパノラマ画像850を生成する場合における表示例を示す。この場合には、図54のbに示すように、パノラマ画像850が分割されて表示される。例えば、パノラマ画像850が分割された複数の画像855乃至857が、中画像858、左画像859、右画像860として表示される。
[2つの撮像部を備える情報処理装置の表示例]
図55乃至図57は、本技術の実施の形態における情報処理装置により生成される各画像の表示例を示す図である。図55乃至図57には、2つの撮像素子における画像読出領域(太線の矩形で示す)と、表示制御部550により表示部140に表示される画像との関係を示す。なお、これらの各画像は、例えば、図49に示す情報処理装置820や図50および図51に示す情報処理装置840により生成される。
図55のaには、2つの撮像素子における一部を用いて画像(例えば、縦長3:4画像)871を生成する場合における表示例を示す。この場合には、図55のbに示すように、2つの撮像素子における一部により生成された画像872の全体が表示される。すなわち、表示部140の表示画面上に画像(例えば、縦長3:4画像)を表示する段数は、パノラマ画像を表示する際の段数よりも少ない段数(例えば、1段)で表示することができる。
図56のaには、2つの撮像素子における一部を用いて画像(例えば、横長4:3画像)873を生成する場合における表示例を示す。この場合には、図56のbに示すように、2つの撮像素子における一部により生成された画像874の全体が表示される。すなわち、表示部140の表示画面上に画像(例えば、横長4:3画像)を表示する段数は、パノラマ画像を表示する際の段数よりも少ない段数(例えば、1段)で表示することができる。
図57のaには、2つの撮像素子を用いてパノラマ画像870を生成する場合における表示例を示す。この場合には、図57のbに示すように、パノラマ画像870が分割されて表示される。例えば、パノラマ画像870が分割された複数の画像875乃至877が、中画像878、左画像879、右画像880として表示される。
[情報処理装置の動作例]
図58は、本技術の実施の形態における情報処理装置100による表示制御処理の処理手順の一例を示すフローチャートである。
最初に、動作モードとして撮影モードまたは再生モードが設定されているか否かが判断される(ステップS901)。なお、撮影モードおよび再生モード以外の動作モードが設定されている場合には、設定されている動作モードに応じた処理が行われる。
撮影モードが設定されている場合には(ステップS901)、撮影機能が起動され(ステップS902)、撮影処理が行われる(ステップS910)。この撮影処理については、図59を参照して詳細に説明する。
続いて、撮影モードが解除されたか否かが判断され(ステップS903)、撮影モードが解除されていない場合には、ステップS910に戻る。一方、撮影モードが解除された場合には(ステップS903)、撮影モードおよび再生モード以外の動作モードが設定されたか否かが判断される(ステップS904)。そして、撮影モードおよび再生モード以外の動作モードが設定されていない場合には(ステップS904)、ステップS901に戻る。一方、撮影モードおよび再生モード以外の動作モードが設定された場合には(ステップS904)、表示制御処理の動作を終了する。
また、再生モードが設定されている場合には(ステップS901)、再生機能が起動され(ステップS905)、再生処理が行われる(ステップS940)。この再生処理については、図61を参照して詳細に説明する。なお、ステップS940は、特許請求の範囲に記載の表示制御手順の一例である。
続いて、再生モードが解除されたか否かが判断され(ステップS906)、再生モードが解除されていない場合には、ステップS940に戻る。一方、再生モードが解除された場合には(ステップS906)、撮影モードおよび再生モード以外の動作モードが設定されたか否かが判断される(ステップS904)。
図59は、本技術の実施の形態における情報処理装置100による表示制御処理手順のうちの撮影処理手順(図58に示すステップS910の処理手順)の一例を示すフローチャートである。
最初に、表示制御部550は、画像生成部510により生成された画像の縦横比がパノラマ画像のものであるか否かを判断する(ステップS911)。そして、その画像の縦横比がパノラマ画像のものである場合には(ステップS911)、パノラマ撮影処理が行われる(ステップS930)。なお、このパノラマ撮影処理については、図60を参照して詳細に説明する。
また、その画像の縦横比がパノラマ画像のものでない場合には(ステップS911)、表示制御部550は、その画像の縦横比が3:4であるか否かを判断する(ステップS912)。そして、その画像の縦横比が3:4である場合には(ステップS912)、表示制御部550は、画像生成部510により生成された画像(3:4画像)を表示部140に表示させる(ステップS913)。すなわち、3:4画像がライブビュー表示される。
続いて、シャッターボタン(例えば、決定キー112)の押下が行われた否かが判断され(ステップS914)、シャッターボタンの押下が行われていない場合には、撮影処理の動作を終了する。一方、シャッターボタンの押下が行われた場合には(ステップS914)、記録制御部530は、その押下のタイミングで生成された画像(3:4画像)を記憶部540に記録させる(ステップS915)。続いて、表示制御部550は、記憶部540への記録対象となる画像(3:4画像)を表示部140に表示させる(ステップS916)。すなわち、3:4画像がポストビュー表示される。
また、その画像の縦横比が3:4でない場合(4:3である場合)には(ステップS912)、表示制御部550は、画像生成部510により生成された画像(4:3画像)を表示部140に表示させる(ステップS917)。すなわち、4:3画像がライブビュー表示される。
続いて、シャッターボタンの押下が行われた否かが判断され(ステップS918)、シャッターボタンの押下が行われていない場合には、撮影処理の動作を終了する。一方、シャッターボタンの押下が行われた場合には(ステップS918)、記録制御部530は、その押下のタイミングで生成された画像(4:3画像)を記憶部540に記録させる(ステップS919)。続いて、表示制御部550は、記憶部540への記録対象となる画像(4:3画像)を表示部140に表示させる(ステップS920)。すなわち、4:3画像がポストビュー表示される。
図60は、本技術の実施の形態における情報処理装置100による表示制御処理手順のうちのパノラマ撮影処理手順(図59に示すステップS930の処理手順)の一例を示すフローチャートである。
最初に、表示制御部550は、画像生成部510により生成された画像(パノラマ画像)を表示部140に表示させる(ステップS931)。この場合に、パノラマ画像を分割した複数の画像が複数段(表示部140の長手方向において複数段)にライブビュー表示される(ステップS931)。例えば、図32等に示すように、ライブビュー画像が表示される。この場合に、特異点が検出されている場合には、図37、図38に示すように、その特異点を含む画像を中画像として表示するようにしてもよい。
続いて、シャッターボタンの押下が行われた否かが判断され(ステップS932)、シャッターボタンの押下が行われていない場合には、パノラマ撮影処理の動作を終了する。一方、シャッターボタンの押下が行われた場合には(ステップS932)、記録制御部530は、その押下のタイミングで生成された画像(パノラマ画像)を記憶部540に記録させる(ステップS933)。この場合に、特異点が検出されている場合には、その特異点に関する情報(例えば、その特異点のパノラマ画像における座標)がパノラマ画像に関連付けて記録される。また、パノラマ画像とは別に、その特異点を含む周辺画像をそのパノラマ画像に関連付けて記録するようにしてもよい。その特異点を含む周辺画像は、例えば、表示用画像(例えば、サムネイル画像)として記録することができる。
続いて、表示制御部550は、記憶部540への記録対象となる画像(パノラマ画像)を表示部140に表示させる(ステップS934)。この場合に、パノラマ画像を分割した複数の画像が複数段(表示部140の長手方向において複数段)にポストビュー表示される(ステップS934)。例えば、図32等に示すように、ポストビュー画像が表示される。この場合に、特異点が検出されている場合には、図37、図38に示すように、その特異点を含む画像を中画像として表示するようにしてもよい。なお、ステップS933は、特許請求の範囲に記載の撮像手順の一例である。また、ステップS931、S934は、特許請求の範囲に記載の表示制御手順の一例である。
図61は、本技術の実施の形態における情報処理装置100による表示制御処理手順のうちの再生処理手順(図58に示すステップS940の処理手順)の一例を示すフローチャートである。
最初に、表示制御部550は、ユーザにより再生が指示された画像(記憶部540に記憶されている画像)の縦横比がパノラマ画像のものであるか否かを判断する(ステップS941)。そして、その画像の縦横比がパノラマ画像のものである場合には(ステップS941)、表示制御部550は、姿勢検出部150からの姿勢情報に基づいて、表示部140が縦長状態であるか否かを判断する(ステップS942)。
そして、表示部140が縦長状態である場合には(ステップS942)、表示制御部550は、ユーザにより再生が指示されたパノラマ画像(記憶部540に記憶されているパノラマ画像)を表示部140に表示させる(ステップS943)。この場合に、パノラマ画像を分割した複数の画像が複数段(表示部140の長手方向において複数段)に表示される(ステップS943)。例えば、図32等に示すように、画像が表示される。この場合に、特異点がパノラマ画像に関連付けて記録されている場合には、図37、図38に示すように、その特異点を含む画像を中画像として表示するようにしてもよい。
また、表示部140が縦長状態でない場合(横長状態である場合)には(ステップS942)、表示制御部550は、ユーザにより再生が指示されたパノラマ画像(記憶部540に記憶されているパノラマ画像)を表示部140に表示させる(ステップS944)。この場合に、縦長状態での表示時よりも段数(表示部140の長手方向において段数)を少なくしてパノラマ画像が表示される(ステップS944)。例えば、図46のa乃至cの左側に示すように、画像が表示される。
また、その画像の縦横比がパノラマ画像のものでない場合には(ステップS941)、表示制御部550は、その画像の縦横比が3:4であるか否かを判断する(ステップS945)。そして、その画像の縦横比が3:4である場合には(ステップS945)、表示制御部550は、姿勢検出部150からの姿勢情報に基づいて、表示部140が縦長状態であるか否かを判断する(ステップS946)。
そして、表示部140が縦長状態である場合には(ステップS946)、表示制御部550は、ユーザにより再生が指示された画像(記憶部540に記憶されている3:4画像)を表示部140に表示させる(ステップS947)。この場合に、再生が指示された3:4画像が正立して表示される(ステップS947)。例えば、図52、図55に示すように、画像が表示される。
また、表示部140が縦長状態でない場合(横長状態である場合)には(ステップS946)、表示制御部550は、ユーザにより再生が指示された画像(記憶部540に記憶されている3:4画像)を表示部140に表示させる(ステップS948)。この場合に、再生が指示された3:4画像が正立して表示される(ステップS948)。
また、その画像の縦横比が3:4でない場合(その縦横比が4:3である場合)には(ステップS949)、表示制御部550は、姿勢検出部150からの姿勢情報に基づいて、表示部140が縦長状態であるか否かを判断する(ステップS949)。
そして、表示部140が縦長状態である場合には(ステップS950)、表示制御部550は、ユーザにより再生が指示された画像(記憶部540に記憶されている4:3画像)を表示部140に表示させる(ステップS950)。この場合に、再生が指示された4:3画像が正立して表示される(ステップS950)。例えば、図53、図56に示すように、画像が表示される。
また、表示部140が縦長状態でない場合(横長状態である場合)には(ステップS949)、表示制御部550は、ユーザにより再生が指示された画像(記憶部540に記憶されている4:3画像)を表示部140に表示させる(ステップS951)。この場合に、再生が指示された4:3画像が正立して表示される(ステップS951)。
[中画像をスクロール表示する場合における動作例]
以上では、表示部140に表示される各画像(中画像、左画像および右画像)のパノラマ画像における位置(長手方向における位置)を固定して表示する場合における動作例を示した。以下では、中画像のパノラマ画像における位置(長手方向における位置)を移動させながら表示(いわゆる、自動スクロール表示)する場合における動作例を示す。
図62は、本技術の実施の形態における情報処理装置100による表示制御処理の処理手順の一例を示すフローチャートである。なお、図62は、図58の変形例であるため、図58と共通する部分については、同一の符号を付して、その説明の一部を省略する。
最初に、スクロール方法の設定が行われる(ステップS907)。このスクロール方法の設定では、各表示時におけるスクロール表示の有無が設定される。また、このスクロール方法の設定は、例えば、ユーザによる手動設定や自動設定により行われる。これらの設定内容については、例えば、表示制御部550に保持される。
また、撮影モードが設定されている場合には(ステップS901)、撮影機能が起動され(ステップS902)、撮影処理が行われる(ステップS910)。この撮影処理(図59に示す)におけるパノラマ撮影処理(図59に示すステップS930)については、図63を参照して詳細に説明する。
また、再生モードが設定されている場合には(ステップS901)、再生機能が起動され(ステップS905)、再生処理が行われる(ステップS960)。この再生処理については、図64を参照して詳細に説明する。
図63は、本技術の実施の形態における情報処理装置100による表示制御処理手順のうちのパノラマ撮影処理手順(図59に示すステップS930の処理手順)の一例を示すフローチャートである。なお、図63は、図60の変形例であるため、図60と共通する部分については、同一の符号を付して、その説明の一部を省略する。
最初に、表示制御部550は、ライブビュー表示時のスクロール方法の設定を読み出す(ステップS921)。続いて、表示制御部550は、読み出されたスクロール方法の設定に従って、画像生成部510により生成された画像(パノラマ画像)を表示部140に表示させる(ステップS922)。例えば、ライブビュー表示時にスクロールありの設定がされている場合には、図42、図43に示すように、中画像のパノラマ画像における位置(長手方向における位置)を移動させながら中画像の表示が行われる。一方、ライブビュー表示時にスクロールなしの設定がされている場合には、パノラマ画像における位置が固定された中画像の表示が行われる。
続いて、スクロール方法の設定変更が行われたか否かが判断される(ステップS923)。例えば、ライブビュー表示時に、ユーザによる手動操作によりスクロール方法の設定変更(例えば、スクロール表示の有→無、無→有の変更)が行われる。そして、スクロール方法の設定変更が行われた場合には(ステップS923)、ライブビュー表示時におけるスクロール方法が変更され(ステップS924)、変更後のスクロール方法が保存される(ステップS925)。
続いて、表示制御部550は、ポストビュー表示時のスクロール方法の設定を読み出す(ステップS926)。続いて、表示制御部550は、読み出されたスクロール方法の設定に従って、記憶部540への記録対象となる画像(パノラマ画像)を表示部140に表示させる(ステップS927)。例えば、ポストビュー表示時にスクロールありの設定がされている場合には、図42、図43に示すように、中画像のパノラマ画像における位置(長手方向における位置)を移動させながら中画像の表示が行われる。一方、ポストビュー表示時にスクロールなしの設定がされている場合には、パノラマ画像における位置が固定された中画像の表示が行われる。
続いて、スクロール方法の設定変更が行われたか否かが判断される(ステップS928)。例えば、ポストビュー表示時に、ユーザによる手動操作によりスクロール方法の設定変更(例えば、スクロール表示の有→無、無→有の変更)が行われる。そして、スクロール方法の設定変更が行われた場合には(ステップS928)、ポストビュー表示時におけるスクロール方法が変更され(ステップS929)、変更後のスクロール方法が保存される(ステップS935)。
図64は、本技術の実施の形態における情報処理装置100による表示制御処理手順のうちの再生処理手順(図62に示すステップS960の処理手順)の一例を示すフローチャートである。なお、図64は、図61の変形例であるため、図61と共通する部分については、同一の符号を付して、その説明の一部を省略する。
表示部140が縦長状態である場合には(ステップS942)、縦長状態パノラマ再生処理が行われる(ステップS970)。この縦長状態パノラマ再生処理については、図65を参照して詳細に説明する。
また、表示部140が縦長状態でない場合(横長状態である場合)には(ステップS942)、横長状態パノラマ再生処理が行われる(ステップS980)。この横長状態パノラマ再生処理については、図66を参照して詳細に説明する。
図65は、本技術の実施の形態における情報処理装置100による表示制御処理手順のうちの縦長状態パノラマ再生処理手順(図64に示すステップS970の処理手順)の一例を示すフローチャートである。
最初に、表示制御部550は、再生表示時のスクロール方法の設定を読み出す(ステップS971)。続いて、表示制御部550は、読み出されたスクロール方法の設定に従って、ユーザにより再生が指示された画像(記憶部540に記憶されているパノラマ画像)を表示部140に表示させる(ステップS972)。例えば、再生表示時にスクロールありの設定がされている場合には、図42、図43に示すように、中画像のパノラマ画像における位置(長手方向における位置)を移動させながら中画像の表示が行われる。一方、再生表示時にスクロールなしの設定がされている場合には、パノラマ画像における位置が固定された中画像の表示が行われる。
続いて、スクロール方法の設定変更が行われたか否かが判断される(ステップS973)。例えば、再生表示時に、ユーザによる手動操作によりスクロール方法の設定変更(例えば、スクロール表示の有→無、無→有の変更)が行われる。そして、スクロール方法の設定変更が行われた場合には(ステップS973)、再生表示時におけるスクロール方法が変更され(ステップS974)、変更後のスクロール方法が保存される(ステップS975)。
図66は、本技術の実施の形態における情報処理装置100による表示制御処理手順のうちの横長状態パノラマ再生処理手順(図64に示すステップS980の処理手順)の一例を示すフローチャートである。
最初に、表示制御部550は、再生表示時のスクロール方法の設定を読み出す(ステップS981)。続いて、表示制御部550は、読み出されたスクロール方法の設定に従って、ユーザにより再生が指示された画像(記憶部540に記憶されているパノラマ画像)を表示部140に表示させる(ステップS982)。例えば、再生表示時にスクロールありの設定がされている場合には、図42、図43に示すように、中画像のパノラマ画像における位置(長手方向における位置)を移動させながら中画像の表示が行われる。一方、再生表示時にスクロールなしの設定がされている場合には、パノラマ画像における位置が固定された中画像の表示が行われる。
続いて、スクロール方法の設定変更が行われたか否かが判断される(ステップS983)。例えば、再生表示時に、ユーザによる手動操作によりスクロール方法の設定変更(例えば、スクロール表示の有→無、無→有の変更)が行われる。そして、スクロール方法の設定変更が行われた場合には(ステップS983)、再生表示時におけるスクロール方法が変更され(ステップS984)、変更後のスクロール方法が保存される(ステップS985)。
<2.第2の実施の形態>
本技術の第1の実施の形態では、撮像部を情報処理装置に固定して配置する例を示した。ただし、撮像部を可動式にして配置する情報処理装置についても本技術の第1の実施の形態を適用することができる。
そこで、本技術の第2の実施の形態では、撮像部を可動式にして配置する情報処理装置の例を示す。
図67および図68は、本技術の第2の実施の形態における情報処理装置1000の外観構成例を示す図である。
図67および図68には、撮像部1030が可動式に配置されている情報処理装置1000を示す。図67のaには、情報処理装置1000の上面図を示し、図67のbには、情報処理装置1000の正面図を示す。また、図67のcには、情報処理装置1000の側面図を示し、図67のdには、情報処理装置1000の背面図を示す。また、図67のeには、情報処理装置1000の電子基板の配置例を示す。なお、図67のa乃至eは、図1のa乃至eに対応する。また、図1に示す情報処理装置100に対応する部分については、同一の符号を付して示す。また、図68のaには、情報処理装置1000の正面側の斜視図を示し、図68のbには、情報処理装置1000の背面側の斜視図を示す。
情報処理装置1000は、例えば、複数の撮像系を備える情報処理装置(例えば、可動式の複眼カメラ付き携帯電話)により実現される。
情報処理装置1000は、第1筐体1010と、第2筐体1020と、回動部材1021とを備える。第2筐体1020は、表示部140を収める第1筐体1010に取り付けられている筐体であり、表示部140の短辺と平行(または、略平行)な回転軸を有する回転可能な筐体である。また、撮像部1030を構成する3つの撮像系(光学系131乃至133、撮像素子134乃至136)は、第2筐体1020の一面上に第2筐体1020の回転軸と平行(または、略平行)となる方向へ並べて配置される。このように、撮像部1030を可動式にして配置することにより、回動部材1021を回動軸とする180度の範囲内で、図68に示す矢印1022、1023の方向に撮像部1030を回転させることができる。例えば、図68のbに示す状態の情報処理装置1000をユーザが持っている場合には、ユーザは、表示部140を見ながら自分を含めた横長の画像を撮影することができる。また、例えば、撮像部1030の光軸を重力方向に平行(または、略平行)となる状態の情報処理装置1000をユーザが持っている場合には、ユーザは、表示部140を見ながら、上側(例えば、空)を被写体とする横長の画像を撮影することもできる。
このように、複数の撮像系を備え、これらの撮像系が可動式に配置されている情報処理装置1000に本技術の第1の実施の形態を適用することができる。なお、この例では、3個の撮像系が所定の規則に従って並べて配置されている例を示した。ただし、2または4以上の撮像系を備える情報処理装置(例えば、デジタルスチルカメラやデジタルビデオカメラ(例えば、カメラ一体型レコーダ)等の撮像装置)についても本技術の第1の実施の形態を適用することができる。2つの撮像系を一定の規則で並べて配置する例を図69および図70に示す。
図69および図70は、本技術の第2の実施の形態における情報処理装置1050の外観構成例を示す図である。
図69および図70には、2つの撮像系を備える撮像部1080が可動式に配置されている情報処理装置1050を示す。図69のaには、情報処理装置1050の上面図を示し、図69のbには、情報処理装置1050の正面図を示す。また、図69のcには、情報処理装置1050の側面図を示し、図69のdには、情報処理装置1050の背面図を示す。また、図69のeには、情報処理装置1050の電子基板の配置例を示す。なお、図69のa乃至eは、図49のa乃至eに対応する。また、図49に示す情報処理装置820に対応する部分については、同一の符号を付して示す。また、図70のaには、情報処理装置1050の正面側の斜視図を示し、図70のbには、情報処理装置1050の背面側の斜視図を示す。
情報処理装置1050は、例えば、2つの撮像系を備える情報処理装置(例えば、可動式の複眼カメラ付き携帯電話)により実現される。
情報処理装置1050は、第1筐体1060と、第2筐体1070と、回動部材1071とを備える。第2筐体1070は、表示部140を収める第1筐体1060に取り付けられている筐体であり、表示部140の短辺と平行(または、略平行)な回転軸を有する回転可能な筐体である。また、撮像部1080を構成する2つの撮像系(光学系831、832、撮像素子833、834)は、第2筐体1070の一面上に第2筐体1070の回転軸と平行(または、略平行)となる方向へ並べて配置される。このように、撮像部1080を可動式にして配置することにより、回動部材1071を回動軸とする180度の範囲内で、図70に示す矢印1072、1073の方向に撮像部1080を回転させることができる。これにより、例えば、図67、図68に示す例と同様に、ユーザは、表示部140を見ながらの自分を含めた横長の画像や、表示部140を見ながら上側(例えば、空)を被写体とする横長の画像の撮影を行うこともできる。
このように、2つの撮像系を備え、これらの撮像系が可動式に配置されている情報処理装置1050に本技術の第1の実施の形態を適用することができる。なお、図67乃至図70では、回動部材を回動軸として180度の範囲内で撮像部を回転させることが可能な情報処理装置の例を示した。ただし、回転範囲については、180度以外の範囲とするようにしてもよい。例えば、図68のaに示す状態から矢印1022の方向に、回動部材1071を回動軸として90度の範囲内で回転させることが可能となるように撮像部1030を配置するようにしてもよい。
なお、パノラマ画像を表示装置(内蔵表示装置または外部表示装置)に表示させることが可能な情報処理装置(電子機器、画像処理装置、表示装置、表示制御装置)に本技術の実施の形態を適用することができる。例えば、複眼式の撮像装置、デジタルフォトフレーム、タブレット端末、デジタルサイネージ端末(例えば、回転式)、ナビゲーション装置、パーソナルコンピュータ、携帯型メディアプレイヤー等の機器に適用することができる。また、撮像機能を有しない機器(例えば、撮像機能を有しないタブレット端末(例えば、Web上のパノラマ画像を表示する機器))についても適用することができる。なお、複眼式の撮像装置は、例えば、複眼式のデジタルスチルカメラ、複眼式のデジタルビデオカメラ(例えば、カメラ一体型レコーダ)である。
また、本技術の実施の形態における表示方法については、複眼式の撮像装置以外の撮像装置についても適用することができる。例えば、広角レンズと撮像素子を備える単眼式の撮像装置(例えば、筐体の短辺方向に16:9よりも横長のパノラマ画像を撮影することが可能な単眼カメラ)に適用することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同ように、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。