JP2016129315A - 表示装置、撮像装置、撮像システム、表示装置の制御方法、撮像装置の制御方法、プログラム、及び記録媒体 - Google Patents

Abstract

【課題】撮像装置から撮像画像を受信して表示する表示装置のユーザが撮像画像を直感的に補正することを可能とする技術を提供する。
【解決手段】表示装置であって、撮像装置から撮像画像を受信する受信手段と、前記撮像画像を表示する表示手段と、前記表示装置の姿勢を検出する検出手段と、前記表示手段での前記撮像画像の表示中に前記検出手段により検出された姿勢を示す姿勢情報を前記撮像装置へ送信する送信手段と、を備えることを特徴とする表示装置を提供する。
【選択図】図３

Description

本発明は、表示装置、撮像装置、撮像システム、表示装置の制御方法、撮像装置の制御方法、プログラム、及び記録媒体に関する。

近年、Ｗｉ−Ｆｉ(Wireless Fidelity)等の無線通信機能を用いることで、スマートフォンなどの外部端末から遠隔操作可能なデジタルスチルカメラ、デジタルカムコーダ等の撮像装置が開発され、普及している。この外部端末の遠隔操作機能により、ユーザが撮像装置から遠く離れた場所に居ても撮像装置を操作することが可能である。この機能により、ユーザは、撮像装置の撮像画像の確認のみではなく、撮影開始指示や撮影パラメータの設定を行うことも可能になっている。

例えば、外部端末を用いて遠隔から撮像装置を操作する場合、ユーザが撮像装置の撮像画像を確認している際に、撮像画像の水平と被写体の水平とが一致していない状態に気づくことがある。しかしながら、外部端末を操作している撮影者（ユーザ）と撮像装置との距離が大きく離れていることがあるため、ユーザが撮像装置の位置や姿勢を修正することが困難な場合がある。

そこで、ユーザが遠隔操作により撮像装置に対して回転角度指示を行うことで電子的に撮像画像の画角を補正する方法が提案されている（特許文献１参照）。また、撮像装置の傾き情報を用いることで撮像装置の水平を電子的に自動修正する方法が提案されている（特許文献２参照）。

特許文献１によれば、クライアント端末が、ネットワークに接続されている撮像装置に対して、撮像画像の傾きを補正するための角度情報を送信することにより、撮像画像の傾きを電子的に補正する。この方法では、ユーザは、クライアント端末に表示されるスライドバーを操作することにより、撮像画像の傾きを補正するための角度を決定する。そして、遠隔に設置されている撮像装置は、角度情報を受信し、撮像画像を電子的に補正する。これにより、遠隔からの操作による撮像画像の傾きの補正が可能となる。

特許文献２によれば、撮像装置が、撮像装置自体の傾き角度を検出し、その検出された角度情報を用いて撮像画像を補正する。この方法では、撮像装置内の角度センサー等で撮像装置自体の傾きが検出される。そして、撮像装置は、検出された角度情報を用いて撮像画像を電子的に補正する。これにより、自動で撮像画像の傾きを修正することが可能となる。

特開２００７−２２８０９７号公報 特開２０１２−１４７０７１号公報

しかしながら、特許文献１では、ユーザは、スライドバーの操作量と回転角度との関係を直感的に把握することが困難であり、撮像画像の傾きを素早く正確に補正することが困難である。また、特許文献２では、撮像装置が水平で被写体が傾いているような場合に対処できない。

本発明はこのような状況に鑑みてなされたものであり、撮像装置から撮像画像を受信して表示する表示装置のユーザが撮像画像を直感的に補正することを可能とする技術を提供することを目的とする。

上記課題を解決するために、本発明は、表示装置であって、撮像装置から撮像画像を受信する受信手段と、前記撮像画像を表示する表示手段と、前記表示装置の姿勢を検出する検出手段と、前記表示手段での前記撮像画像の表示中に前記検出手段により検出された姿勢を示す姿勢情報を前記撮像装置へ送信する送信手段と、を備えることを特徴とする表示装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、撮像装置から撮像画像を受信して表示する表示装置のユーザが撮像画像を直感的に補正することが可能となる。

表示装置１００及び撮像装置２００の概略構成を示すブロック図。 第１の実施形態の概要を示す図。 第１の実施形態に係る、表示装置１００及び撮像装置２００の動作を示すフローチャート。 図３の変形例を示すフローチャート。 第２の実施形態の概要を示す図。 第２の実施形態に係る、表示装置１００及び撮像装置２００の動作を示すフローチャート。 第３の実施形態の概要を示す図。 第３の実施形態に係る、撮像装置２００の動作を示すフローチャート。 （ａ）第１の実施形態に係る、表示装置１００の回転軸９０１を示す図、（ｂ）第２の実施形態に係る、表示装置１００の回転軸９０２を示す図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

図１は、各実施形態に係る撮像システムに含まれる表示装置１００及び撮像装置２００の概略構成を示すブロック図である。表示装置１００は、例えばユーザが手持ち可能な携帯端末（例えばスマートフォン）であり、ユーザが撮像装置２００を遠隔から操作するために使用される。撮像装置２００は、例えばデジタルカメラであり、電子的な画像処理により撮像画像の傾き及びあおりを補正する機能を有する。

表示装置１００は、通信処理部１により、ネットワーク上に接続されている撮像装置２００との通信を行う。ここでは、表示装置１００は、撮像装置２００で撮像されている撮像画像をネットワークを通して受信する。また、表示装置１００は、表示装置１００の姿勢を示す姿勢情報を撮像装置２００へ送信する。以下の各実施形態では、表示装置１００の姿勢として表示装置１００の角度を用いるものとし、姿勢情報を角度情報とも呼ぶ。表示装置１００は、通信処理部１で受信した撮像装置２００の撮像画像を表示部２に表示する。このとき、表示処理部３は、撮像画像を、表示装置１００の表示部２で表示可能な情報に変換する。また、表示処理部３は、表示装置１００の角度情報を表示部２で表示するための表示データを生成する。角度検出部４（姿勢検出手段）は、表示装置１００の位置姿勢を検出し、検出結果を角度情報に変換する。角度検出部４としては、加速度センサーやジャイロセンサーなどを用いることができる。制御部５は、不揮発性のＲＯＭ、及び揮発性のＲＡＭを有し、ＲＯＭに格納された制御プログラムを実行することにより、表示装置１００の制御を行う。制御部５のＲＡＭは、制御部５が制御プログラムを実行するためのワークメモリとして使用される。なお、図１においては、表示処理部３が独立したブロックとして図示されているが、表示処理部３の処理を制御部５が実行してもよい。

撮像装置２００は、撮像処理部６に含まれる撮像素子により被写体を撮像し、撮像データを得る。画像処理部７は、撮像データに基づいて撮像画像を生成する。また、画像処理部７は、通信処理部９を介して表示装置１００から受信した角度情報に基づき、撮像画像の補正を電子的に行う。記録部１０は、撮像画像を記録する。また、撮像装置２００は、撮像装置２００の撮影操作やメニュー設定などを行うための操作部１１、及び、撮像画像や撮影情報などの確認を行うための表示部１２を有する。更に、撮像装置２００は、表示装置１００に撮像画像を送信、又は、表示装置１００の角度情報を受信するための通信処理部９を有する。制御部８は、不揮発性のＲＯＭ、及び揮発性のＲＡＭを有し、ＲＯＭに格納された制御プログラムを実行することにより、撮像装置２００の制御を行う。制御部８のＲＡＭは、制御部８が制御プログラムを実行するためのワークメモリとして使用される。

撮像装置２００の各構成要素について更に詳細に説明する。撮像処理部６は、複数枚のレンズ、絞り等から構成される光学部、撮像素子、撮像素子を駆動するためのドライバ、タイミング生成回路、ＣＤＳ／ＡＧＣ回路等から構成される。光学部は、外部から入射した入射光量を調整するための絞り、ＮＤフィルター(ND: Neutral Density)で構成される。また、撮像処理部６は、レンズ群を光軸に対して駆動することで、被写体に対する合焦や、手ぶれ等の撮像画像ぶれの軽減などを行う。撮像素子は、光電変換による被写体の撮像を行い、ＣＤＳ／ＡＧＣ回路により、撮像素子の各画素に蓄えられた電荷（画像信号）に基づく画像情報をサンプリング及び増幅する。なお、サンプリングでは相関二重サンプリング(CDS: Correlated Double Sampling)が、増幅では自動利得調整(AGC: Auto Gain Control)が行われる。Ａ／Ｄ変換器は、ＣＤＳ／ＡＧＣ回路から出力された画像情報（アナログ信号）をデジタル信号に変換する。Ａ／Ｄ変換器から出力された画像情報（デジタル信号）に対して画像処理部７によりＡＷＢ(auto white balance)、ガンマ制御等の種々の信号処理を行うことにより、撮像画像が生成される。また、撮像素子を駆動するためのドライバ、タイミング生成回路は、撮像素子を駆動するための駆動パルス等を撮像素子へ供給し、撮像素子で撮像した画像の読み出しや露出時間の調整を行う。

画像処理部７は、前述の通り、通信処理部９を介して受信した表示装置１００の角度情報に基づき、撮像画像を電子的に補正する。ここでは、回転方向とあおり方向の補正を画像処理で行うものとする。

記録部１０は、画像処理部７により生成した撮像画像を、画像ファイルとして、内部メモリ、又は、メモリーカード等の外部メモリ（記録媒体）に保存する。このとき、記録部１０は、通信処理部９を介して受信した角度情報を画像ファイルに書き込むことができる。

ユーザは、操作部１１を使用することで、撮像装置２００の撮影時のキー操作、設定メニュー等の設定を行う。表示部１２は、画像処理部７で生成した表示画像を表示する。水平検出部１３は、撮像装置２００の傾きを検出して角度情報を出力する。水平検出部１３としては、加速度センサーやジャイロセンサーなどを用いることができる
なお、図１に示す各ブロックは、独立した回路部として図示されている。しかしながら、全て又は一部のブロックは、制御部５又は制御部８の中に含まれても構わない。

［第１の実施形態］
最初に、図２を参照して、第１の実施形態の概要について説明する。図２（ａ）に示すように、撮像装置２００は、被写体を撮像するように設置されている。撮像処理部６により得られた撮像データから、画像処理部７により撮像画像が生成される。図２（ａ）の例では、撮像装置２００は、地面に対して水平に設置されている。ここで、撮像装置２００にとって「地面に対して水平」な方向は、撮像装置２００の水平検出部１３により検出される重力方向と垂直な方向を意味し、以下では単に「撮像装置２００側で検出された水平方向」とも言う。一方、被写体は斜面に傾いて設置されている。

図２（ｂ）に示すように、撮像装置２００は、撮像画像を表示部１２に表示する。また、撮像装置２００は、水平検出部１３が出力する角度情報に基づき、水平線（撮像装置２００の水平線）を表示部１２に表示する。前述の通り撮像装置２００は地面に対して水平に設置されているため、水平線は撮像画像の横方向と平行である。また、前述の通り被写体は斜面に傾いて設置されているため、図２（ｂ）においても、撮像画像に含まれる被写体は傾いている。

なお、本実施形態では、撮像装置２００が地面に対して水平であるものとして説明を行うが、撮像装置２００の姿勢はこれに限定されない。撮像装置２００は、地面に対して傾いて設置されていてもよい。この場合、水平線は、撮像装置２００の水平検出部１３により検出された傾きの分だけ傾いて（即ち、撮像画像の横方向に対して角度を付けて）表示される。

撮像装置２００は、通信処理部９を介して、ネットワーク上に接続された表示装置１００の通信処理部１に対して、撮像画像を送信する。このとき、撮像装置２００は、撮像装置２００の姿勢を示す情報も併せて送信する。ここでは、撮像装置２００の姿勢を示す情報として、水平検出部１３が出力する角度情報に基づいて得られる、撮像装置２００の水平方向を示す情報（水平情報、撮像装置姿勢情報）が送信されるものとする。図２（ｂ）に示すように、表示装置１００は、通信処理部１を介して撮像装置２００から受信した撮像画像を、表示処理部３により表示部２で表示可能な形式に変換し、表示部２に表示する。

撮影者（ユーザ）は、表示部２に表示中の撮像画像を確認しながら、表示装置１００を回転させることにより、撮像画像の傾きを補正するための角度情報を決定する。ここでの回転は、表示部２の表示画面に直交する回転軸の周りで行われる（図９（ａ）の回転軸９０１参照）。また、例えば、図９（ａ）の左側に示すように表示画面の横線（左右の線）が地面に対して水平な場合の回転角度を０度と定義する。ここで、表示画面（又は表示装置１００）にとって「地面に対して水平」な方向は、表示装置１００の角度検出部４により検出される重力方向と垂直な方向を意味し、以下では単に「表示装置１００側で検出された水平方向」とも言う。従って、回転角度が０度の状態は、水平補助線（図２（ｂ）に示す補助線のうち横方向の線。詳細は後述。）が、表示画面の横線と平行な状態を意味する。また、補正対象である「撮像画像の傾き」は、この回転軸における撮像画像の回転による、表示装置１００の水平補助線からの「ずれ」を指す。

ユーザが表示装置１００を回転させる際に、表示部２には、撮像画像に加えて、撮像装置２００から受信した水平情報に基づく水平線、及び、表示装置１００の回転角度（姿勢）を示す補助情報が表示される。本実施形態では、補助情報は、グリッド状の補助線であり、水平補助線及び垂直補助線を含むものとする。水平補助線と表示画面の横線とが成す角度が表示装置１００の回転角度に対応する。水平線及び補助線は、表示処理部３により生成される。表示処理部３は、角度検出部４によって検出された角度情報に基づいて、表示装置１００が回転しても水平補助線が表示装置１００側で検出された水平方向を示し続けるように表示を更新する。従って、水平補助線を見ることで、ユーザは表示装置１００側で検出された水平方向を確認することができる。

撮像画像の傾きを補正するために、ユーザは、撮像画像に含まれる被写体において、表示装置１００側で検出された水平方向と一致すべき線を決定する。図２（ｂ）の例では、植木鉢の底面と植木鉢が置かれた台とが接する線（被写体水平線Ｈ）が、表示装置１００側で検出された水平方向と一致すべき線である。そして、図２（ｃ）に示すように、ユーザは、被写体水平線Ｈが表示装置１００側で検出された水平方向と一致するように、表示装置１００そのものを回転させる。このとき、ユーザは、被写体補助線Ｈと水平補助線とが平行になるように表示装置１００を回転させることで、容易に撮像画像の傾きを補正する（被写体を水平にする）ことができる。但し、本実施形態において、水平補助線は必須ではない。水平補助線が表示されない場合でも、ユーザは、表示部２に表示される撮像画像（特に、被写体水平線Ｈ）を見ながら表示装置１００を回転させることにより、被写体を水平にすることができる。

なお、本実施形態では、撮像装置２００は地面に対して水平に設置されているが、被写体自体が傾いているために撮像画像が傾いているものとして、説明を行う。しかしながら、撮像装置２００及び被写体の姿勢は、これに限定されない。例えば、前述の通り、撮像装置２００が傾いている場合、図２（ｂ）において、撮像装置２００の水平線は、撮像装置２００の水平検出部１３により検出された傾きの分だけ傾いて（即ち、撮像画像の横方向に対して角度を付けて）表示される。この場合、ユーザは、撮像装置２００の水平線と水平補助線とが平行になるように表示装置１００を回転させることで、撮像装置２００の傾きに起因する撮像画像の傾きを補正することができる。このような補正が可能であることは、例えば撮像装置２００を三脚で固定して表示装置１００によりリモート撮影を行う場合に、大きな利点となる。

反対に、ユーザが撮像装置２００の姿勢（地面に対する傾き）に関わらず、被写体を所望の姿勢に補正したい場合は、ユーザは撮像装置２００の水平線を使用する必要が無い。この場合、前述の通り、ユーザは、被写体補助線Ｈに基づいて表示装置１００を回転させればよい。また、被写体の種類によっては被写体補助線Ｈに相当するものが存在しない場合もあるが、この場合でも、ユーザは、被写体の所望の部分が所望の姿勢になるように表示装置１００を回転させることにより、撮像画像を補正することができる。

ユーザが表示装置１００を回転させた後、表示装置１００は、ユーザの指示に応えて、通信処理部１を介して、回転指示コマンドを撮像装置２００へ送信する。回転指示コマンドは、表示装置１００の回転角度を示す情報（角度情報）を含む。撮像装置２００は、通信処理部９を介して、角度情報を含む回転指示コマンドを受信する。そして、撮像装置２００は、画像処理部７により電子的に画像処理を行うことで、撮像画像の角度補正（傾きの補正）を行う。画像処理による補正を行う場合、撮像装置２００は、撮像画像の部分領域を切り出す。しかし、補正角度が大きくなるにつれ、撮像画像を小さく切り出す必要がある。そのため、表示装置１００は、撮像装置２００から受信した撮像画像の画像サイズを制御部５により解析する。また、表示装置１００は、角度検出部４で検出した角度情報に基づき、補正に必要な撮像画像の切り出し画像サイズを制御部５により算出し、切り出される部分領域を識別する。表示装置１００は、識別された部分領域を示す情報（切り出し枠）を、表示処理部３を通して表示部２に重畳することで、ユーザに通知を行う。

このような制御により、ユーザは、表示装置１００そのものを回転させることで、撮像装置２００で撮像された撮像画像の傾き補正を直感的な操作で行うことが可能になる。

次に、図３を参照して、第１の実施形態に係る、表示装置１００及び撮像装置２００の動作について説明する。図３（ａ）は、表示装置１００に関し、図３（ｂ）は、撮像装置２００に関する。図３（ａ）に示すフローチャートの各ステップの処理は、特に断らない限り、制御部５がＲＯＭに格納された制御プログラムをＲＡＭに展開して実行して表示装置１００の各ブロックを制御することにより実現される。同様に、図３（ｂ）に示すフローチャートの各ステップの処理は、特に断らない限り、制御部８がＲＯＭに格納された制御プログラムをＲＡＭに展開して実行して撮像装置２００の各ブロックを制御することにより実現される。これは、後述する図４（ａ）及び図４（ｂ）においても同様である。

最初に、図３（ａ）に示される表示装置１００の動作について説明する。Ｓ３０１で、表示装置１００の制御部５は、ユーザによる角度補正モードへの移行指示が行われたか否かを判定する。角度補正モードへの移行指示が行われていない場合、本フローチャートの処理は終了する。角度補正モードへの移行指示が行われた場合、処理はＳ３０２に進む。

Ｓ３０２で、制御部５は、通信処理部１を介して、撮像装置２００が撮像した撮像画像、及び撮像装置２００の水平情報を受信する（図２（ｂ）参照）。Ｓ３０３で、表示処理部３は、Ｓ３０２において受信した撮像装置２００の撮像画像を表示部２に表示する。また、表示処理部３は、水平情報に基づいて水平線の画像を生成し、表示部２に表示された撮像画像に対して水平線を重畳表示する（図２（ｂ）参照）。

Ｓ３０４で、制御部５は、角度検出部４から出力される角度情報を検出する。ここでの角度情報は、表示部２の表示画面に直交する回転軸の周りでの回転角度を示す（図９（ａ）の回転軸９０１参照）。Ｓ３０５で、制御部５は、Ｓ３０４において検出された角度情報に基づき、ユーザが撮像画像を補正する際の目安となる、表示装置１００側で検出された水平方向を確認するためのグリッド状の補助線を生成する。そして、表示処理部３は、表示部２に表示された撮像画像に対して、補助線を重畳表示する。図２（ｃ）に示すように、このグリッド状の補助線の横線（水平補助線）は、表示装置１００の回転角度を変更しても、常に水平を保つ（表示装置１００側で検出された水平方向と平行になる）ように表示される。ユーザは、水平補助線と撮影している被写体の水平部分（例えば、図２（ｂ）及び図２（ｃ）に示す被写体補助線Ｈ）とが一致するように表示装置１００の回転角度を調整する。これにより、ユーザは容易に被写体を水平に撮影するための補正情報を生成することが可能である。

Ｓ３０６で、表示処理部３は、表示装置１００の回転角度に応じた補正を行う場合における撮像画像の切り出しサイズを示す情報（切り出し枠）を表示部２に表示する（図２（ｃ）参照）。切り出しサイズは、図２（ｃ）を参照して前述した通り、角度検出部４で検出した角度情報に基づき制御部５により算出される。回転角度、即ち補正量が大きくなると、切り出しサイズが小さくなるが、ユーザは、切り出し枠を見ることにより、撮像画像がどの程度小さくなるかを確認しながら表示装置１００を回転させることができる。

Ｓ３０７で、制御部５は、ユーザによる角度補正モードの終了指示が行われたか否かを判定する。角度補正モードの終了指示が行われていない場合、処理はＳ３０２に戻り、同様の処理が繰り返される。角度補正モードの終了指示が行われた場合、処理はＳ３０８に進む。

Ｓ３０８で、制御部５は、撮像装置２００に対する回転指示コマンドを生成する。回転指示コマンドには、撮像装置２００が電子的な画像補正を行うための角度情報が含まれる。例えば、角度検出部４で検出した重力方向を示す情報、あるいは表示部２の表示面に直行する軸を回転軸とした重力方向に対する角度（向き）に関する情報を含むものとする。Ｓ３０９で、制御部５は、通信処理部１を介して、撮像装置２００に回転指示コマンドを送信し、本フローチャートの処理は終了する。その後、撮像装置２００から、回転指示コマンドに応じて補正された撮像画像を受信し、表示部２に表示することができる。これによって、表示装置１００のユーザは、意図通りの向きに補正されたかどうかを確認することができ、必要に応じて再度角度補正モードにして補正作業を行うことができる。

次に、図３（ｂ）に示される撮像装置２００の動作について説明する。Ｓ３１０で、撮像装置２００の制御部８は、ユーザによる角度補正モードへの移行指示が行われたか否かを判定する。ここでの移行指示は、例えば、表示装置１００を介して遠隔的に行われる。角度補正モードへの移行指示が行われていない場合、本フローチャートの処理は終了する。角度補正モードへの移行指示が行われた場合、処理はＳ３１１に進む。

Ｓ３１１で、制御部８は、通信処理部９を介して、撮像画像を表示装置１００に送信する。また、水平検出部１３で検出された、撮像装置２００の姿勢を示す前述の水平情報を表示装置１００に送信する。Ｓ３１２で、制御部８は、表示装置１００から回転指示コマンドを受信したか否かを判定する。回転指示コマンドを受信していない場合、処理はＳ３１１に戻り、同様の処理が繰り返される。これらの処理は、表示装置１００側で撮像画像がライブビューとして視認できるように、所定のフレームレート毎（例えば３０ｆｐｓ）に繰り返される。回転指示コマンドを受信した場合、処理はＳ３１３に進む。

Ｓ３１３で、画像処理部７は、回転指示コマンドに含まれる角度情報に基づいて電子的に画像処理を行うことで、撮像画像の傾きを補正する。傾きを補正した撮像画像は、表示装置１００側でのレビューのために、表示装置１００に送信する。また、回転指示コマンドに含まれる角度情報を含む補正のための情報を、撮像装置２００のＲＯＭまたはＲＡＭに保持（記録）し、本フローチャートの処理は終了する。この後に撮像装置２００で静止画又は動画を撮像して記録又は送信する際には、画像処理部７は、保持した情報（回転指示コマンドに含まれる角度情報を含む補正のための情報）に基づいて補正を行う。そして、補正した撮像画像を静止画または動画として記録部１０に記録する、あるいは通信処理部９を介して送信する。すなわち、回転指示コマンドを受信した後に撮像された複数の画像に対して、保持した情報に基づいた補正を行うこととなる。

以上の処理により、図２（ｂ）に示すように傾いていた撮像画像が、図２（ｃ）に示すように、表示装置１００の回転角度に応じて補正される。

ところで、図３のフローチャートでは、表示装置１００は、Ｓ３０７において角度補正モードの終了指示が行われた後に、撮像装置２００に回転指示コマンドを送信している。これによって、一度補正角度を調整して角度補正モードを終了すると、その後撮影された画像に同じ補正を繰り返し適用することができる。一方、図４に示すように、表示装置１００は、角度補正モードの終了指示を待たずに、リアルタイムに回転指示コマンドを生成して撮像装置２００へ送信してもよい。これにより、撮像装置２００は、表示装置１００の回転に追従して撮像画像を補正することができる。図４（ａ）及び図４（ｂ）は、それぞれ図３（ａ）及び図３（ｂ）に対応し、図３（ａ）及び図３（ｂ）と同一又は同様の処理が行われるステップには、同一の符号が付されている。図４（ａ）は、Ｓ３０８及びＳ３０９がＳ３０７の手前に移動したことを除き、図３（ａ）と同じである。また、図４（ｂ）は、Ｓ３１３の後にＳ４０１が追加されたことを除き、図３（ｂ）と同じである。Ｓ４０１において、制御部８は、ユーザによる角度補正モードの終了指示が行われたか否かを判定する。ここでの終了指示は、例えば、表示装置１００を介して遠隔的に行われる。角度補正モードの終了指示が行われていない場合、処理はＳ３１１に戻り、同様の処理が繰り返される。角度補正モードの終了指示が行われた場合、回転指示コマンドに含まれる角度情報を含む補正のための情報を、撮像装置２００のＲＯＭまたはＲＡＭに保持（記録）し、本フローチャートの処理は終了する。この後に撮像装置２００で静止画又は動画を撮像して記録又は送信する際には、画像処理部７は、保持した情報（回転指示コマンドに含まれる角度情報を含む補正のための情報）に基づいて補正を行う。そして、補正した撮像画像を静止画または動画として記録部１０に記録する、あるいは通信処理部９を介して送信する。

以上説明したように、第１の実施形態によれば、表示装置１００は、撮像装置２００から受信した撮像画像を表示部２に表示する。そして、表示装置１００は、表示装置１００の回転角度（表示部２の表示画面に直交する回転軸の周りでの回転角度）を示す角度情報を撮像装置２００へ送信する。撮像装置２００は、角度情報に従い、撮像画像の傾きを補正する。

これにより、撮像装置から撮像画像を受信して表示する表示装置のユーザが撮像画像を直感的に補正することが可能となる。

［第２の実施形態］
第１の実施形態では、表示装置１００の回転角度を示す角度情報を用いることで撮像装置２００の撮像画像の傾きを電子的に補正する構成について説明した。第２の実施形態では、ユーザが表示装置１００を前後に傾けることで、撮像画像のあおりを補正する構成について説明する。第２の実施形態における表示装置１００及び撮像装置２００の基本的な構成は、図１に示した第１の実施形態と同様であるため、構成についての詳細な説明は省略する。以下、主に第１の実施形態と異なる点について説明する。

最初に、図５を参照して、第２の実施形態の概要について説明する。第２の実施形態は、表示装置１００の角度に応じて撮像画像を補正するという点では、第１の実施形態と同様である。但し、第２の実施形態における「表示装置１００の角度」は、表示装置１００の前後の傾き角度（より厳密には、表示部２の表示画面の前後の傾き角度に対応する。ここで言う「前後の傾き」は、表示部２の表示画面と同一平面内にある、表示画面の横線と平行な回転軸における、表示画面の回転に対応する（図９（ｂ）の回転軸９０２参照）。また、例えば、図９（ｂ）の右側に示すように表示画面の縦線（上下の線）が地面に対して垂直な場合の傾き角度を０度と定義する。ここで、表示画面（又は表示装置１００）にとって「地面に対して垂直」な方向は、表示装置１００の角度検出部４により検出される重力方向を意味する。図５（ｃ）に示すように、表示装置１００は、角度情報を含むあおり指示コマンドを撮像装置２００へ送信する。撮像装置２００は、角度情報に従って撮像画像を補正することにより、あおりを補正する。

次に、図６を参照して、第２の実施形態に係る、表示装置１００及び撮像装置２００の動作について説明する。図６（ａ）は、表示装置１００に関し、図６（ｂ）は、撮像装置２００に関する。図６（ａ）及び図６（ｂ）において、図３（ａ）及び図３（ｂ）と同一又は同様の処理が行われるステップには、同一の符号を付す。図６（ａ）に示すフローチャートの各ステップの処理は、特に断らない限り、制御部５がＲＯＭに格納された制御プログラムをＲＡＭに展開して実行して表示装置１００の各ブロックを制御することにより実現される。同様に、図６（ｂ）に示すフローチャートの各ステップの処理は、特に断らない限り、制御部８がＲＯＭに格納された制御プログラムをＲＡＭに展開して実行して撮像装置２００の各ブロックを制御することにより実現される。

最初に、図６（ａ）に示される表示装置１００の動作について説明する。Ｓ６０４で、制御部５は、角度検出部４から出力される角度情報を検出する。ここでの角度情報は、表示部２の表示画面の前後の傾き角度を示す（図９（ｂ）の回転軸９０２参照）。

Ｓ６０５で、制御部５は、Ｓ６０４において検出された角度情報に基づき、ユーザが撮像画像を補正する際の目安となる補助情報を算出する。本実施形態では、補助情報は、グリッド状の補助線であり、とりわけ、２つの垂直補助線を含むものとする。そして、表示処理部３は、表示部２に表示された撮像画像に対して、補助線を重畳表示する。図５（ｃ）に示すように、２つの垂直補助線は、表示装置１００の傾き角度に応じて傾き（角度）が変化し、上部と下部とで間隔が異なる。表示装置１００の傾き角度が基準値（例えば、図５（ｂ）に示す角度）の場合、２つの垂直補助線は、表示画面の縦方向と平行になるように表示される。すなわち、２つの垂直補助線が平行に表示される。また、表示装置１００の上部が奥へ振られた場合は、２つの垂直補助線の上部の間隔が狭く、下部の間隔が広くなる。また、表示装置１００の上部が手前へ振られた場合は、２つの垂直補助線の上部の間隔が広く、下部の間隔が狭くなる。ユーザは、これら２つの垂直補助線が被写体に対して垂直に補正したい角度になるまで、表示装置１００を前後に傾ける。図５（ｂ）及び図５（ｃ）の例では、ユーザは、被写体垂直線Ｖと垂直補助線とが平行になるように、表示装置１００を前後に傾ける。なお、被写体の種類によっては被写体垂直線Ｖに相当するものが存在しない場合もあるが、この場合でも、ユーザは、表示装置１００を回転させて被写体の所望の部分が垂直補助線と成す角度を調節することにより、撮像画像を補正することができる。

Ｓ６０８及びＳ６０９の処理は、コマンドが「あおり指示コマンド」である点を除き、図３のＳ３０８及びＳ３０９の処理と同様である。あおり指示コマンドに含まれる角度情報は、例えば、角度検出部４で検出した重力方向を示す情報、あるいは表示部２の表示面の重力方向に対する角度（向き）に関する情報を含むものとする。その後、撮像装置２００から、あおり指示コマンドに応じて補正された撮像画像を受信し、表示部２に表示することができる。これによって、表示装置１００のユーザは、意図通りにあおり補正されたかどうかを確認することができ、必要に応じて再度角度補正モードにして補正作業を行うことができる。

次に、図６（ｂ）に示される撮像装置２００の動作について説明する。Ｓ６１２の処理は、コマンドが「あおり指示コマンド」である点を除き、図３のＳ３１２の処理と同様である。Ｓ６１３で、画像処理部７は、あおり指示コマンドに含まれる角度情報に基づいて電子的に画像処理を行うことで、撮像画像のあおりを補正する。傾きを補正した撮像画像は、表示装置１００側でのレビューのために、表示装置１００に送信する。また、あおり指示コマンドに含まれる角度情報を含む補正のための情報を、撮像装置２００のＲＯＭまたはＲＡＭに保持（記録）し、本フローチャートの処理は終了する。この後に撮像装置２００で静止画又は動画を撮像して記録又は送信する際には、画像処理部７は、保持した情報（あおり指示コマンドに含まれる角度情報を含む補正のための情報）に基づいて補正を行う。そして、補正した撮像画像を静止画または動画として記録部１０に記録する、あるいは通信処理部９を介して送信する。すなわち、あおり指示コマンドを受信した後に撮像された複数の画像に対して、保持した情報に基づいた補正を行うこととなる。

以上説明したように、第２の実施形態によれば、表示装置１００は、撮像装置２００から受信した撮像画像を表示部２に表示し、表示装置１００の傾き角度（表示部２の表示画面の前後の傾き角度）を示す角度情報を撮像装置２００へ送信する。撮像装置２００は、角度情報に従い、撮像画像のあおりを補正する。これにより、ユーザが撮像画像のあおりを直感的に補正することが可能となる。

なお、第１の実施形態で説明した撮像画像の回転補正の実施形態と、第２の実施形態で説明した撮像画像のあおり補正の実施形態は同時に実施することも可能である。その場合、表示部２で表示する補助線のうち、水平補助線は第１の実施形態で説明したものと同様の表示装置１００側で検出した水平方向を示す補助線となり、垂直補助線は第２の実施形態で説明したものと同様の表示装置１００の前後の傾き（重力方向に対する表示面の角度）を示す補助線となる。そして、表示装置１００から撮像装置２００に送信する角度情報は撮像画像の回転補正及びあおり補正の双方に必要な情報を含む。また、撮像装置２００は表示装置１００から受信した回転指示及びあおり指示のコマンドに含まれる角度情報に基づいて、回転補正とあおり補正の双方を行う。

［第３の実施形態］
第１及び第２の実施形態では、撮像装置２００の撮像画像の傾き又はあおりを撮影時に補正する構成について説明した。第３の実施形態では、角度情報を画像ファイルに書き込むことで、再生時、又は、後処理による画像処理時に補正を行う構成について説明する。第３の実施形態における表示装置１００及び撮像装置２００の基本的な構成は、図１に示した第１の実施形態と同様であるため、構成についての詳細な説明は省略する。以下、主に第１の実施形態と異なる点について説明する。なお、本実施形態は、撮像画像の傾きを補正する文脈で説明するが、撮像画像のあおりを補正する場合（即ち、第２の実施形態の文脈）にも同様に適用可能である。

最初に、図７を参照して、第３の実施形態の概要について説明する。第３の実施形態は、表示装置１００が撮像装置２００に対して角度情報を含む回転指示コマンドを送信するという点では、第１の実施形態と同様である（図７（ａ）参照）。但し、図７（ｂ）に示すように、撮像装置２００は、回転指示コマンドに応えて撮像画像を補正するのではなく、撮像画像の画像ファイルの中に角度情報を書き込む。撮像装置２００は、画像ファイルの再生時に、角度情報に従って画像の補正を行う。即ち、撮像装置２００は、撮像画像を角度情報に関連付けて記録する。また、ユーザは、操作部１１を介して、角度情報に従う画像補正を行うか否かを撮像装置２００に指示することができる。

次に、図８を参照して、第３の実施形態に係る、撮像装置２００の動作について説明する。表示装置１００の動作については、第１の実施形態と同様である（図３（ａ）参照）。図８において、図３（ｂ）と同一又は同様の処理が行われるステップには、同一の符号を付す。図８に示すフローチャートの各ステップの処理は、特に断らない限り、制御部８がＲＯＭに格納された制御プログラムをＲＡＭに展開して実行して撮像装置２００の各ブロックを制御することにより実現される。

Ｓ８１０で、撮像装置２００の制御部８は、撮像装置２００の現在の動作モードが撮影モードであるか否かを判定する。撮影モードの場合、処理はＳ３１０に進む。Ｓ３１０〜Ｓ３１２の処理に続き、Ｓ８１１で、制御部８は、記録部１０を介して、撮像画像を画像ファイルとして記録すると共に、角度情報を画像ファイルに書き込む。

一方、Ｓ８１０において撮像装置２００の動作モードが撮影モードでない（再生モードである）と判定された場合、処理はＳ８１２に進む。Ｓ８１２で、制御部８は、再生対象の画像ファイルの中に角度情報が含まれているか否かを判定する。画像ファイルの中に角度情報が含まれている場合、処理はＳ８１３に進み、そうでない場合、処理はＳ８１５に進む。

Ｓ８１３で、制御部８は、角度情報に基づく補正処理がＯＮになっているか否かを判定する。補正処理のＯＮ／ＯＦＦは、ユーザが操作部１１を介して切り替えることができる。補正処理がＯＮになっている場合、処理はＳ８１４に進み、そうでない場合、処理はＳ８１５に進む。

Ｓ８１４で、画像処理部７は、画像ファイル中の画像を角度情報に従って補正し、補正後の画像を表示部１２に表示する。ここでの画像は、例えば、動画である。一方、画像ファイルに角度情報が含まれていない場合、又は補正処理がＯＦＦの場合は、Ｓ８１５で、画像処理部７は、補正を行わずに通常再生を行う。

以上の処理を行うことにより、撮影時ではなく再生時に撮像装置２００の撮像画像の傾きを補正することが可能となる。このように、撮像画像の記録と同時に補正情報（角度情報）を記録することにより、再生時のみではなく、後処理として画像補正ツールを用いて傾き補正を行うこともできる。これにより、ユーザは、補正の有無を撮影後に決定できるだけでなく、補正による撮像画像の切り出しサイズの縮小とのトレードオフを考慮して、補正を行うか否かを決定することが可能になる。

なお、表示装置１００及び撮像装置２００の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明をスマートフォンのような表示装置、及びデジタルカメラのような撮像装置に適用した場合を例にして説明したが、これはこの例に限定されない。本発明は、撮像画像を受信して表示する装置、及び、画像を撮像して送信する装置であれば、任意の種類の装置に適用可能である。即ち、本発明は、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１…通信処理部、２…表示部、３…表示処理部、４…角度検出部、５…制御部、６…撮像処理部、７…画像処理部、８…制御部、９…通信処理部、１０…記録部、１１…操作部、１２…表示部、１３…水平検出部、１００…表示装置、２００…撮像装置

Claims (25)

1. 表示装置であって、
   撮像装置から撮像画像を受信する受信手段と、
   前記撮像画像を表示する表示手段と、
   前記表示装置の姿勢を検出する検出手段と、
   前記表示手段での前記撮像画像の表示中に前記検出手段により検出された姿勢を示す姿勢情報を前記撮像装置へ送信する送信手段と、
   を備えることを特徴とする表示装置。
2. 前記表示手段は、前記検出手段により検出された姿勢を示す補助情報を前記撮像画像とともに表示する
   ことを特徴とする請求項１に記載の表示装置。
3. 前記補助情報は、前記表示手段の表示面に直交する回転軸における前記表示装置の回転角度に応じた、前記表示装置における重力方向と垂直な水平線を示す水平補助線を含む
   ことを特徴とする請求項２に記載の表示装置。
4. 前記姿勢情報は、前記検出手段で検出した重力方向を示す情報、あるいは前記表示手段の表示面に直行する軸を回転軸とした重力方向に対する角度に関する情報を含むことを特徴とする請求項１乃至３の何れか１項に記載の表示装置。
5. 前記補助情報は、前記表示装置の傾き角度が基準値の場合に前記表示手段の縦方向と平行になるように表示される２つの補助線を含み、
   前記表示手段の上部が奥へ傾くほど、前記２つの補助線の上部の間隔に比べて下部の間隔が広くなり、
   前記表示手段の上部が手前へ傾くほど、前記２つの垂直補助線の上部の間隔に比べて下部の間隔が狭くなる
   ことを特徴とする請求項２又は３に記載の表示装置。
6. 前記姿勢情報は、前記検出手段で検出した重力方向を示す情報、あるいは前記表示手段の表示面の重力方向に対する角度に関する情報を含むことを特徴とする請求項１乃至５の何れか１項に記載の表示装置。
7. 前記表示手段は、前記検出手段により検出された姿勢に基づいて撮像画像を回転補正またはあおり補正をした場合に当該撮像画像から切り出される部分領域を示す情報を前記撮像画像とともに表示する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の表示装置。
8. 前記受信手段は、前記撮像装置の姿勢を示す撮像装置姿勢情報を受信し、
   前記表示手段は、前記撮像装置姿勢情報に基づき、前記撮像装置における水平方向を示す情報を前記撮像画像とともに表示する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の表示装置。
9. 前記表示装置は、ユーザが手持ち可能な携帯端末である
   ことを特徴とする請求項１乃至８のいずれか１項に記載の表示装置。
10. 前記送信手段は、前記姿勢情報を、ユーザからの指示に応じて前記撮像装置に送信することを特徴とする請求項１乃至９の何れか１項に記載の表示装置。
11. 前記受信手段は、前記姿勢情報を前記撮像装置に送信した後に、前記姿勢情報に基づいて補正された撮像画像を受信し、
    前記表示手段は前記補正された撮像画像を表示することを特徴とする請求項1乃至１０のいずれか１項に記載の表示装置。
12. 撮像画像を生成する撮像手段と、
    前記撮像画像を表示装置へ送信する送信手段と、
    前記表示装置の姿勢を示す姿勢情報を前記表示装置から受信する受信手段と、
    前記受信手段により受信された姿勢情報に基づいて、撮像画像に対して特定の処理を行う処理手段と、
    を備えることを特徴とする撮像装置。
13. 前記特定の処理は、前記姿勢情報に基づく前記撮像画像の回転補正又はあおり補正を含む
    ことを特徴とする請求項１２に記載の撮像装置。
14. 前記特定の処理は、前記撮像画像に前記姿勢情報を関連付けて記録する処理を含む
    ことを特徴とする請求項１２又は１３に記載の撮像装置。
15. 前記処理手段により前記姿勢情報が関連付けて記録された撮像画像を再生する再生手段を更に備え、
    前記処理手段は、前記再生手段による前記撮像画像の再生時に、前記撮像画像に関連付けられた姿勢情報に基づいて前記撮像画像に回転補正又はあおり補正を行うことを特徴とする請求項１４に記載の撮像装置。
16. 前記姿勢情報は、前記表示装置で検出した重力方向を示す情報、あるいは前記表示装置の表示手段の表示面に直行する軸を回転軸とした重力方向に対する角度に関する情報を含む
    ことを特徴とする請求項１２乃至１５のいずれか１項に記載の撮像装置。
17. 前記姿勢情報は、前記表示装置で検出した重力方向を示す情報、あるいは前記表示装置の表示手段の表示面の重力方向に対する角度に関する情報を含む
    ことを特徴とする請求項１２乃至１６のいずれか１項に記載の撮像装置。
18. 前記受信手段により受信された前記姿勢情報に基づいて前記特定の処理を施すための情報を保持する保持手段を更に有し、
    前記処理手段は、前記姿勢情報を受信した後に撮像された複数の画像に対して、前記保持手段に保持された前記情報に基づいて前記特定の処理を施すことを特徴とする請求項１２乃至１７のいずれか１項に記載の撮像装置。
19. 表示装置と撮像装置とを含む撮像システムであって、
    前記表示装置は、
    前記撮像装置から撮像画像を受信する受信手段と、
    前記撮像画像を表示する表示手段と、
    前記表示装置の姿勢を検出する検出手段と、
    前記表示手段での前記撮像画像の表示中に前記検出手段により検出された姿勢を示す姿勢情報を前記撮像装置へ送信する送信手段と、
    を備え、
    前記撮像装置は、
    撮像画像を生成する撮像手段と、
    前記撮像画像を前記表示装置へ送信する送信手段と、
    前記表示装置の姿勢を示す姿勢情報を前記表示装置から受信する受信手段と、
    前記撮像装置の前記受信手段により受信された姿勢情報に基づいて、撮像画像に対して特定の処理を行う処理手段と、
    を備える
    ことを特徴とする撮像システム。
20. 表示手段と姿勢検出手段とを有する表示装置の制御方法であって、
    撮像装置から撮像画像を受信する受信工程と、
    前記撮像画像を前記表示手段に表示する表示工程と、
    前記姿勢検出手段で前記表示装置の姿勢を検出する検出工程と、
    前記表示工程による前記撮像画像の表示中に前記検出工程により検出された姿勢を示す姿勢情報を前記撮像装置へ送信する送信工程と、
    を備えることを特徴とする表示装置の制御方法。
21. 撮像装置の制御方法であって、
    撮像画像を生成する撮像工程と、
    前記撮像画像を表示装置へ送信する送信工程と、
    前記表示装置の姿勢を示す姿勢情報を前記表示装置から受信する受信工程と、
    前記受信工程により受信された姿勢情報に基づいて、撮像画像に対して特定の処理を行う処理工程と、
    を備えることを特徴とする撮像装置の制御方法。
22. コンピュータを、請求項１乃至１１のいずれか１項に記載の表示装置の各手段として機能させるためのプログラム。
23. コンピュータを、請求項１２乃至１８のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
24. コンピュータを、請求項１乃至１１のいずれか１項に記載の表示装置の各手段として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
25. コンピュータを、請求項１２乃至１８のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。

Images