以下に、本発明の実施の形態による撮影装置の一例について図面を参照して説明する。
[第1の実施形態]
図1は、本発明の第1の実施形態による撮影装置の一例についてその構成を説明するための図である。そして、図1(a)は撮影装置の一部を示す斜視図であり、図1(b)は断面図である。また、図1(c)は制御系を示すブロック図である。
図示の撮影装置は装置筐体10を備えており、当該装置筐体10には有機EL又は液晶ディスプレイなどの薄型で光透過型の表示部11が配置されており、表示部11は光を透過可能である。そして、表示部11の裏面には所定の位置関係で撮像部(カメラ部)12が配置されており、撮像部12は表示部11を介して光を受光可能である。
撮像部12はCPU13とともに基板161に実装されている。そして、CPU13は動作制御部14および交番制御変更部15を有している。動作制御部14は、表示部11による表示と撮像部12による撮影動作とを所定のタイミングで交互に行う交番制御を行う。
図示の例では、表示部11は表示領域(透過領域)11aが規定されており、当該表示領域11aは撮像部12と対向する。そして、当該表示領域11aについて上記の交番制御が行われ、その他の表示領域について交番制御は行われない。なお、その他の表示領域について交番制御を行うようにしてもよい。
交番制御変更部15は、後述するようにして動作制御部14による交番制御変更する。CPU13には撮像部12で得られた画像(被写体情報)が入力され、動作制御部14および交番制御変更部15は当該被写体情報に応じて駆動する。
図2は、図1に示す動作制御部13による交番制御を説明するための図である。
図示の例では、1/30秒周期で表示部11による表示と撮像部12による撮像が交互に繰り返される。表示部11において表示が行われている場合には、撮像部12において電荷蓄積が行われない。そして、電荷蓄積が行われていない期間においては、直前の電荷蓄積期間で蓄積した電荷の読み出しが行われる。
一方、撮像部12において電荷の蓄積が行われていない場合には、表示部11においては表示が行われない。これによって、表示部11(ここでは、表示領域11a)を透過状態として、表示部11を介して撮像部12に光学像(被写体像)が入射する。
このように、表示と撮像とをユーザが意識しない周波数で交番的に繰り返すので、表示部11を注視するユーザの姿を違和感なく、その注視方向から撮影することができる。
図3は、図1に示す撮影装置を備える携帯通信装置の使用の一例を示す図である。
図示の例では、携帯通信装置31aおよび31bがネットワークを介して相互に通信を行っているものとする。ユーザ32aは表示部11aによって対話者32bの動画像33bを注視しつつ対話を行う。一方、ユーザ32aは表示部11の裏面に備えられた撮像部12(図3には示さず)によって撮像される。
撮像部12はユーザ32aと正対しているので、対話者が使用している携帯通信装置31bの表示部11bには、対話者32bと正対するユーザ32aの動画像33aが例えば1/30秒毎に更新されて表示される。同様にして、携帯通信装置31aの表示部11aにもユーザ32aと正対する対話者の動画像33bが更新されて表示される。
ここで、ユーザ32a又は対話者32bが携帯通信装置31a又は31bを、例えば、夜間に室内で利用する場合と昼間に屋外で利用する場合とについて説明する。
携帯通信装置を夜間に室内で使用する場合には、被写体が暗く露出が不十分となって高品位の画像が得られない。一方、携帯通信装置を昼間に屋外で使用する場合には、ユーザ32a又は対話者32bである被写体が活発に動いていると、画像は被写体ブレによる品位劣化が生じる。
交番制御変更部15は、上述のような問題を回避するために備えられており、撮影する被写体の状態(被写体条件)に応じて表示部11および撮像部12における交番制御を変更する。
図4は、図3に示す携帯通信装置における交番制御の一例を説明するための図である。そして、図4(a)は被写体が暗い場合の交番制御の第1の例を示す図であり、図4(b)は被写体が明るい場合の交番制御の第1の例を示す図である。また、図4(c)は被写体が暗い場合の交番制御の第2の例を示す図であり、図4(d)は被写体が明るい場合の交番制御の第2の例を示す図である。さらに、図4(e)は被写体が明るい場合の交番制御の第3の例を示す図である。
図4(a)においては、撮影の際の露出を十分確保するため、例えば、撮像部12による撮像と表示部11における表示は1/30秒周期から1/15秒周期に変更される。
一方、図4(b)においては、被写体ブレを防ぐため、撮像部12による撮像と表示部11における表示は1/30秒周期から1/60秒周期に変更される。
上述のように、被写体条件に応じて撮像期間と表示期間を変更すれば、画像の品位を向上させることができる。
前述のように、室内における使用では、被写体が暗く露出が不十分となって高品位の画像が得られない。さらに、室内の環境はさほど明るくないので、表示部11aおよび11bにおける表示がまぶしく感じることが多い。一方、屋外における使用は周囲が明るいので、通常の輝度では表示が見えづらい。さらに、屋外において、被写体であるユーザ32a又は対話者32bが活発に動いていると、画像には被写体ブレによる品位劣化が生じる。
図4(c)に示す例では、区間41が撮像時間であり、区間42が表示時間である。ここでは、撮像の際の露出を十分確保するため、撮像部12における撮像は、例えば、時間27msで行われる。一方、表示部11の明るさを下げるため、表示部11における表示は時間6msで行われる。つまり、撮像および表示の期間を1/30秒とし、1/30秒の周期において撮像および表示の比率(交番比率)を3:1に設定する。
図4(d)に示す例では、区間43が撮像時間であり、区間44が表示時間である。ここでは、撮像の際の露出は十分であるので、撮像部12における撮像は、例えば、時間6msで行われる。一方、明るさを確保するため、表示部11における表示は時間27msで行われる。つまり、撮像および表示の期間を1/30秒とし、1/30秒の周期において撮像および表示の交番比率を1:3に設定する。
図4(e)に示す例では、区間45が撮像時間であり、区間46が表示時間である。図示の例は、被写体が激しく動いている場合に用いられる。
ここでは、被写体ブレを防ぐため、撮像部12における撮像は、例えば、時間3ms行われる。一方、明るさを確保するため、表示部11における表示は時間30msで行われる。つまり、撮像および表示の期間を1/30秒とし、1/30秒の周期において撮像および表示の交番比率を1:9に設定する。
なお、被写体条件、例えば、被写体が暗い、被写体が明るい、および被写体の動きが激しいなどの条件は、撮像部12で得られる連続画像の電荷量およびその時間変化に基づいてCPU13によって判定される。
図5は、図1に示す撮像装置における交番制御の一例を説明するためのフローチャートである。
図示のフローチャートに係る処理は撮像装置の電源投入によって開始する。CPU13は交番比率を1:1の初期設定比率として、動作制御部14による交番制御を行って所定の周期(例えば、1/30秒の周期で)撮像および表示を交互に繰り返す(ステップS501)。
続いて、CPU13は撮像部12で得られた画像に基づいて、被写体が明るいか否かを判定する(ステップS502)。ここでは、被写体の輝度が予め設定された輝度を超えていると、CPU13は被写体が明るいと判定する。
被写体が暗い場合(所定の輝度以下:ステップS502において、NO)、CPU13は交番制御変更部15によって交番比率を3:1として交番制御を行い撮像および表示を交互に繰り返す(ステップS503)。そして、CPU13はステップS502の処理に戻る。
被写体が明るい場合(ステップS502において、NO)、CPU13は、連続する画像における被写体の動作速度(像面速度)が遅いか否かを判定する(ステップS504)。ここでは、CPU13は像面速度が所定の速度以下であると、被写体の移動速度が遅いと判定する。
被写体の移動速度が遅いと(ステップS504において、YES)、CPU13は交番制御変更部15によって交番比率を1:3として、交番制御を行い撮像および表示を交互に繰り返す(ステップS505)。そして、CPU13はステップS502の処理に戻る。
一方、被写体の移動速度が速い(ステップS504において、NO)、CPU13は交番制御変更部15によって交番比率を1:9として、交番制御を行い撮像および表示を交互に繰り返す(ステップS506)。そして、CPU13はステップS502の処理に戻る。
なお、上述の例では、撮像装置を備える携帯通信装置を例にして説明したが、撮像装置がデジタルカメラ又はビデオカメラであってもよい。
図6は、図1に示す撮像装置の一例であるデジタルカメラを用いて自撮り撮影を行う例を示す図である。
図示の例では、ユーザがデジタルカメラ61に装着された自撮り棒62を持ってユーザ自身の動画を撮影しており、ここでは、ユーザは撮像部12で得られた動画を表示部11に表示して確認することができる。
このように、図示のデジタルカメラ61では、表示部11の裏面側に撮像部12が設けられているので、撮影の際に被写体である本人と表示部11に表示される本人の視線とを合わせる(表示と撮像の一致)ことができる。
図7は、本発明の第1の実施形態による撮像装置の他の例を示す図である。
図示の例では、表示および撮像を一致させるための表示撮像一体デバイス(以下単にいったいデバイスと呼ぶ)が示されている。ここでは、複数の撮像部および複数の表示部が同列に配置される。
図示の一体デバイスは発光有機膜71aを有しており、発光有機膜71aは、例えば、赤発光素子として用いられる。発光有機膜71aの裏面側には駆動回路および電極71bが同一のウエハーに設けられている。受光有機膜72aは発光有機膜71aに隣接して設けられ被写体光を受光する。受光有機膜72aの裏面側には駆動回路および電極72bが設けられている。受光有機膜72aは、例えば、青色に感度を有しており、隣接する発光有機膜71aによる赤発光色の影響を受けにくい。
受光有機膜72aに隣接して緑色発光を行う発光有機膜73aが設けられている。そして、発光有機膜73aの裏面側には駆動回路および電極73bが設けられている。さらに、その隣には赤色に感度を有する受光有機膜74aが配置され、受光有機膜74aの裏面側には駆動回路および電極74bが設けられている。また、受光有機膜74aに隣接して赤色発光を行う発光有機膜75aが設けられ、受光有機膜75aの裏面側には駆動回路および電極75bが設けられている。
このようにして、1画素を構成する発光有機膜(発光部)と1画素を構成する受光有機膜(撮像部)とを交互に配置して全体として多画素の表示兼用撮像デバイスを構成する。
図示の例では、受光有機膜72aおよび74aの前面にはマイクロレンズ72cおよび74cが配置され、対物レンズ76を介して光学像が受光有機膜72aおよび74aに入射する。発光有機膜71a、73a、および75aにはマイクロレンズが配置されておらず、ユーザは対物レンズ76を介して発光有機膜による表示を確認することができる。
上述の表示兼用撮像デバイスでは、発光および受光を同時に行った場合には、発光色と受光色を異ならせて隣接配置しても発光光源が受光に影響する。この結果、良好な画像を得ることが困難となる。
そこで、前述のようにして、表示動作と撮像動作とを交互に行う。特に、暗い被写体条件においては撮像感度を高める必要があるにも拘わらず表示輝度が高いと撮像に大きく影響してしまう。一方、上述のようにして、交番制御を行えば、撮像に対する影響がなくなって画像の品位を向上させることができる。
このように、本発明の第1の実施形態では、表示部を透過させて被写体を撮影する際に、露出不足および被写体ぶれの発生を低減することができる。
[第2の実施形態]
続いて、本発明の第2の実施形態による撮像装置の一例について説明する。
図8は、本発明の第2の実施形態による撮像装置の一例についてその構成を示すブロック図である。なお、図8において、図1に示す撮像装置の構成要素と同一の構成要素については同一の参照番号を付して説明を省略する。
図示の撮像装置では、CPU13にユーザ操作を検出する操作検出部16が接続されている。そして、CPU13は、操作検出部16で検出されたユーザ操作に応じて交番制御行う。ここでは、表示部11に表示される対話者の画像を注視しつつ、対話者にユーザの動画像および音声を送信するとともに静止画を共有する。
ここで、前述の図3を参照して、ユーザ又は対話者について静止画像を撮影する状況について説明する。
例えば、ユーザが保有する物品の静止画像を対話者側に送って、当該静止画像を対話者側の表示部の隅に更新することなく表示して、その物品に関する対話を行うことがある。このような場合には、ブレおよび露出不足などの影響を極力少なく下静止画像を得る必要がある。
ところが、撮像部12による撮像は動画像に適した周期で行われているので、被写体のブレを止めるシャッタ速度(例えば、1/250秒)で静止画像も撮影して、当該静止画像を1/30秒で更新すると動画像がパラパラとなり動画品位が低下する。よって、静止画像に適した撮影条件で動画像を得ることができない。
また、被写体が暗い場合に、例えば、1/60秒の撮像では露出が不足するため、対話のための動画像としては許容レベルであっても、静止画像としては許容できる品位とはならない。
交番制御変更部15は、上述のような問題を回避するためのものである。ここでは、交番制御変更部15は、静止画像を撮影する際には、静止画像を撮影するための静止画撮影準備状態又は動画撮影における表示部11および撮像部12の交番制御を変更する。
図9は、図8に示す撮像装置における交番制御の一例を説明するための図である。そして、図9(a)は交番制御の第1の例を示す図であり、図9(b)は交番制御の第2の例を示す図である。また、図9(c)は交番制御の第3の例を示す図であり、図9(d)は交番制御の第4の例を示す図である。
図9(a)において、区間91は動画撮影又は静止画撮影準備状態の区間であり、区間92は静止画撮影の区間である。また、矢印93はユーザ操作による静止画撮影指示を操作検出部16が検出したタイミングを示す。
CPU13は、矢印93で示すポイントまでの撮像画像に応じて被写体の状態を判定する。そして、CPU13は当該判定結果に応じて交番制御変更部15によって交番制御の周期を変更する。さらに、CPU13は、前述の図5に示すステップS504で説明したように、像面速度が速いと、区間92に示すように静止画撮影の撮影時間を直前の動画撮影時間より短くする。そして、CPU13は区間92と同一の時間である区間94で示すように表示時間を制御する。つまり、CPU13は撮像部12の動作および表示部11の動作に係る交番周期を変更する。
上記の撮影時間は、例えば、区間94で観察された被写体の動きベクトルに基づいて設定される。画像における被写体の輝度が所定の輝度よりも暗い場合には、0CPU13は、図9(b)に区間92で示すように静止画撮影の撮影時間を直前の動画撮影時間よりも長くする。そして、CPU13は、当該区間92と同一の時間である区間94で示すように表示時間を制御する。
表示および撮像の交番周期の代わりに、交番比率を変更して被写体の状態に対応するようにしてもよい。
図9(c)に示すように、CPU13は、矢印93で示すポイントから、所定の時間(例えば、30ms)の区間95において被写体の状態を観察する。そして、CPU13は当該観察結果に応じて交番制御変更部15によって交番制御の周期を変更する。ここでは、区間95において撮像部12による撮像は、例えば、1/250秒間隔として区間91における撮影間隔よりも短く設定する。これによって、CPU13は各撮像間隔で得られた画像を比較して被写体の動きを得る。
区間95において、被写体の動きが所定の速度よりも大きい場合には、CPU13は区間92で示すように静止画撮影の撮影時間を直前の動画撮影時間よりも短くする。当該撮影時間は区間95で観察した被写体の動きベクトルに基づいて設定される。
区間95においては、CPU13は被写体の明るさを検出している。被写体の明るさ(輝度)が所定の明るさよりも暗い場合には、CPU13は、図9(d)に区間92で示すように静止画撮影の撮影時間を直前の動画撮影時間よりも長くする。
図9(c)および図9(d)に示すように、動画撮影時間に隣接する表示動作91aと撮像動作91bとの交番比率は、静止画撮影時間に隣接する表示動作と撮像動作の交番比率と異なるようにする。静止画撮影時間が長くなる場合、静止画撮影時間に応じて表示の更新サイクルを長くすると、ユーザに対して撮影前後の表示に違和感を与えることになる。このような違和感を防止するため、上述のように交番比率を異ならせる。
なお、静止画撮影前に被写体の状態を検出するための十分な時間がある場合には、図9(a)および図9(b)に示す例と同様に、被写体の状態を静止画撮影前に検出して区間95を省略することができる。
図10は、図8に示す撮像装置における交番制御の一例を説明するためのフローチャートである。なお、図10において、図5に示すフローチャートのステップと同一のステップについては同一の参照符号を付して説明を省略する。
ステップS501の処理の後、CPU13は操作検出部16によってユーザ操作が検出されたか否かを判定する(ステップS1002)。ユーザ操作が検出されないと(ステップS1002において、NO)、CPU13は待機する。
ユーザ操作が検出されると(ステップS1002において、YES)、CPU13はステップS502の処理を行う。被写体が暗い場合には(ステップS502において、NO)、CPU13は交番制御変更部15によって静止画撮像期間を、例えば、図9(b)および図9(d)において区間92で示す時間(例えば、50ms)まで延長する(ステップS1004)。そして、CPU13はステップS1002の処理に戻る。
被写体が明るい場合には(ステップS502において、YES)、CPU13はステップS504の処理を行う。像面速度が遅い場合には(ステップS504において、YES)、CPU13は交番制御変更部15によって静止画撮像期間を、例えば、図9(a)において区間92で示す時間(例えば、15ms)まで短縮する(ステップS1006)。そして、CPU13はステップS1002の処理に戻る。
像面速度が速い場合には(ステップS504において、NO)、CPU13は交番制御変更部15によって静止画撮像期間を、例えば、図9(c)において区間92で示す時間(例えば、6ms)まで短縮する(ステップS1007)。そして、CPU13はステップS1002の処理に戻る。
このように、動画撮影の際と静止画撮影の際とにおいて交番制御を異ならせることによって、滑らかな動画像を得るとともにブレおよび露出不足のない静止画像を得ることができる。
このように、本発明の第2の実施形態では、表示部を透過させて被写体を撮影する際に、露出不足および被写体ぶれの発生を低減することができる。
[第3の実施形態]
続いて、本発明の第3の実施形態による撮像装置の一例について説明する。
図11は、本発明の第3の実施形態による撮影装置の一例についてその構成を説明するための図である。そして、図11(a)は撮影装置の一部を示す斜視図であり、図11(b)は断面図である。また、図11(c)は撮像装置に備えられたサブ表示部を示す平面図であり、図11(d)は制御系を示すブロック図である。
なお、図11において、図1に示す撮像装置と同一の構成要素については同一の参照番号を付す。
図11(a)において、ここでは、表示部11をメイン表示部11と呼び、メイン表示部11においては撮像部12と対向する表示領域11aに表示が行われず、透明窓が設けられている。なお、この透明窓(透明領域又は透過領域)に用いられる透明部材は有機材料の封止を兼ねている。
撮像部12とメイン表示部11との間には有機EL又は液晶ディスプレイなどのサブ表示部151が設けられている。そして、メイン表示部11とサブ表示部151によって表示部19が構成される。
図11(b)において、メイン表示部11の前面には偏光作用を有する保護ガラス17が配置されており、保護ガラス17によってメイン表示部11およびサブ表示部151における反射光が吸収される。この結果、メイン表示部11およびサブ表示部151における反射の相違はユーザには確認できず、2つの表示部の境界において表示品位が低下することはない。
図11(c)に示すサブ表示部151において、有機材15aを封止する封止部材15bはプリント又はエッチングなどで形成された薄型のコイル15cを封止している。封止部材15bは筐体10および軸15dによって軸支されており、サブ表示部151は軸15dの回りに回動可能である。
筐体10の裏面には永久磁石10aが配設されており、コイル15cに電流を印加するとサブ表示部151は軸15dの回りに回動して、撮像部12と相対的に移動することができる(つまり、空間的位置をずらすことができる)。
このようにして、サブ表示部151および撮像部12の一方を他方に対して相対的に移動させる。なお、コイル15cおよび永久磁石10aによって相対移動部18が構成される。
なお、撮像部12に対して表示部19が光を遮ることになるので、表示部19は撮像部12に対して遮光物となる。
図11(d)において、CPU13には動作制御部14が備えられている。当該動作制御部14は相対移動部18を制御して相対移動部18によってサブ表示部151を撮像部12に対して相対的に移動させる。なお、メイン表示部11は撮像部12に対して相対的に移動しない。
図示の例では、サブ表示部151のみを撮像部12に対して相対的に移動させているが、メイン表示部11を撮像部12に対して相対的に移動させるようにしてもよい。
図12は、図11に示すサブ表示部の構成についてその一例を説明するための図である。そして、図12(a)は表示画素の構成を示す図であり、図12(b)および図12(c)は相対的移動を示す図である。
サブ表示部151を構成する表示画素21が、例えば、図12(a)に示すように縦横サイズ21xおよび21yで、方向23xおよび23yに配列されているものとする。この場合、図12(b)および図12(c)に示すように、サブ表示部151は画素配列方向23xおよび23yとは異なる方向(23zの方向)に移動量±21zで相対的に移動する。ここでは、移動先のサブ表示部151’を破線で示す。
なお、移動量21zについては表示画素21の縦横サイズの二乗平均値(対角長さ)に設定する。
図13は、図11に示すサブ表示部の相対的移動の周期を示す図である。
サブ表示部151を相対的移動させる際には、撮影時間を1周期、例えば、撮影時間31が1/30秒の場合には、当該撮影時間31の間にサブ表示部151を波形32で示すように1周期(60Hz)の相対的移動させる。
図11に示す撮像装置では、撮像部12はサブ表示部151を透過した光学像を撮像する。このため、サブ表示部151における表示画素21の隣接辺に配置された透明電極格子(水平電極24hおよび垂直電極24vで囲まれた格子)による画質に対する影響を軽減するため、サブ表示部151を撮像部12に対して撮影の間に相対的に移動させる。
図12および図13で説明したように、相対的移動方向および移動量を設定すると、縦横に並んだ透明電極格子を適切にぶらして撮影を行うことができ、撮影画像に格子がくっきりと写ることを防止することができる。
なお、表示画素21と相対的移動量との関係は撮像倍率によっても変化し、撮像倍率が低い場合には、相対的移動量は上述の表示画素21の対角長さ以上に設定する必要がある。
図14は、図11に示す撮像装置における撮像動作の一例を説明するためのフローチャートである。なお、図示のフローチャートは撮像装置の電源投入によって開始される。
CPU13は撮像部12が撮像開始状態となったか否かを判定する(ステップS1401)。撮像部12が撮像開始状態とならないと(ステップS1401において、NO)、CPU13は待機する。一方、撮像部12が撮像開始状態となると(ステップS1401において、YES)、CPU13は動作制御部14によって相対移動部110を制御してサブ表示部151を、前述のように撮像部12に対して相対的に移動させる(ステップS402)。その後、撮像終了まで、CPU13はサブ表示部151の相対的移動を繰り返す。
続いて、CPU13は撮像部12による撮像が終了したか否かを判定する(ステップS1403)。撮像部12による撮像が終了しないと(ステップS1403において、NO)、CPU13は待機する。一方、撮像部12による撮像が終了すると(ステップS1403において、YES)、CPU13は動作制御部14によるサブ表示部151の相対的移動を終了する(ステップS1404)。そして、CPU13はステップS1401の処理に戻る。
このように、撮像部12による撮像を行っている際には、サブ表示部151を撮像部12に対して相対的に移動する。これによって、サブ表示部151を構成する材料(有機材および透明電極)が撮像画像にくっきりと写ることを防止することができる。
なお、サブ表示部151は振動することになるが、その振動量は僅かであるので表示鑑賞者に違和感を与えることはない。サブ表示部151の振動周期と表示周期をと適切なタイミングで行うようにすればサブ表示部151の表示のブレをさらに目立たなくすることができる。又はサブ表示部151の振動に対応してサブ表示部151の表示を、振動を打ち消すように制御すれば表示のブレを相殺することができる。
図15は、本発明の第3の実施形態による撮影装置の他の例についてその構成を説明するための図である。そして、図15(a)は撮影装置の一部を示す斜視図であり、図15(b)は断面図の一例である。また、図15(c)は断面図の他の例である。
なお、図15において、図11に示す撮像装置と同一の構成要素については同一の参照番号を付す。
図15(a)においては、メイン表示部11には透明窓は設けられていない。また、サブ表示部151は省略されている。ここでは、撮像部12はモーターなどの相対移動部51によって、図15(b)に示すように矢印52の方向に表示部19に対して相対的に移動される。
ここでは、図14で説明したようにして、撮像部12を矢印52の方向に駆動する。その駆動量は、図12および図13で説明した例と同様であり、表示部19と撮像部12との像倍率で設定され、矢印52の方向の撮像部12の移動量は僅かである。
表示部19は撮像部12の近くにあり、像倍率が高いので僅かな移動量であっても撮像部12に対する表示部19の相対的移動量は大きいので、格子が撮像部12にくっきりと写り込むことはない。さらに、被写体は撮像部12から遠く、像倍率は十分低いので撮像部12の移動によって被写体がブレることはない。
このように、サブ表示部151を移動させるか又は撮像部12を移動させることによって格子の写りこみを軽減できる。一方、図15(c)に示すように、撮像部12およびサブ表示部151を同時に移動させるようにしてもよい。この場合、撮像部12を第1の方向52に移動させ、サブ表示部151を第1の方向52とは異なる方向(例えば方向52と直交する方向)に移動させる。これによって、上述した格子の写りこみをさらに軽減することができる。
以上のように、本発明の第3の実施形態では、表示部を透過させて被写体を撮影する際に、露出不足および被写体ぶれの発生を低減することができる。
[第4の実施形態]
次に、本発明の第3の実施形態による撮像装置の一例について説明する。
ここでは、前述の図1又は図5で説明した撮像装置に、図6で説明した自撮り棒62が備えられているものとする。
図16は、本発明の第4の実施形態による撮像装置の構成についてその一例を示すブロック図である。
図16に示す撮像装置は、第3の実施形態による撮像装置に比べて、CPU13が交番制御部71を備え、CPU13に操作検出部16が接続されている。交番制御部71は、図2で説明したようにして、撮影準備のためのスルー画像撮影の際(撮影準備状態)又は動画撮影の際に撮像部12の撮像と表示部19の表示を交番制御する。
ここでは、撮影準備状態においては、例えば、1/30秒の周期で表示部19の表示と撮像部12の撮像を交互に繰り返す。表示部19による表示が行われている際には、撮像部12による電荷蓄積は行われず、当該期間においては直前に蓄積した電荷の読み出しが行われる。
撮像部12による電荷の蓄積が行われている際には、表示部19による表示は行われず、その結果、表示部19は透過状態となって表示部19を介して撮像部12には光学像が入射する。
このようにして、表示動作と撮像動作とをユーザが意識しにくい周期で交番的に繰り返せば、ユーザは表示部19を注視するユーザの姿を違和感なく注視方向から確認することができる。さらには、表示部19を注視する被写体に対して目線の合った動画撮影をおこなうことができる。
また、操作検出部16によってユーザによる静止画撮影指示が検出されると、CPU13は動作制御部14によって相対移動部18を制御して表示部19を撮像部12に対して相対的に移動する。撮影準備中又は動画撮影中においては、表示部19の格子などが写り込むものの、格子の位置は予め分かっているので画像処理による明るさ調節などで写りこみの程度を軽減することができる。
静止画撮影中においては、表示部19と撮像部12との相対的移動によって表示部19の格子が写り込むことが少なくなり、かつ上述の画像処理によってさらに高品位の画像に仕上げることができる。
図17は、図16に示す撮像装置における撮像動作の一例を説明するためのフローチャートである。なお、図示のフローチャートは、撮影準備状態から撮影状態に移行する際の動作を説明するためのフローチャートであり、撮影準備状態となると開始する。
撮影準備状態においては、CPU13は交番制御部71によって撮像動作と表示動作とを1:1の交番比率で1/30秒毎に交互に繰り返す(ステップS1901)次に、撮像部12で得られた画像に基づいて、CPU13は被写体が暗いか否かを判定して、その明るさに応じて撮像部12の露光時間(電荷蓄積時間)を算出する(ステップS1902)。
続いて、CPU13は操作検出部16によってユーザ操作が検出されたか否かを判定する(ステップS1903)。操作検出部16によってユーザ操作が検出されないと(ステップS1903において、NO)、CPU13はステップS1901の処理に戻る。一方、操作検出部16によってユーザ操作が検出されると(ステップS1903において、YES)、CPU13は動作制御部14によって相対移動部110を制御して、表示部19と撮像部12とを相対的移動を開始する(ステップS1904)。
続いて、CPU13は撮像部12と表示部19との相対的移動が安定したか否かを判定する(ステップS1905)。なお、相対的移動が安定したか否かを判定する際には、CPU13は、例えば、相対移動検出センサ(図示せず)を用いて判定するようにしてもよく、相対的移動の開始から経過時間に応じて判定するようにしてもよい。
撮像部12と表示部19との相対的移動が安定しないと(ステップS1905において、NO)、CPU13は待機する。一方、撮像部12と表示部19との相対的移動が安定すると(ステップS1905において、NO)、CPU13は撮像部12によって静止画撮影を行う。
なお、静止画撮影の際には表示部19の表示動作を停止して撮像動作のみが行われる。また、静止画撮影を行う際の露光時間は、ステップS1902で求めた露光時間が用いられる。
続いて、CPU13は、撮像部12における電荷蓄積が完了したか否かを判定する(ステップS1906)。つまり、CPU13は露光時間が経過したか否かを判定する。撮像部12における電荷蓄積が完了しないと(ステップS1906において、NO)、CPU13は待機する。一方、撮像部12における電荷蓄積が完了すると(ステップS1906において、YES)、CPU13は相対的移動を終了する(ステップS1907)。そして、CPU13はステップS1901の処理に戻る。
図18は、本発明の第4の実施形態による撮像装置の構成について他の例を示す断面図である。
ところで、前述の図11(b)においては、メイン表示部11およびサブ表示部151として有機ELなどの薄型表示ディスプレイを用いた。図18に示す例では、サブ表示部1001は、バックライト1001a、液晶表示部1001b、ベース基板1001c、および巻線コイル1001dを有している。
液晶表示部1001bはベース基板1001cよりも前面(ユーザ側又は表示鑑賞側)に設けられており、バックライト1001aは液晶表示部1001bとベース基板1001cとの間に設けられている。また、巻線コイル1001dはベース基板1001cよりも背面(撮像部側)に設けられている。
このように複数の部材を重ね合わせてサブ表示部1001が形成されているので、サブ表示部1001はその厚みが厚くなるものの、メイン表示部11に有機ELディスプレイを用いれば、両者の段差は鑑賞者側からは目立たない。
サブ表示部1001は相対移動部18(巻き線コイルおよび永久磁石)によって駆動されて撮像部12に対して相対的に移動する。このような構成では、サブ表示部1001として液晶を用いた分コストが抑えられ、かつ厚くので剛性が高くなるので駆動際の信頼性が向上する。
図19は、本発明の第4の実施形態による撮像装置の構成についてさらに他の例を示す断面図である。
図19に示す例では、メイン表示部1101は、ベース基板1101c、液晶表示部1101b、およびバックライト1101aを備え、中央孔1101dが形成されている。メイン表示部1101よりもユーザ側に有機ELの薄いサブ表示部151が設けられており、このため両者の段差はユーザ側からは目立たない。サブ表示部151に備えられた有機材151aはその周囲が封止部材151bによって封止されて信頼性が高められている。封止材151bは透明であり、その前部に設けられた偏光作用を有する保護ガラス17によって反射が抑えられて、液晶表示1101aとの境界は目立たない。
サブ表示部151は軸151dに接続された相対移動部18であるモーター151eによって駆動されて撮像部12に対して相対的に移動する。
上述のように、段差がなく、かつ反射がないので、サブ表示部151を煩わしく感じることはない。また、メイン表示部1101は液晶であるので、剛性が高くコストも抑えることができる。
図20は、図19に示すサブ表示部151の駆動に電歪部材を用いた一例を説明するための図である。そして、図20(a)は断面図であり、図20(b)はサブ表示部の平面図である。
電歪部材1201はカメラ筐体10に形成された突起10cにその一端が固定され、他端がサブ表示部151の封止部材に形成された固定部151fに固定される。電歪部材1201を駆動する際には、電歪部材1201のバネ性とサブ表示部151の質量とによって決定される固有周波数で駆動する。これによって、電歪部材1201を効率よい振動駆動することができる。
バネ性および質量を適切に設定することによって、固有周波数を、例えば、30Hzに設定する。そして、静止画撮影においてはサブ表示部151を振動させて撮像部12とサブ表示部151とを相対的に移動させる。これによって、有機材の層および透明電極の影響の少ない高品位な画像を得ることができる。
このように、静止画撮影の際には表示部19と撮像部12とを相対的に移動させることによって、表示画面を注視しているユーザ(鑑賞者)の目線に合った画像の品位を高くすることができる。
以上のように、本発明の第4の実施形態では、表示部を透過させて被写体を撮影する際に、露出不足および被写体ぶれの発生を低減することができる。
[第5の実施形態]
続いて、本発明の第5の実施形態による撮像装置について説明する。
図21は、本発明の第5の実施形態による撮像装置の一例を説明するための斜視図である。
図示の撮像装置は、例えば、車載用の撮像装置であり、当該撮像装置はドライブレコーダー又は衝突防止を目的とする機器に用いられ、車両のフロントガラス(透過面)に設置される。さらには、車両後退の際のバックカメラとしても用いられる。
このような撮像装置において、信頼性を妨げる要因としてレンズ前面に付着する塵埃および雨滴、又は曇り止めのために設けられた熱線があり、このような要因によって画像品位が低下する。
図示の撮像装置は、車載カメラとして用いられる際の信頼性を向上させるものであり、フロントガラスに設けられた衝突防止(非常ブレーキ)機器用のカメラの例である。
図21において、車両のフロントガラス1303には、撮像部1301aおよび1301bが所定の間隔をおいて配置されている。CPU(図示せず)は2つの撮像部1301aおよび1301bで得られた視差画像について所定の処理を行って対象物までの距離を求める。
撮像部1301aおよび1301bは相対移動部(図示せず)によってそれぞれ矢印1302aおよび1302bで示すように接近する方向および離れる方向に駆動される。当該駆動(振動)は、例えば、1/30秒周期で繰り返される。
なお、図21においては、2つの撮像部1301aおよび1301bの基線長1304を撮像部1301aおよび1301bの振動に応じて変化させる。この基線長の変化による視差変化の周期を用いて対象物の移動速度を精度よく検出することができる。
撮像部1301aおよび1301bは、フロントガラス1303に対して相対的に移動すればよいので、その移動方向は矢印1302aおよび1302bの方向に限定されない。
図示の例では、撮像部1301aおよび1301bの前面には曇り防止のための熱線1305が設けられており、当該熱線1305は撮像の際の遮光物となる。また、フロントガラス1303に付着する塵埃および雨滴が遮光物となって、撮像部1301aおよび1301bの撮像性能を低下させる。
一方、図示の撮像装置では、フロントガラス1303と撮像部1301aおよび1301bとを相対的に移動させることによって遮光物の輪郭をぼかすことができる。よって、撮像部1301aおよび1301bの撮像性能の低下を軽減することができる。
このように、本発明の第5の実施形態では、フロントガラスなどの透明物を透過させて被写体を撮影する際に、露出不足および被写体ぶれの発生を低減することができる。
[第6の実施形態]
次に、本発明の第6の実施形態による撮像装置の一例について説明する。
図22は、本発明の第6の実施形態による撮影装置の一例についてその構成を説明するための図である。そして、図22(a)は撮影装置の一部を示す斜視図であり、図22(b)は断面図である。また、図22(c)は制御系を示すブロック図である。
なお、図22において、図11に示す撮像装置と同一の構成要素については同一の参照番号を付す。
メイン表示部11においては撮像部12と対向する表示領域11aに表示が行われず、透明窓が設けられている。メイン表示部11の裏側には、透明窓(表示領域11a)に対応して撮像部12が配置されており、当該撮像部12は表示退避部12bによって軸12aの回りに回動される。そして、撮像部12の裏面には有機EL又は液晶ディスプレイなどのサブ表示部151が配設されている。
撮像装置の筐体10には、CPU13が配置された基板13aが設けられており、CPU13は、操作検出部16によってユーザ操作が検出されると、撮像部12による撮影を開始する。CPU13には動作制御部14が備えられており、動作制御部14はメイン表示部11およびサブ表示部151の表示を制御する。
図22(b)に示す状態では、撮像部12の撮影方向はメイン表示部11と対向している。この場合には、撮像部12の前面には透明窓が位置しており、撮像部12によって透明窓を介してメイン表示部11と正対する被写体を良好に撮影することができる。
図22(b)に示すように撮像部12がメイン表示部11と対向している状態においては、表示退避部12bから表示退避信号がCPU13に与えられ、これによって、動作制御部14はサブ表示部151の表示をオフとする。
図23は、図22に示す撮像装置において撮像部の向きが変更された状態の一例を示す図である。
図示のように、透明窓(表示領域11a)と対向する筐体10の一面には透明窓100aが設けられている。表示退避部12bによって撮像部12の向きが図23に示す状態となると、撮像部12は透明窓100aを介して被写体と対向する。この際には、動作制御部14はサブ表示部151の表示をオンにして、メイン表示部11の表示欠損部(つまり、透明窓11a)の表示を補完する。
ユーザはメイン表示部11およびサブ表示部151の表示によって、撮影の結果得られた画像における被写体を確認することができ、その結果、ユーザは円滑に撮影移行することができる。
このように、撮像部12の裏面にサブ表示部151を配設して、表示退避部12bによって撮像部12を軸12aの回りに回動することに応じて、サブ表示部151を表示退避状態と表示状態とに選択的に切り替える。
図24は、図22に示す撮像装置で行われる表示制御の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、撮像装置の電源投入によって開始する。
まず、CPU13はメイン表示部11が表示オンの状態であるか否かを判定する(ステップS2401)。メイン表示部11が表示オンの状態であると(ステップS2401において、YES)、CPU13は撮像部12の向きを判定する。ここでは、CPU13は撮像部12が透明窓100aと対向しているか否かを判定する(ステップS2402)。
撮像部12が透明窓100aと対向している場合には(ステップS2402において、YES)、CPU13は動作制御部14によってサブ表示部151を表示オンの状態とする(ステップS2403)。そして、CPU13はステップ2401の処理に戻る。
一方、撮像部12が透明窓100aと対向していない場合には(ステップS2402において、NO)、CPU13はサブ表示部151を表示オフの状態とする(ステップS2404)。そして、CPU13はステップ2401の処理に戻る。なお、メイン表示部11が表示オンの状態でないと(ステップS2401において、NO)、CPU13はステップS2404の処理に進む)。
このように、撮像部12を用いる際には、撮像部12と対向する表示領域(サブ表示部151)は退避しているので、遮蔽物の影響を受けることなく高画質の画像を得ることができる。
図25は、本発明の第6の実施形態による撮像装置の他の例についてその構成を説明するための図である。そして、図25(a)はメイン表示部によって被写体を確認する状態を示す図であり、図25(b)はメイン表示部を移動させた状態を示す図である。
図示の例では、サブ表示部151は筐体10に固定され、メイン表示部11は筐体10に対して移動可能である。矢印41は撮像部12の撮影方向を示しており、図25(a)に示す状態では、ユーザはメイン表示部11によって被写体を確認しつつ撮影を行うことができる。
一方、ユーザがユーザ自身を撮影する所謂自撮りの際には、図25(b)に示すように、ユーザはメイン表示部11を筐体10の他の面側に移動させる。この際には、サブ表示部151は筐体10の元の位置にあり、中央が空いた状態(透明部材で充填されていてもよい)でメイン表示部11が撮像部12の前面に配置されることになる。
このように、メイン表示部11の中央が開いているので、当該開口を介して撮像部12によってユーザを撮影することができる。つまり、ユーザを撮影する自撮り撮影を行う際には、メイン表示部11において中央部が光透過状態となる。
なお、自撮り撮影の際には、表情などは適宜自分で調整することができるので、大枠の撮影構図が掴めればよく、メイン表示部11の表示における中央部の表示欠けは無視できる。
また、サブ表示部151は筐体10に固定されているので、ここでは、メイン表示部11を移動させる機構が表示退避部となり、表示退避部によってサブ表示部151は撮像部12の前面から退避する。
このように、本発明の第6の実施形態では、表示部を透過させて被写体を撮影する際に、露出不足および被写体ぶれが生じることが少ない。
[第7の実施形態]
続いて、本発明の第7の実施形態による撮像装置の一例について説明する。なお、ここでは、図示はしないが、撮像装置の筐体10の前面にメイン表示部11が設けられ、筐体10の内部に撮像部12が設けられているものとする。そして、図6で説明した自撮り棒62が筐体10に装着され、ユーザはメイン表示部11で自分自身を確認しつつ、自撮り棒62を操作して撮影構図を決定して撮影を行う。なお、本発明の第7の実施形態に係る撮像装置は、図11(b)および図11(c)に示す構成と同様の構成を有している。
図26は、本発明の第7の実施形態による撮像装置における制御系の一例を示すブロック図である。
図26に示す例では、図16に示す相対移動部18の代わりに表示退避部12bを用いており、他の構成は図16に示す例と同様である。ここでは、コイル15cおよび永久磁石10aと駆動回路(図示せず)とによって表示退避部12bが構成され、撮影の際には、表示退避部12bによってサブ表示部151は撮像部12の前面から退避する。撮影準備状態においては、サブ表示部151は撮像部12の前面に位置し、後述するように、ユーザを撮影した際には当該画像をメイン表示部11およびサブ表示部151に表示する。
このため、ユーザはメイン表示部11およびサブ表示部151に表示された画像を確認しつつ撮影構図を決定して撮影指示を行うことができる。
撮影準備状態においては、例えば、1/30秒の周期で表示と撮像を交互に繰り返す。サブ表示部151による表示が行われている際には、撮像部12による電荷蓄積は行われず、当該期間においては直前に蓄積した電荷の読み出しが行われる。
撮像部12による電荷の蓄積が行われている際には、サブ表示部151による表示は行われず、その結果、透過状態となってサブ表示部151を介して撮像部12には光学像が入射する。
このようにして、表示動作と撮像動作とをユーザが意識しにくい周期で交番的に繰り返せば、ユーザはメイン表示部11およびサブ表示部151を注視するユーザの姿を違和感なく注視方向から確認することができる。そして、操作検出部16によって撮影指示が検出されると、CPU13は動作制御部14によって表示退避部12bを制御してサブ表示部151を撮影部12の前面から退避させる。その後、CPU13は撮像部12によって撮影を行う。
撮影準備状態では、前述のように1/30の秒周期で撮影を繰り返し、これによって得られた画像がメイン表示部11およびサブ表示部151に表示される。このため、被写体であるユーザの明るさに拘わらず撮影時間は1/60秒よりも長くなることはなく、被写体が暗い場合には十分な電荷蓄積量が得られない。
よって、撮影準備状態においては、CPU13は画像のゲインを調整して被写体の明るさを補正する。ゲイン調整された画像はノイズが含まれるので、静止画像には適さないことがあるが、撮影準備状態において撮影構図を確認する際には問題はない。
一方、動画又は静止画を撮影する際には、CPU13は交番制御を中止して、被写体の明るさに応じた電荷蓄積時間(露光時間)で撮影を行う。このため、ノイズの少ない高品位な画像を得ることができる。
撮影準備状態においては、サブ表示部151が撮像部12の前面に位置しており、サブ表示部151を構成する有機材料の層および当該層を励起させる透明電極格子によって影響で画像の劣化が生じることがある。一方、撮影の際には、サブ表示部151が撮像部12の前面から退避するので、上述した有機材料および透明電極格子による画像劣化は生じない。
このように、撮影準備状態においては、メイン表示部11の近傍に配置されたサブ表示部151によって撮像部12が覆われ、動画又は静止画を撮影する際にはサブ表示部151が撮像部12の前から退避する。
図27は、本発明の第7の実施形態による撮像装置における撮影動作を説明するためのフローチャートである。なお、図示のフローチャートにおいて、図17に示すフローチャートのステップと同一のステップについては同一の参照符号を付して説明を省略する。
ステップS1903において、操作検出部16によって撮影指示が検出されると(ステップS1903において、YES)、CPU13は動作制御部14によってサブ表示部151の表示をオフにする。さらに、CPU13は表示退避部12bによってサブ表示部151を撮像部12の前面から退避させる(ステップS2701)。
続いて、CPU13はサブ表示部151が撮像部12の前面から完全に退避したか否かを判定する(ステップS2702)。完全に退避したか否かを判定する際には、例えば、サブ表示部位置検出センサ(図示せず)が用いられる。なお、サブ表示部151の退避開始を開始してからの経過時間に応じて退避の完了を判定するようにしてもよい。
サブ表示部151が完全に退避しないと(ステップS2702において、NO)、CPU13は待機する。一方、サブ表示部151が完全に退避すると(ステップS2702において、YES)、CPU13はステップ1902で求めた露光時間に応じて撮像部12における電荷蓄積を行う。そして、CPU13はステップS1906で電荷蓄積が完了したか否かを判定する。
電荷蓄積が完了すると(ステップS1906において、YES)、CPU13は表示退避部12bによってサブ表示部151を撮像部12の前面に位置づける。さらに、CPU13はサブ表示部151の表示をオンとする(ステップS2703)。そして、CPU13はステップS1901の処理に戻る。
なお、図18~図20で説明したようにメイン表示部11およびサブ表示部151を構成するようにしてもよい。
図28は、図26に示すサブ表示部の駆動に電歪部材を用い際の印加電圧の印加タイミングを示す図である。
ここでは、動画撮影又は撮影準備の期間131においては、CPU13は電歪部材1201を所定の低電圧で30Hzの周期で駆動し、撮影期間132においては、所定の高電圧で電歪部材1201を直流駆動してサブ表示部151を退避方向に移動する。
このように、本発明の第7の実施形態では、表示部がメイン表示部11とサブ表示部151を有し、撮像部12を覆う側のサブ表示部151を撮影の際に退避させる。これによって、表示画面を注視するユーザの画像を高品位とすることができる。
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。