JP4009173B2 - デジタルカメラ - Google Patents
デジタルカメラ Download PDFInfo
- Publication number
- JP4009173B2 JP4009173B2 JP2002287193A JP2002287193A JP4009173B2 JP 4009173 B2 JP4009173 B2 JP 4009173B2 JP 2002287193 A JP2002287193 A JP 2002287193A JP 2002287193 A JP2002287193 A JP 2002287193A JP 4009173 B2 JP4009173 B2 JP 4009173B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- frame
- information
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
Description
【発明の属する技術分野】
本発明は、デジタルカメラにかかり、特に、被写体を撮影することによって動画像を取得するデジタルカメラに関する。
【0002】
【従来の技術】
近年、簡便に撮影可能なCCD撮像素子などを用いた撮像装置として、デジタルカメラが数多く流通している。デジタルカメラは、その撮影時には、CCD撮像素子などで光量に応じた電荷(光電変換)を画素毎に読み取って、画像データに変換した後に、撮影画像を画像データとして記録媒体に記録している。
【0003】
また、3次元ジャイロや3次元加速度センサ等の各種センサの高性能化、小型化、低価格化により、デジタルビデオカメラ等の一般家電製品に各種センサを搭載し、デジタルビデオカメラによる撮影時の手ぶれ補正などを行うものが提案されている。
【0004】
例えば、特許文献1には、振動ジャイロや加速度センサを使用して手ぶれを検出して、手ぶれ補正を行うことが記載されている。これによって、リアルタイムな処理で手ぶれ補正を行うことができる。
【0005】
【特許文献1】
特開2002−214659公報(第5頁)
【0006】
【発明が解決しようとする課題】
しかしながら、特許文献1等の従来の技術では、振動ジャイロや加速度センサ等の検出手段の検出結果を画像加工等の2次的に利用するものではなく、検出手段の検出結果を2次的に利用するものはない。
【0007】
本発明は、上記事実を考慮して、デジタルカメラの撮影時の移動情報を検出する検出手段の検出結果を2次的に利用して、画像加工ができるデジタルカメラを提供することを目的とする。
【0008】
【課題を解決するための手段】
上記目的を達成するために請求項1に記載の発明は、被写体を撮影して複数のフレーム画像からなる動画像を表す画像データを取得する撮影手段と、前記撮影手段による撮影時の傾き、移動方向を含む加速度、及びズーム倍率を含む移動情報を検出する検出手段と、前記検出手段によって検出される前記移動情報を、撮影時の時間情報に対応させて、前記撮影手段によって取得される前記画像データに付与する付与手段と、前記付与手段によって前記移動情報が付与された前記画像データを記憶する記憶手段と、前記撮影手段による撮影終了後に、前記記憶手段に記憶された前記複数のフレーム画像を加工して静止画像の作成を指示するための指示手段と、前記指示手段によって前記静止画像の作成が指示された場合に、前記記憶手段に記録された前記画像データから前記移動情報を抽出し、該移動情報及び対応する前記時間情報に基づいて関連する前記複数のフレーム画像の重複領域を演算する演算手段と、前記記憶手段に記憶された前記画像データにおける前記複数のフレーム画像を加工して、前記演算手段によって演算した前記重複領域を除いて前記複数のフレーム画像を合成加工する加工手段と、を備えることを特徴としている。
【0009】
請求項1に記載の発明によれば、撮影手段では、被写体を撮影して複数のフレーム画像からなる動画像を表す画像データが取得される。例えば、撮影手段では、MPEG(Moving Picture Experts Group)2形式などの各種の画像データ等を取得することが可能である。
【0010】
検出手段では、撮影手段による撮影時の傾き、移動方向を含む加速度、及びズーム倍率を含む移動情報が検出される。
【0011】
付与手段では、検出手段によって検出された移動情報が撮影時の時間情報(例えば、撮影時間や移動情報検出時のフレーム)に対応して画像データに付与される。例えば、Exifファイル形式のデータのように、MPEG2形式の画像データに付帯情報として移動情報を付与可能である。
【0012】
そして、記憶手段では、付与手段によって移動情報が付与された画像データが記憶される。例えば、メモリカード等の記憶媒体やRAM等のデジタルカメラ内蔵メモリに記憶される。
【0013】
ここで、撮影後に、記憶手段に記憶された複数のフレーム画像を加工して静止画像の作成を指示するための指示手段によって静止画撮影が指示された場合に、記憶手段に記憶された画像データから移動情報を抽出して、該移動情報及び移動情報に対応する時間情報に基づいて、関連する複数のフレーム画像の重複領域が演算手段によって演算され、記憶手段に記憶された画像データにおける複数のフレーム画像を加工して、演算手段によって演算された重複領域を除いて複数のフレーム画像が加工手段によって合成加工される。これによって、例えば、移動方向や加速度を含む移動速度等の移動情報と時間情報から各フレーム画像の重複部分等を算出することができ、パノラマ画像等の静止画像を作成することが可能となる。
【0014】
すなわち、移動情報及び時間情報に基づいて、関連する複数のフレーム画像を組み合わせて静止画像を生成することによって、例えば、請求項5に記載の発明のように、パノラマ画像等を作成することができる。
【0015】
従って、デジタルカメラの撮影時の移動情報を検出する検出手段の検出結果を2次的に利用して画像加工を行うことができる。
【0016】
なお、演算手段は、請求項2に記載の発明のように、撮影時の前記撮影手段による撮影の移動方向及び移動量を演算し、演算した前記移動方向及び移動量から前記重複領域を演算するようにしてもよい。これによって、動画像の各フレーム画像における重複領域を算出することができ、加工手段によって該重複領域を除いてフレーム画像を合成することによって、パノラマ画像等の静止画像を作成することができる。
【0017】
また、検出手段は、請求項3に記載の発明のように、3次元ジャイロ及び3次元加速度測定手段を含むようにしてもよい。これによって、デジタルカメラの撮影時の傾き、撮影時の移動方向、加速度等の移動情報を検出することが可能となる。なお、3次元加速度測定手段は、1次元の加速度センサを複数用いるようにしてもよい。
【0018】
また、 指示手段は、請求項4に記載の発明のように、前記静止画像の中心となる画像フレームを更に指示可能とし、前記加工手段が、前記指示手段によって指示された前記中心となる画像フレームを中心として前記複数のフレーム画像を合成加工するようにしてもよい。
【0019】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。本実施の形態は動画撮影可能なデジタルカメラに本発明を適用したものである。
【0020】
図1には、本発明の実施の形態に係わるデジタルカメラの概略構成を示す。図1に示すように、デジタルカメラ10は、撮影部12を備えており、該撮影部12は、レンズ14、オートフォーカス(AF)機構47、絞り48、撮像素子50、サンプリング部56、A/D変換器58、及び信号処理部60からなる。
【0021】
レンズ14は、詳しくはズームレンズ(焦点距離可変レンズ)からなり、ズームレンズ機構は駆動回路46によって駆動される。また、AF機構47も同様に駆動回路46によって駆動される。なお、ズームレンズに代えて、AF機構47のみを備えた焦点距離可変レンズ等を用いてもよい。
【0022】
また、レンズ14の焦点位置に相当する位置には、エリアCCDセンサ等で構成される撮像素子50が配置され、被写体を反射してレンズ14に入射された光は撮像素子50の受光面に結像される。撮像素子50は、受光面上にマトリクス状に配列された多数個の光電変換セルの各々における受光量を表すアナログ信号を画像信号として出力する。撮像素子50は、駆動回路46に接続されているタイミング信号発生部52によって発生されたタイミング信号に同期したタイミングで駆動されて画像信号を出力する。
【0023】
レンズ14と撮像素子50の間に設けられた絞り48は、連続的に変更可能な単一な絞りで構成してもよいし、絞り量が異なる複数の絞りを切り替える構成としてもよい。
【0024】
タイミング信号発生部52には、ストロボ18の発光を制御するストロボ制御回路54も接続されており、ストロボ18は低照度であることが検出された場合や、ユーザによって発光が指示された場合にタイミング信号発生部52によって発生されたタイミング信号に同期したタイミングで発光制御される。
【0025】
撮像素子50の信号出力端には、サンプリング部56、A/D変換器58、信号処理部60が順に接続され、撮影部12によって得られる画像信号は、さらに信号処理部60に後段に接続されたメモリ62、及び圧縮/伸張部64へと出力されるようになっている。また、それぞれはシステムバス68に接続され、システムバス68に接続されたシステム制御部70によって統括的に制御されるようになっている。なお、システム制御部70には、図示しないタイマ回路を備えており、撮影時の撮影時間を取得することが可能とされている。
【0026】
サンプリング部56では、撮像素子50から出力された画像信号をタイミング信号発生部52によって発生されたタイミング信号に同期したタイミングでサンプリングすると共に、増幅してA/D変換器58へ出力する。サンプリング部56は、図示しないCDS(Correlated Double Sampling:相関二重サンプリング:以下CDSという)部を含んで構成されている。CDS部は、例えば、CCD型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部からのタイミング信号によりクランプするクランプ回路と、タイミング信号によりアナログ電圧をホールドするサンプルホールド回路とを有する。CDS部は、ノイズ成分を除去してアナログの出力信号として画像信号をA/D変換器58に送る。サンプリング部56から出力された画像信号は、A/D変換器58によってデジタルの画像データに変換されて信号処理部60へ出力される。信号処理部60では、入力された画像データに対して色補正・γ補正・Y/C変換等の各種処理を行う。信号処理部60から出力された画像データは、RAM等で構成されたメモリ62に一時記録される。そして、図示しないレリーズスイッチ等の操作がなされた場合等に、圧縮/伸張部64で圧縮されてからスロットに装填されたメモリカード又は内蔵メモリ78に画像データが格納されるようになっている。
【0027】
また、システムバス68には、カラーディスクプレイ26等も接続され、撮影によって得られる画像データに基づく表示が可能とされている。
【0028】
さらに、システムバス68には、デジタルカメラ10の撮影方向、移動速度等を検出する3次元ジャイロ、3次元加速度センサ、音声を入力するマイク等の各種センサ42、及び図示しない撮影を指示するレリーズスイッチや電源スイッチ等の各種スイッチ74が接続されている。
【0029】
すなわち、レリーズスイッチが操作された等により撮影が指示された場合に、システム制御部70はメモリ62に一時記憶されている画像データを読出して圧縮/伸張部64へ転送する。これにより、画像データは圧縮/伸張部64で圧縮された後にメモリカード又は内蔵メモリ78に格納される。なお、撮影する際のモードによって画像データが圧縮されることなくメモリカード又は内蔵メモリ78に格納される場合もある。
【0030】
また、メモリカード又は内蔵メモリ78に格納された画像データが表す画像の再生(表示)が指示された場合には、メモリカード又は内蔵メモリ78から画像データが読み出され、読出された画像データが圧縮/伸張部64で伸張(解凍)された後、メモリ62に一時記憶される。そして、メモリ62に記憶された画像データを用いてカラーディスプレイ26への画像の表示(再生)が行われる。
【0031】
ところで、本実施の形態に係わるデジタルカメラ10は、動画撮影も可能とされており、動画撮影時の処理は、システムバス68に接続された動画処理部72で行われる。
【0032】
さらに、本実施の形態に係わるデジタルカメラ10には、動画撮影によって得られる動画像を表す画像データを撮影終了後に編集する機能を有しており、当該動画編集は、システムバス68に接続された動画編集部76によって行われるようになっている。
【0033】
次に、動画処理部72の詳細な構成について図2を参照して説明する。
【0034】
図2に示すように、動画処理部72は、撮影部12の撮影によって得られる画像データが入力される。なお、撮影部12には、音声データを得るための図示しないマイク等も含まれる。
【0035】
また、動画処理部72には、この他に撮影時の各種情報を取得するための各種装置が接続されており、本実施の形態では、3次元ジャイロ16、測距部20、ズーム可動器操作情報22、測光部24、及び3次元加速度測定部30が接続されている。
【0036】
3次元ジャイロ16では、撮影時のデジタルカメラ10の傾きが検出され、測距部20では、被写体までの距離が検出され、ズーム可動器操作情報22では、ズーム倍率等の情報が取得され、測光部24では、撮影時の周辺の光強度が検出され、3次元加速度測定部30では、撮影時のデジタルカメラの移動方向を含む加速度が検出される。
【0037】
これらの各種情報は、動画処理部72の測定情報ストリーム作成装置32に入力され、撮影部12によって取得される画像データ及び音声データは、動画処理部72の映像/音声ストリーム作成装置34に入力される。
【0038】
動画処理部72は、上述の測定情報ストリーム作成装置32、映像/音声ストリーム作成装置34、及びストリーム多重化装置36を含んで構成されている。
【0039】
映像/音声ストリーム作成装置34では、撮影部12より得られる画像データ及び音声データに基づいて、それぞれの撮影時間に対応するように映像ストリーム及び音声ストリームが生成される。すなわち、音声を含む動画像を表す画像データが作成される。例えば、MPEG(Moving Picture Experts Group)2−PS(Program Stream)やMPEG2−TS(Transport Stream)等のフォーマットのデータが適用可能である。
【0040】
測定情報ストリーム作成装置32では、各種情報が上述の撮影時間に対応するように測定情報ストリームが作成される。
【0041】
そして、ストリーム多重化装置36では、測定情報ストリーム作成装置32で作成された測定情報ストリーム、及び映像/音声ストリーム作成装置34で作成された映像ストリームと音声ストリームが多重化される。すなわち、動画像を表す画像データに音声情報と測定情報が付与された画像データが生成される。例えば、MPEG形式等のフォーマットを用いてストリームの多重化が行われる。
【0042】
このようにストリーム多重化装置36で生成された多重化ストリームの画像データは、メモリカード又は内蔵メモリ78に格納されるようになっている。
【0043】
すなわち、本実施の形態に係わるデジタルカメラ10では、動画像撮影時には、動画像を表す画像データ内に、デジタルカメラ10に設けられた各種センサ42によって取得される測定情報が付与された画像データを得ることができる。
【0044】
多重化ストリームのデータ構成は、例えば、図3に示すように、撮影(測定)時間に対応した予め定められたフォーマットでバイトデータを格納する複数のデータセルと、該データセルに対応した動画像を表す画像データと、音声を表す音声データと、から構成されており、各データセルにそれぞれ測定情報が格納される。また、データセル、画像データ、及び音声データはそれぞれを対応させるためのID等の識別情報を含む時間情報を有し、当該時間情報によってそれぞれのデータを対応させることができる。
【0045】
各データセルは、動画像を表す画像データの各フレームに対応して設けてもよいし、数フレーム(1〜3フレーム等)に対応して1つのデータセルを設けるようにしてもよい。
【0046】
ここで、本実施の形態の多重化ストリームに適用可能な動画像ファイルについて説明する。本実施の形態では、動画像の把握を容易とするため、静止画像とほぼ同様に、動画像は映像データに付帯データが付加された動画像ファイルとして扱う。
【0047】
すなわち、デジタルカメラなどで撮影された静止画像で提供される撮影画像は、撮影画像の把握を容易とするため、撮影画像そのものの画像データ以外に、ファイル名や撮影条件などの属性データを含んだ形式(所謂Exif形式)の画像ファイルとして流通される。
【0048】
このExif形式の画像ファイルには、個々の撮影画像毎に、画像データ以外に属性データとして、ファイル名、撮影に使用したデジタルカメラの機種、撮影日時、撮影時の撮影条件(デジタルカメラの設定)を表す各種情報(例えばシャッタースピード、絞り値、画質モード(画像データの圧縮率)、感度、露出プログラムのモード、測光方式、ホワイトバランスのモード、フォーカスのモード、シャープネスのモード、焦点距離、露出補正値、ストロボのオンオフ、ストロボ補正値、マクロモードのオンオフ等)等の情報が含まれている。
【0049】
ところで、動画像は、静止画像が時系列的に連続された静止画像群である。この静止画像群に含まれる1静止画像は、動画像中の1フレームとして扱うことができる。従って、動画像は、フレーム単位(静止画像単位)で時間や位置を特定することが可能である。
【0050】
そこで、本実施の形態の多重化ストリームでは、その静止画像群である動画像を対象とした付帯データが映像データ(静止画像群の画像ファイル群)に付加された動画像ファイルとして扱う。この付帯データは、動画像の利用形態を特定したり範囲を指定したりするためのデータである。
【0051】
詳細には、動画像ファイルは、映像データと付帯データとから構成される。映像データは、時系列的に連続した上述のExif形式のフォーマットで構成することができる。なお、Exif形式による画像ファイルによる属性データは、静止画像データの各々に帰属させてもよいが、所定数毎に帰属させてもよく、内容に変動があったときにそのフレームである静止画像データに帰属させてもよい。
【0052】
付帯データは、動画像単位で、映像データ以外に、次の表1に示す、ステータス、インデックス、フレームプリント、メール配信、測定情報、日付情報、カメラ機種、及びPW情報の8つの各項目に大分類された内容を含んでいる。
【0053】
【表1】
【0054】
付帯データの、第1の項目である「ステータス」は、映像データの扱い(フレームの重要性)を表すものであり、適用内容と適用範囲から構成される。適用内容は、代表、主要、保管用、不要の4種類に小分類されており、各々の小分類には、適用範囲としてフレーム番号(フレームNo.)が対応される。ステータス(代表)の項目は動画像ファイル内の代表的なフレームやフレーム範囲を示すもので、主に動画像ファイルからダイジェスト版を作成するときに参照するために用いられる。ステータス(主要)の項目は動画像ファイル内の主要な(標準的な)フレームやフレーム範囲を示すもので、主に動画像ファイルを標準的に(通常のモードで)再生するときに参照するために用いられる。ステータス(保管用)の項目は動画像ファイルを保管するときのフレームやフレーム範囲を示すもので、主に保管用とすべき動画像ファイルを全て(フルモードで)再生するときに参照するために用いられる。ステータス(不要)の項目は動画像ファイルに含まれる不要なフレームやフレーム範囲を示すもので、主にメディア変換時や動画ファイル送信時に削除されるべきフレームやフレーム範囲を参照するために用いられる。
【0055】
項目は、コード情報で表される。表1の例では、第1の項目「ステータス」を表す「1」に適用内容の序列の番号0〜3が連続されて構成される。すなわち、ステータス(代表)の項目は「10」、ステータス(主要)の項目は「11」、ステータス(保管用)の項目は「12」、ステータス(不要)の項目は「13」のコード情報で表される。また、適用範囲は開始フレームと終了フレームとから構成されている(開始フレーム:終了フレーム)。
【0056】
付帯データの、第2の項目である「インデックス」は、映像データにおける位置を表すものであり、主にインデックス作成時のフレームの位置を表している。適用内容としては、プリントインデックス、モニターインデックスの2種類に小分類されており、その適用範囲としてフレーム番号(フレームNo.)が対応される。プリントインデックスは、動画像ファイルに関するインデックスをプリントするときのフレームやフレーム範囲を示すもので、モニターインデックスは、動画像ファイルをモニターなどに表示するときのフレームやフレーム範囲を示すものである。プリントインデックスは「20」、モニターインデックスは「21」のコード情報で表される。
【0057】
付帯データの、第3の項目である「フレームプリント」は、映像データにおけるプリント指示の位置を表すものであり、映像データからプリントを作成時のフレームの位置を表している。適用内容としては、プリントサイズによって、Lサイズプリント、2Lサイズプリント、ポストカードプリントの3種類に小分類されており、その適用範囲としてフレーム番号(フレームNo.)及び枚数が対応される。Lサイズプリントは「30」、2Lサイズプリントは「31」、ポストカードプリントは「32」のコード情報で表される。
【0058】
付帯データの、第4の項目である「メール配信」は、映像データを電送することを表すものであり、電送形態、宛先及び電送範囲が対応される。適用内容としては、電送形態により小分類され、電送形態には宛先を含んでいる。表1の例では、動画像をメール送信する場合に「40」のコード情報で表され、静止画像をメール送信する場合に「41」のコード情報で表される。内容には、アドレス("△@□.com"、"×@○.co.jp"、"△@○.co.jp")を含み、電送範囲としてフレーム番号(フレームNo.)またはフレーム範囲が対応される。
【0059】
付帯データの、第5の項目である「測定情報」は、撮影時点における各種センサより得られる測定情報を表すものである。適用内容としては、3次元ジャイロ16から得られる測定データや3次元加速度測定部30から得られる測定データ等が用いられ、その位置における撮影範囲としてフレーム番号(フレームNo.)が対応される。測定情報は「50」のコード情報で表される。
【0060】
付帯データの、第6の項目である「日付情報」は、撮影時点における日付を表すものである。適用内容として、年月日時曜日などのデータが用いられ、その日時における撮影範囲としてフレーム番号(フレームNo.)が対応される。日付情報は「60」のコード情報で表される。
【0061】
付帯データの、第7の項目である「カメラ機種」は、撮影に利用したカメラすなわち映像データを得たカメラの機種を表すものである。適用内容としては、カメラの種別及び型番などで構成され、表1の例では、デジカメとして「70」、デジタルビデオとして「71」、カメラ内蔵の携帯端末として「72」、カメラ内蔵時計として「73」のコード情報で表される4種類に小分類されており、その適用範囲としてフレーム番号(フレームNo.)が対応される。
【0062】
付帯データの、第8の項目である「PW情報」は、映像データに対する暗証番号を表すものであり、主に秘匿性を必要とするフレームの位置を表している。適用内容としては、暗証番号を含み、その適用範囲としてフレーム番号(フレームNo.)が対応される。コード情報は、「80」が対応される。
【0063】
なお、上記の8種類の項目以外にも、焦点距離や絞り値などの撮影条件情報、その動画像ファイルのユーザを表す氏名、住所、年齢、性別などの個人情報、クレジットカードの種別や番号などの決済情報を含むことができる。
【0064】
一方、動画編集部76は、図4に示すように、スプリット手段80、演算手段82、及び画像加工手段84を含んで構成されている。
【0065】
スプリット手段80では、メモリカード又は内蔵メモリ78に格納された画像データをスプリット手段80に読出して、測定情報ストリームと映像/音声ストリームに分割し、測定情報ストリームを演算手段82へ出力する共に、映像/音声ストリームを画像加工手段84へ出力する。
【0066】
演算手段82には、デジタルカメラ10の各種設定やメニュー操作等を行うための各種スイッチ74が接続されており、当該各種スイッチ74の操作により、動画像の加工指示等が可能とされている。例えば、動画像からパノラマ画像を作成する等の指示や、そのときの中心となる画像の指示等を各種スイッチ74の操作で行うようになっている。
【0067】
演算手段82では、各種スイッチ74の指示に応じて、測定情報ストリームから動画像の各フレームに対応する測定情報を用いて、各フレームの撮影時間やフレームレートから算出される時間情報に基づいて、撮影時のデジタルカメラ10の移動方向や移動距離等を算出するようになっている。
【0068】
また、画像加工手段84では、演算手段82によって演算された結果に基づいて、スプリット手段80より出力される映像/音声ストリームから対応する画像を抽出する等を行い、画像の加工を行うようになっている。
【0069】
例えば、画像加工手段84では、演算手段82によって演算されたデジタルカメラ10の撮影時の移動方向や移動距離から隣接する被写体フレームを抽出して、1枚の画像とすることにより、パノラマ画像等の静止画を作成する等の画像加工を行うことが可能である。
【0070】
続いて、上述のように構成されたデジタルカメラ10で動画撮影を行う際の処理について図5のフローチャートを参照して説明する。
【0071】
まず、ステップ100では、動画撮影指示か否か判定される。該判定は、例えば、例えば、各種スイッチを操作して動画撮影モードとして、図示しないレリーズスイッチ等の撮影指示を行う操作等がなされたか否かを判定することによってなされ、ステップ100の判定が否定された場合には、肯定されるまで待機して、ステップ102へ移行する。
【0072】
ステップ102では、所定周期で画像データが取得されると共に、測定情報が取得される。例えば、1/30secの周期(フレームレート)で撮像素子50によるサンプリングを行うと共に、数フレーム毎に各種情報(デジタルカメラ10に加わる加速度、傾き、ズーム倍率等)が取得される。なお、各種情報は、フレームレート同様に、1/30secの周期で取得するようにしてもよい。
【0073】
続いて、ステップ104では、測定情報ストリーム及び映像/音声ストリームが作成される。例えば、MEPG2形式の動画データが作成されると共に、動画データの各フレームに対応するように、測定情報が作成される。
【0074】
次に、ステップ106では、測定情報ストリームと映像/音声ストリームが合成されてストリーム多重化が行われる。例えば、MPEG2形式の動画データに上述のExifファイル形式と同様の付帯情報を付与することによって、ストリームの多重化が行われる。これによって、各動画フレームに対応した測定情報を付与することができる。
【0075】
そして、ステップ108では、多重化されたストリームがメモリカード又は内蔵メモリ78に記憶され、ステップ110では、動画撮影終了指示がなされたか否か判定される。該判定は、例えば、図示しないレリーズスイッチ等の操作がなされたか否か判定することによってなされ、該判定が否定された場合には、ステップ102へ戻って上述の処理が繰り返され、該判定が肯定された場合には、一連の処理を終了する。
【0076】
次に、上述のように撮影された動画像から画像加工を行う際の処理について図6のフローチャートを参照して説明する。なお、画像加工として、動画像からパノラマ画像を作成する場合を例に説明する。
【0077】
ステップ200では、動画からパノラマ画像作成指示があるか否か判定される。例えば、各種スイッチ74を操作することによって、パノラマ画像作成が指示されたか否か判定し、該判定が否定された場合には、肯定されるまで待機してステップ202へ移行する。
【0078】
ステップ202では、中心画像が指定されたか否か判定される。すなわち、中心となるフレーム画像が指示されたか否か判定される。該判定は、例えば、各種スイッチ74を操作することによって、中心となるフレーム画像が指定されたか否かを判定することによってなされる。
【0079】
ステップ202の判定が否定された場合には、肯定されるまで待機してステップ204へ移行する。
【0080】
ステップ204では、指定された中心画像周辺の多重化ストリームがメモリカード又は内蔵メモリ78から読出される。すなわち、指定された中心フレーム画像とその周辺のフレーム画像及び、測定情報を含む多重化ストリームが読出される。
【0081】
ステップ206では、読出された多重化ストリームが映像/音声ストリームと測定情報ストリームとに分離される。すなわち、図4に示すスプリット手段80によって映像/音声ストリームと測定情報ストリームが分離されて、測定情報ストリームが演算手段82に出力され、映像/音声ストリームが画像加工手段84に出力される。
【0082】
ステップ208では、演算手段82で読出されたフレーム画像間の重複部の演算が行われる。例えば、3次元ジャイロ16より得られる撮影時のデジタルカメラ10の傾き、3次元加速度測定部30より得られるデジタルカメラ10に加わる加速度、ズーム可動器操作情報22より得られるズーム倍率、及び各フレームの撮影時間(なお、撮影時間はシステム制御部70より取得してもよいし、フレームレートに基づいて算出することもできる)から、デジタルカメラ10の撮影時の移動方向及び移動量を演算することができる。そして、演算された移動方向及び移動量から各フレームの重複領域を演算することが可能となる。
【0083】
ステップ210では、演算結果に基づいてパノラマ画像が生成される。すなわち、上述のようにして演算された重複領域を除いた複数のフレーム画像を合成することによってパノラマ画像を作成することができる。例えば、図7に示すように、撮影方向(デジタルカメラ10の移動方向)が図7に示す撮影方向の場合には、各フレーム画像において、デジタルカメラ10の移動速度によっては重複領域が発生する。この重複領域を演算した結果に基づいて、パノラマ画像を作成することができる。
【0084】
そして、作成されたパノラマ画像は、ステップ212でメモリカード又は内蔵メモリ78に記憶される。
【0085】
このように、本実施の形態に係わるデジタルカメラ10では、動画撮影時にデジタルカメラの移動情報(傾きや加速度等)を検出して、時間情報と共に、動画像を表す画像データに付帯情報として付与することにより、当該付帯情報に基づいて、動画像の各フレーム画像を加工して、パノラマ画像等の静止画像を作成することができる。すなわち、移動情報を2次的に利用して、画像加工することができる。
【0086】
なお、上記の実施の形態では、各種センサ42の測定結果を画像データに付与して記憶して、動画編集部76によってパノラマ画像を作成するようにしたが、動画編集部76による編集はこれに限るものではなく、例えば、複数の画像データを組み合わせて、広角レンズで撮影したような広角画像を作成するようにしてもよい。
【0087】
【発明の効果】
以上説明したように本発明によれば、撮影する際のデジタルカメラの移動情報を検出して、時間情報に対応させて複数のフレーム画像からなる画像データに付与して記憶させ、記憶された移動情報を抽出して、該移動情報に基づいて複数のフレーム画像を加工するので、デジタルカメラの撮影時の移動情報を検出する検出手段の検出結果を2次的に利用して、画像加工ができる、という効果がある。
【図面の簡単な説明】
【図1】本発明の実施の形態に係わるデジタルカメラの概略構成を示すブロック図である。
【図2】本発明の実施の形態に係わるデジタルカメラの動画処理部の詳細な構成を示すブロック図である。
【図3】多重化ストリームのデータ構成の一例を示す概念図である。
【図4】本発明の実施の形態に係わるデジタルカメラの動画編集部の詳細な構成を示すブロック図である。
【図5】本発明の実施の形態に係わるデジタルカメラで動画撮影を行う際の処理の流れを示すフローチャートである。
【図6】本発明の実施の形態に係わるデジタルカメラで撮影された動画像から画像加工を行う際の処理の流れを示すフローチャートである。
【図7】パノラマ画像の作成の一例を示す模式図である。
【符号の説明】
10 デジタルカメラ
12 撮影部
16 3次元ジャイロ
20 測距部
22 ズーム可動器操作情報
24 測光部
30 3次元加速度測定部
42 各種センサ
32 測定情報ストリーム作成装置
34 映像/音声ストリーム作成装置
36 ストリーム多重化装置
72 動画処理部
76 動画編集部
78 メモリカード又は内蔵メモリ
Claims (5)
- 被写体を撮影して複数のフレーム画像からなる動画像を表す画像データを取得する撮影手段と、
前記撮影手段による撮影時の傾き、移動方向を含む加速度、及びズーム倍率を含む移動情報を検出する検出手段と、
前記検出手段によって検出される前記移動情報を、撮影時の時間情報に対応させて、前記撮影手段によって取得される前記画像データに付与する付与手段と、
前記付与手段によって前記移動情報が付与された前記画像データを記憶する記憶手段と、
前記撮影手段による撮影終了後に、前記記憶手段に記憶された前記複数のフレーム画像を加工して静止画像の作成を指示するための指示手段と、
前記指示手段によって前記静止画像の作成が指示された場合に、前記記憶手段に記録された前記画像データから前記移動情報を抽出し、該移動情報及び対応する前記時間情報に基づいて関連する前記複数のフレーム画像の重複領域を演算する演算手段と、
前記記憶手段に記憶された前記画像データにおける前記複数のフレーム画像を加工して、前記演算手段によって演算した前記重複領域を除いて前記複数のフレーム画像を合成加工する加工手段と、
を備えたデジタルカメラ。 - 前記演算手段は、撮影時の前記撮影手段による撮影の移動方向及び移動量を演算し、演算した前記移動方向及び移動量から前記重複領域を演算することを特徴とする請求項1に記載のデジタルカメラ。
- 前記検出手段は、3次元ジャイロ及び3次元加速度測定手段を含むことを特徴とする請求項2に記載のデジタルカメラ。
- 前記指示手段は、前記静止画像の中心となる画像フレームを更に指示可能とされ、前記加工手段は、前記指示手段によって指示された前記中心となる画像フレームを中心として前記複数のフレーム画像を合成加工することを特徴とする請求項1乃至請求項3の何れか1項に記載のデジタルカメラ。
- 前記加工手段は、前記静止画としてパノラマ画像を生成することを特徴とする請求項4に記載のデジタルカメラ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002287193A JP4009173B2 (ja) | 2002-09-30 | 2002-09-30 | デジタルカメラ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002287193A JP4009173B2 (ja) | 2002-09-30 | 2002-09-30 | デジタルカメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004128683A JP2004128683A (ja) | 2004-04-22 |
JP4009173B2 true JP4009173B2 (ja) | 2007-11-14 |
Family
ID=32280066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002287193A Expired - Fee Related JP4009173B2 (ja) | 2002-09-30 | 2002-09-30 | デジタルカメラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4009173B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5378135B2 (ja) | 2009-09-29 | 2013-12-25 | 富士フイルム株式会社 | 画像レイアウト決定方法ならびにそのプログラムおよび情報処理装置 |
JP5436367B2 (ja) | 2009-09-29 | 2014-03-05 | 富士フイルム株式会社 | グラフィック配置決定方法ならびにそのプログラムおよび情報処理装置 |
JP5352406B2 (ja) | 2009-09-30 | 2013-11-27 | 富士フイルム株式会社 | 合成画像作成方法ならびにそのプログラムおよび情報処理装置 |
JP4859974B2 (ja) * | 2009-12-21 | 2012-01-25 | 富士フイルム株式会社 | 情報処理装置、プリントシステムおよび画像合成方法 |
JP5383576B2 (ja) | 2010-03-31 | 2014-01-08 | 富士フイルム株式会社 | 撮像装置、撮像方法およびプログラム |
JP5602818B2 (ja) * | 2012-11-07 | 2014-10-08 | オリンパスイメージング株式会社 | カメラ、画像再生装置、画像合成方法、およびプログラム |
KR20170126444A (ko) * | 2014-12-31 | 2017-11-17 | 모포트러스트 유에스에이, 엘엘씨 | 안면 실감 검출 |
JP6740867B2 (ja) * | 2016-11-09 | 2020-08-19 | トヨタ自動車株式会社 | 画像処理方法 |
JP6705534B2 (ja) * | 2018-10-19 | 2020-06-03 | ソニー株式会社 | センサ装置、信号処理方法 |
-
2002
- 2002-09-30 JP JP2002287193A patent/JP4009173B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004128683A (ja) | 2004-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8878951B2 (en) | Image processing apparatus and method of controlling the same | |
JP2007019678A (ja) | 顔画像記録装置および撮像装置ならびにそれらの制御方法 | |
JP2010200239A (ja) | 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法 | |
JP4860568B2 (ja) | 撮影装置 | |
JP2009077026A (ja) | 撮影装置および方法並びにプログラム | |
JP2015053741A (ja) | 画像再生装置 | |
JP4009173B2 (ja) | デジタルカメラ | |
JP2011015091A (ja) | 撮像装置 | |
JP2010087722A (ja) | 撮影装置及び動画像編集方法 | |
JP2006238311A (ja) | 撮影装置及びプログラム | |
JP4948014B2 (ja) | 電子カメラ | |
JP2006140703A (ja) | 撮影装置及び撮影処理方法 | |
JP2007082076A (ja) | カメラ装置、画像記録方法及び画像表示方法 | |
JP2010087598A (ja) | 撮影装置及び撮影制御方法ならびにそのプログラム、画像表示装置及び画像表示方法ならびにそのプログラム、撮影システム及びその制御方法ならびにそのプログラム | |
JP2004312218A (ja) | デジタルカメラおよび画像再生装置 | |
JP5332668B2 (ja) | 撮像装置および被写体検出プログラム | |
JP2005229280A (ja) | 画像処理装置および方法並びにプログラム | |
JP5321108B2 (ja) | カメラ、レンズ収差補正プログラム、およびレンズ収差補正プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2010087723A (ja) | 撮影装置及び動画像編集方法 | |
JP2000041170A (ja) | 画像撮像装置及び方法 | |
JP2007243624A (ja) | ディジタル・スチル・カメラおよび画像再生システムならびにそれら制御方法 | |
JPH11224324A (ja) | 画像信号処理方法及び装置 | |
JP2012182730A (ja) | デジタルカメラおよびプログラム | |
JP2004236006A (ja) | デジタルカメラ | |
JP2004112549A (ja) | デジタルスチルカメラ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050221 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070723 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070828 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070831 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4009173 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110907 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120907 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130907 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |