JP2015119231A - 画像処理装置及び画像処理装置の制御方法 - Google Patents

Abstract

【課題】 安価な画像処理装置で動画撮影中に動画撮影を中止することなく、画像合成静止画像の作成を可能にする。【解決手段】 動画像撮影中に画像合成静止画像を作成する際は、そのタイミングの動画像フレームの符号化形式をへんこうする。【選択図】 図５

Description

本発明は、動画撮影中に静止画撮影が可能であって動画撮影による動画データおよび静止画撮影による静止画データを生成する画像処理装置及び画像処理装置の制御方法に関する。

動画像と静止画像の両方を撮影できる電子カメラや、さらに動画像を撮影しながら、静止画像を撮影できる電子カメラが提案されている（特許文献１）。

特開平９−２８４７０５号公報

しかしながらこれらの電子カメラにおいては動画像を撮影しながら静止画像を撮影する場合、動画像と静止画像を同時に処理しなくてはならないため、電子カメラシステムとしてその制御は煩雑でシステムに関する負荷も大きくなる。さらに静止画像などを合成してさらに好ましい静止画像を作成する場合においては、その傾向は顕著になり静止画像処理が複雑になると動画像のさ撮影処理が停止してしまうという問題があった。

上記課題に鑑み、本発明は、動画中に画像合成した静止画像を作成する場合においても、撮影中の動画を停止することなく画像合成静止画像を生成することが可能な画像処理装置及び画像処理装置の制御方法を提供することを目的とする。

上記課題を解決するために、本発明の画像処理装置は、動画撮影により得られた動画データを、フレーム内で予測して符号化する第１の符号化方式とフレーム間で予測して符号化する第２の符号化方式とを、所定の規則に従い周期的に混在する動画圧縮形式で圧縮する動画圧縮手段と、
動画撮影中に静止画の撮影を指示する指示手段と、
静止画を撮影する際に所定の条件に基づいて、画像合成による静止画撮影を行うか否かを判断する判断手段と、
撮影された連続画像から画像合成して一枚以上の静止画像を作成する画像合成手段と、
作成した静止画像を静止画圧縮形式で圧縮する静止画像圧縮手段とを備え、
動画撮影中に静止画撮影の指示を受けた場合に、前記指示を受けたタイミングの近傍で前記第１の符号化方式で動画圧縮されるフレーム画像の前後に動画撮影されたフレーム画像を複数合成して静止画像を生成する合成手段と、を有することを特徴とする。

動画中に画像合成した静止画像を作成する場合においても、撮影中の動画を停止することなく画像合成静止画像を生成することが可能となる。

本実施例における画像処理装置のブロック図である。 動画フレーム抜き出して画像合成静止画作成の概念図である。 各フレームの符号化の様子を示す図である。 本実施例における符号化対象ブロックを説明する図である。 実施例１のシーケンスを表す図である。 従来の撮影指示のタイミングと符号化方式の対応を表す図である。 本実施例における撮影指示のタイミングと符号化方式の対応を表す図である。 実施例２のシーケンスを表す図である。

本実施例にかかる画像処理装置をデジタルカメラを例に用いて説明をおこなう。

以下、図面を参照して本発明の実施例を説明する。

図１は、本発明の実施例の構成を示す図である。

図１において、１００は画像処理装置である。

１０は撮影レンズ、１２は絞り機能を備える機械式シャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。

１８は撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。１２の機械式シャッター以外にも、１８の撮像素子のリセットタイミングの制御によって、電子シャッタとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また２０の画像処理回路によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。

また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う、ＴＴＬ方式のＡＦ処理、ＡＥ処理、ＥＦ処理を行っている。また、画像処理回路２０は、後述する露出条件（露出量）の異なる複数フレームの画像を合成してダイナミックレンジを拡張する画像合成処理であるハイダイナミックレンジ合成（ＨＤＲ合成）処理も行う。

さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。

Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、メモリ２０に書き込まれた表示用の画像データはメモリ制御回路２２を介して画像表示部２８により表示される。

画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。

また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。

これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。

また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３１はＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御回路５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、フラッシュ４８と連係することによりフラッシュ調光機能も有するものである。

４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段である。

４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。
露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。

５０は画像処理装置１００全体を制御するシステム制御回路である。

６０、６２、６４、６６、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

６２はシャッタースイッチＳＷ１で、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、シャッターボタンの操作完了でＯＮとなる。シャッタースイッチＳＷ２ ６４への操作入力に応じて、システム制御回路５０の指示によって露光処理、現像処理、記録処理という一連の処理の動作開始を指示する。

６６は表示切替スイッチで、画像表示部２８の表示切替をすることが出来る。

この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴ ＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。

７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

７２はユーザーが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチ部である。以下、ズームスイッチ７２ともいう。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御手段４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的な変更のトリガともなる。

８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源手段である。

９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。

１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。

１１０は通信手段でＵＳＢ、無線通信、等の各種通信機能を有する。

１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００はメモリカードやハードディスク等の記録媒体である。
記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。

２１０はメモリカードやハードディスク等の記録媒体である。

次に、動画中にの動画データを制御方法例にして従来技術について説明する。撮像素子１４を一般的には動画のフレームレートと同じフレームレートで駆動し動画用のフレーム画像を抽出する。抽出された動画用フレーム画像は、例えばＭＰＥＧの規格に基づいて符号化される。ＭＰＥＧ技術においては、異なるタイミングのフレームに基づいて予測フレーム画像を作成し、入力フレーム画像と予測フレーム画像の差分を符号化する。これを画像間予測符号化と呼ぶ。また、画像間予測符号化をせずに画像を符号化する場合は、画面内予測符号化と呼んでいる。この処理を図３を用いて説明する。たとえば動画用フレームとして、『フレーム１』、『フレーム２』、『フレーム３』を読みだしたとする。

『フレーム１』のフレームは前後の画像を参照することなく、一枚の画像をブロックに分割して符号化される（フレーム内予測符号化方式）。フレーム内予測符号化方式では、符号化の際に用いるデータはその画像内に閉じている。また、フレーム内予測符号化方式の符号化対象ブロックは一般的には図４に示す上、左上、右上、左のブロックを予測するために参照する。この点において画面内予測符号化は、符号化対象ブロックの周辺に対してＲｅａｄ／Ｗｒｉｔｅが発生する。

対して、『フレーム２』『フレーム３』、前のフレームとの画素相関を利用するしてフレーム間予測が用いる（フレーム間予測符号化方式）。この符号化は『フレーム２』と『フレーム３』の間のフレーム間差分を符号化する。その際、符号化対象フレームは前方フレームを参照して符号化を行う。つまり『フレーム２』は『フレーム１』を参照しながらその差分を符号化し、『フレーム３』は『フレーム２』を参照してその差分を符号化する。したがって、フレーム内予測符号化方式は、フレーム内予測符号化方式に対して多くのメモリアクセスを要求する。

動画圧縮形式であるＭＰＥＧに規定されている所定の規則に従い、周期的に１枚のフレーム内予測符号化したフレームと、複数枚のフレーム間予測符号化したフレームを混在させて一つのグループとする。これをＧＯＰと呼ぶ。一般的なＭＰＥＧ動画撮影はＧＯＰを組み合わせて一つの動画像としている。 動画撮影中に静止画を撮影する場合、動画フレームの一枚を抜き出した上で、静止画用の画像処理を行う。静止画像の画像サイズが動画の画像解像度より大きい場合は画像処理で画像サイズを拡大するなどの処理を行う。実際に動画撮影中に静止画を撮影する場合において、被写界が暗い場合やコントラストが高い場合など複数フレームを組み合わせて静止画像を合成して作成する場合がある。その場合、画像間予測符号化を行いながら、複数フレームを組み合わせて静止画像を合成すると、メモリアクセスが増大し、システムを安定的に稼働できないという課題があった。

上記を前提にして図５を用いて、本実施形態に係る本発明に好適な例について説明する。ユーザーによって動画撮影モードが選択され、なおかつ動画中に画像合成静止画が撮影されるモードが選択する（Ｓ５００）。

本実施例については動画撮影中に画像合成静止画、特にダイナミックレンジを拡大した画像合成静止画を作成するために、複数枚の露出条件を異ならせた動画フレームを静止画像の合成画像として利用することを例に説明する。ユーザーによってシャッタースイッチＳＷ６４などの手段によって、撮影開始が指示されると、動画像の撮影が開始される（Ｓ５０１）。

動画像は、レンズ１０を通して撮像センサー１４で撮影され、画像処理ブロック２０に送られる。画像処理ブロックでは図示しないカウンタによって、フレーム内予測符号化方式で符号化するか、フレーム間予測符号化するかを判定し、その方法に従って動画フレームを符号化する。

その後ユーザーによって動画撮影中に静止画を撮影するように指示があった場合（Ｓ５０３）、そのタイミングが現在符号化している動画像のＧＯＰの先頭に近いか、これから符号化しようとしている次のＧＯＰの先頭に近いを判断する（Ｓ５０５）。次にＳ５０５で判断した画像合成静止画を撮影する動画フレームが、前述のカウンタから判断する符号化方式において画面内予測符号化方式の場合、動画フレームで必要な設定に加えて画像合成静止画に必要な設定、例えば感度や露光時間などをセンサーに設定して露光し読みだす。同様に画像合成静止画を合成するのに必要な動画フレームについても同様に画像合成するのに必要な設定を行いセンサーから画像を読みだす。このような方法で、静止画の画像合成枚数分、合成に必要な設定を行い動画フレームとしてセンサーから画像を読みだす。本発明においては前述の方法では画像合成静止画を合成する動画フレームの先頭を画面内予測符号化方式で符号化する動画フレームをキーに静止画用画像合成用動画フレームを取得する方法であったが、画面内予測符号化方式の動画フレームをキーにその前の動画フレームを画像合成静止画用の画像としてもよい。上記撮影指示のタイミングと符号化方式の対応を別途図６と図７を利用してさらに説明する。図６は従前の動画中に画像合成静止画を撮影する際の動画フレームの流れである。ＧＯＰ単位で画面内予測符号化と画像間予測符号化を所定の規則で符号化していく。そこにユーザーが静止画撮影の指示を行うとその直後の３枚を画像合成静止画用の処理を行い、１枚の画像合成静止画作成する。この場合、メモリアクセスが頻繁に発生するタイミングで、さらに画像合成静止画用の処理を行うため、画像処理装置に対する負荷が多くなってしまう。次に図７は、本発明における動画中に画像合成静止画を撮影する際の動画フレームの流れである。図６に示す従前の方法と同様にＧＯＰ単位で画面内予測符号化と画像間予測符号化を所定の規則で符号化していく。そこにユーザーが静止画撮影の指示を行うと、その近傍で画面内予測符号化方式を用いて符号化する動画フレーム、図７に於いては静止画撮影指示の２フレーム後からの動画フレームを画像合成静止画用の動画フレームとして用いる。このようにすることで、画面内予測符号化方式で符号化する動画フレームが画像合成静止画を作成するフレームに必ず含まれることになるので、従前の方法に比べてメモリアクセスの頻度を下げる事ができる。

読みだされた画像は動画フレームとして使いながら画像合成静止画用に別のメモリ領域に別途保存しておく。通常コントラストが高いシーンで動画像を撮影しながら、画像合成用静止画を撮影する場合、一般的には露出を異ならせて動画フレームを撮影するので、そのまま動画フレームとして用いると通常に動画撮影条件が違うので、露出を補正するなど違う処理をして実際の動画像の１フレームとする。

Ｓ５０５の結果現在符号化中のＧＯＰの先頭に近ければ、先に別のメモリ領域に保存されている動画フレームを選択して画像合成静止画を作成する（Ｓ５０６）。現在符号化中のＧＯＰより次のＧＯＰの先頭に近ければ、先に別のメモリ領域に保存されている動画フレームを廃棄して次のＧＯＰの先頭で来るべきフレーム内予測符号化方式で符号化される動画フレームを用いて画像合成静止画を作成する（Ｓ５０７）。この例においては先に撮影した動画フレームをメモリ領域に書き込み後から静止画撮影の指示があった場合にその動画フレームから画像合成静止画を撮影する例を説明したが、静止画撮影の指示があってからその次のフレーム内予測符号化方式での符号化をする動画フレームをキーフレームとして画像合成用の静止画を取り出すこともできる。さらに撮影のタイミングによってフレーム内予測符号化方式で符号化する動画フレームの位置を動的に変更するとさらに好ましい。

このように画像処理装置を制御することにより、画像処理装置のシステムの負荷を分散させながら動画像を途切れさせることなく、高画質な静止画像を得る事が可能になる。

さらに図８を用いて、さらに別の実施例について説明する。先と同様にユーザーによって動画撮影モードが選択され（Ｓ８００）、なおかつ動画中に画像合成静止画が撮影されるモードを選択する。本実施例についても動画撮影中に画像合成静止画、特にダイナミックレンジを拡大した画像合成静止画を作成するために、複数枚の露出条件を異ならせた動画フレームを静止画像の合成画像として利用することを例に説明する。ユーザーによってシャッタースイッチＳＷ６４などの手段によって、撮影開始が指示されると、動画像の撮影が開始される（Ｓ８０１）。動画像は、レンズ１０を通して撮像センサー１４で撮影され、画像処理ブロック２０に送られる。Ｓ８０２にて動画撮影が終了したかの判定が行われ、動画撮影が終了するまで、以下のステップの処理が行われる。画像処理ブロックでは図示しないカウンタによって、画面内予測符号化方式で符号化するか、画像間予測符号化するかを判定し、その方法に従って動画フレームを符号化する。

その後、ユーザーによって動画撮影中に静止画を撮影するように指示があった場合（Ｓ８０３）、そのタイミングが現在符号化している動画像のタイミングから画像合成静止画で合成で利用する複数の動画フレームの中に、画面内予測符号化で符号化する動画フレームがあるかどうかを判断する（Ｓ８０４）。その結果ユーザーの動画撮影中に静止画を撮影するように指示があったタイミングで画面内予測符号化するフレームがない場合動画フレームの露出条件などを変更して撮像センサー１４から動画フレームを読みだした後、その動画フレームを画像合成静止画用のフレームとして別のメモリ領域に保存し、本来画像間予測符号化して符号化するタイミングであるが、その符号化方式を画面内予測符号化方式に変更する（Ｓ８０５、Ｓ８０６）。この操作をすることにより、画像合成用静止画を撮影するタイミングでは常に画面内予測符号化方式で符号化する事で、メモリアクセスの頻度を減らしシステムに対するインパクトを下げる事ができる。

その後メモリ領域の動画フレームを利用して画像合成静止画を作成する（Ｓ８０７）。このように画像処理装置を制御することにより、画像処理装置のシステムの負荷を分散させながら動画像を途切れさせることなく、高画質な静止画像を得る事が可能になる。

１０ 撮影レンズ
１２ シャッター
１４ 撮像素子
１６ Ａ／Ｄ変換器
１８ タイミング発生回路
２０ 画像処理回路
２２ メモリ制御回路
２８ 画像表示部
３０ メモリ
３２ 画像圧縮・伸長回路
４０ 露光制御手段
４２ 測距制御手段
４４ ズーム制御手段
５０ システム制御回路
６２ シャッタースイッチＳＷ１
６４ シャッタースイッチＳＷ２

Claims (9)

1. 動画撮影により得られた動画データを、フレーム内で予測して符号化する第１の符号化方式とフレーム間で予測して符号化する第２の符号化方式とを、所定の規則に従い周期的に混在する動画圧縮形式で圧縮する動画圧縮手段と、
   動画撮影中に静止画の撮影を指示する指示手段と、
   静止画を撮影する際に所定の条件に基づいて、画像合成による静止画撮影を行うか否かを判断する判断手段と、
   撮影された連続画像から画像合成して一枚以上の静止画像を作成する画像合成手段と、
   作成した静止画像を静止画圧縮形式で圧縮する静止画像圧縮手段とを備え、
   動画撮影中に静止画撮影の指示を受けた場合に、前記指示を受けたタイミングの近傍で前記第１の符号化方式で動画圧縮されるフレーム画像の前後に動画撮影されたフレーム画像を複数合成して静止画像を生成する合成手段と、を有することを特徴とする画像処理装置。
2. 動画撮影により得られた動画データを、フレーム内で予測して符号化する第１の符号化方式とフレーム間で予測して符号化する第２の符号化方式とを、所定の規則に従い周期的に混在する動画圧縮形式で圧縮する動画圧縮手段と
   動画撮影中に静止画の撮影を指示する指示手段と、
   静止画を撮影する際に所定の条件に基づいて、画像合成による静止画撮影を行うか否かを判断する判断手段と、
   連続して撮影された画像から画像合成して静止画像を作成する画像合成手段と
   作成した静止画像を静止画圧縮形式で圧縮する静止画像圧縮手段とを備え
   動画撮影中に静止画撮影の指示を受けたタイミングの動画像のフレームについて、
   第２の符号化形式で符号化すべきタイミングであっても、
   第１の符号化形式を用いて動画撮影をする事を特徴とする画像処理装置。
3. 動画撮影中に静止画を撮影する撮影モードにおいて
   前記第１の符号化方式で符号化すべきフレームにおいて、撮影条件を変更する事を特徴とする請求項１記載の画像処理装置。
4. 動画撮影中に静止画を撮影する撮影モードにおいて、画像合成処理を行う場合、
   前記第１の符号化方式で符号化すべきフレームで、撮影条件を変更する事を特徴とする請求項３記載の画像処理装置。
5. 動画撮影中に静止画の撮影を指示することが可能な撮影モードにおいて、前記第１の符号化方式で符号化すべきフレームから所定のフレーム分前から第１の符号化方式までの、撮影条件を静止画に対応させて変更することを特徴とする請求項４記載の画像処理装置。
6. 動画撮影中に静止画の撮影を指示することが可能な撮影モードにおいて、静止画撮影が画像合成処理になる可能性がある場合において、
   第１の符号化方式で符号化すべきフレームから所定のフレーム分後のフレームまでの、撮影条件を変更する事を特徴とする請求項４記載の画像処理装置。
7. 所定のフレーム数は静止画像の画像合成枚数と同数であることを特徴とする、請求項５または６記載の画像処理装置。
8. 静止画撮影がダイナミックレンジ拡大のために画像合成処理になる場合において、第１の符号化方式で符号化すべきフレームの露出量を適正とし、それ以外のフレームの露光量を異ならせることを特徴とする請求項５または６記載の画像処理装置。
9. 請求項８において異ならせたフレームは、第２の符号化方式で符号化されたフレームは参照しないことを特徴する画像処理装置。

Images