JP4700557B2

JP4700557B2 - 撮像装置

Info

Publication number: JP4700557B2
Application number: JP2006131772A
Authority: JP
Inventors: 猛士鈴木
Original assignee: Olympus Corp; Olympus Imaging Corp
Current assignee: Olympus Corp; Olympus Imaging Corp
Priority date: 2006-05-10
Filing date: 2006-05-10
Publication date: 2011-06-15
Anticipated expiration: 2026-05-10
Also published as: JP2007306242A

Description

本発明は、動画像に対してフレーム間相関に基づく符号化を行う撮像装置に関する。

動画を撮像するときに、撮像するシーンが切り換わるシーンチェンジが発生することがある。具体的には、撮像装置をパンしたり、ズームしたりするときが、こうしたシーンチェンジが発生するケースとして挙げられる。

このようなシーンチェンジを検出する技術としては、例えば、連続する２つのフレーム間で画素データ毎に差分を求めて、求めた差分の絶対値の総和が所定の閾値を超えたときに、シーンチェンジが発生したと判定する技術が知られている。

ところで、フレーム間相関を利用して動画像を符号化する装置は、従来より広く知られているが、このような符号化装置では、シーンチェンジが発生してフレーム間相関が低下すると、符号化効率が低下して、データ量が多くなったり、あるいはデータ量を維持する場合には画質が劣化したりすることになる。

そこで、シーンチェンジが発生したときに符号化効率が低下して画質が劣化するのを防止する技術が提案されている。

例えば、特開２００１−７８１９６号公報には、動画像を圧縮する際に、シーンチェンジを検出した場合には、時間的に前後するフレーム間で処理するフレーム間予測符号化を行う代わりに、フレーム内で処理するフレーム内符号化を行うようにする技術が記載されている。

そして、このような従来技術におけるフレーム画像の露出時間は、１／３０秒または１／６０秒となっているのが一般的である。
特開２００１−７８１９６号公報

しかしながら、上述したような従来技術を用いた撮像装置であって、例えば焦点距離の長いレンズを備える撮像装置を用いて撮影を行う場合には、上述したような１／６０秒または１／３０秒の露出時間に、手ぶれ等に起因して許容レベル以上の画像ぶれが発生する可能性がある。そして、このような場合には、各フレームの画像が画像ぶれしていることになるために、動画符号化が高精度であるか否かに関わらず、画質の劣化を防止することはできない。

また、上述した特開２００１−７８１９６号公報に記載されているような、フレーム間予測符号化とフレーム内符号化とを併用する符号化方式であっても、上述したような画像ぶれによる画質の劣化を防止することができないとともに、さらにこの符号化方式では、符号化装置および復号化装置が複雑化してしまうことになる。

本発明は上記事情に鑑みてなされたものであり、符号化や復号化を複雑にすることなく、シーンチェンジに起因するフレーム画像の画質劣化を防止することができる撮像装置を提供することを目的としている。

上記の目的を達成するために、第１の発明による撮像装置は、撮像して得られたフレーム画像群でなる動画像に対してフレーム間相関に基づく符号化を行う撮像装置において、上記フレーム画像の露光時間を分割して得られる複数の時分割露光時間で撮像を行うことにより該フレーム画像を構成するべき複数の時分割画像を生成する撮像部と、シーンチェンジが発生したか否かを検出するシーンチェンジ検出部と、上記複数の時分割画像を合成することによりフレーム画像を生成するものであって上記シーンチェンジ検出部によりシーンチェンジが発生したことが検出された場合には該シーンチェンジに起因するフレーム画像の画質劣化を防止するように上記時分割画像を合成してフレーム画像を生成する画像合成部と、上記画像合成部により生成されたフレーム画像をフレーム間相関に基づいて符号化する符号化部と、を具備し、上記画像合成部が、上記シーンチェンジ検出部によりシーンチェンジが発生したことが検出された場合には、一フレーム画像に係る時分割画像群の内の、該シーンチェンジが発生する以前の時分割画像群と、該シーンチェンジが発生した以後の時分割画像群と、の何れか一方のみを合成してフレーム画像を生成することにより、該シーンチェンジに起因するフレーム画像の画質劣化を防止するものである。

さらに、第２の発明による撮像装置は、上記第１の発明による撮像装置において、上記画像合成部が、上記シーンチェンジが発生する以前の時分割画像群と、該シーンチェンジが発生した以後の時分割画像群と、の何れか一方のみを合成したときには、さらに、時分割画像の不足を補う分だけ合成した画像を増幅することにより、フレーム画像を生成するものである。

本発明の撮像装置によれば、符号化や復号化を複雑にすることなく、シーンチェンジに起因するフレーム画像の画質劣化を防止することが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図４は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。

この撮像装置は、例えば、デジタルカメラ機能を備えたデジタルビデオカメラとして構成されたものとなっている。

すなわち、この撮像装置は、図１に示すように、レンズ１と、撮像素子２と、撮像回路３と、Ａ／Ｄ変換器４と、信号処理回路５と、フレームメモリ６と、ＦＩＦＯメモリ７と、オンスクリーン回路８と、ＴＦＴ液晶駆動回路９と、ＴＦＴパネル１０と、バックライトユニット１１と、ビデオ出力回路１２と、ビデオ出力端子１３と、記録バッファ１４と、記録媒体インタフェース（記録媒体Ｉ／Ｆ）１５と、記録媒体１６と、アクチュエータ１７と、アクチュエータ駆動回路１８と、ＥＥＰＲＯＭ１９と、ぶれ検出部２１と、外部データインタフェース（外部データＩ／Ｆ）２２と、キーマトリクス２３と、ＬＣＤ表示回路２４と、ＬＣＤパネル２５と、電池２６と、電源回路２７と、バックアップ電源２８と、電池状態検出回路２９と、第１ＣＰＵ３１と、第２ＣＰＵ３２と、を有して構成されている。

レンズ１は、光学的な被写体像を撮像素子２へ結像するためのものである。

撮像素子２は、レンズ１により結像された光学的な被写体像を光電変換して、電気的な映像信号を出力する撮像部である。なお、撮像素子２は、高速読み出しを行うことができるタイプのものであれば、ＣＣＤ、ＣＭＯＳ、あるいはその他のタイプの撮像素子の何れを用いても構わない。

撮像回路３は、撮像素子２からの出力に各種のアナログ信号処理を行うものである。

Ａ／Ｄ変換器４は、撮像回路３から出力されるアナログの映像信号をデジタルの映像信号に変換するためのものである。

信号処理回路５は、Ａ／Ｄ変換器４から出力された映像信号に各種のデジタル的な信号処理を行うためのものである。

フレームメモリ６は、各種のデータ等を記憶する記憶手段であり、信号処理回路５により処理された映像信号（露光データ）を記憶するための露光データ保持部６ａを有して構成されている。

ＦＩＦＯメモリ７は、撮像して得られた動画像や、静止画撮像時のモニタ画像となるリアルタイム映像などを表示したり出力したりする際にバッファリングを行うためのメモリである。

オンスクリーン回路８は、ＦＩＦＯメモリ７から出力される映像信号に、文字データやその他のオンスクリーンデータを重畳するための回路である。このオンスクリーン回路８により重畳するデータは、第１ＣＰＵ３１から出力されるようになっている。

ＴＦＴ液晶駆動回路９は、オンスクリーン回路８から出力される映像信号に基づき、ＴＦＴパネル１０を制御するものである。

ＴＦＴパネル１０は、カラー表示可能なものであって、ＴＦＴ液晶駆動回路９の制御に基づき、撮像されている動画像、リアルタイム映像、撮影後の静止画像、あるいはこの撮像装置に係る各種の情報等を表示したりするための表示手段である。

バックライトユニット１１は、ＴＦＴパネル１０の背面側に設けられていて、ＴＦＴパネル１０を背面側から照明するためのものである。

ビデオ出力回路１２は、オンスクリーン回路８からの映像信号を、ビデオ出力端子１３を介して外部へ出力するためのものである。

ビデオ出力端子１３は、外部のビデオケーブル等を接続するための接続端子である。

記録バッファ１４は、フレームメモリ６に記憶されている映像信号を、記録媒体１６に記録する際に、バッファリングを行うものである。また、記録バッファ１４は、記録媒体１６から読み出される信号のバッファリングも行うようになっている。

記録媒体インタフェース１５は、記録媒体１６へのデータの記録や、記録媒体１６からのデータの読み出しを制御するためのものである。

記録媒体１６は、画像データやその他の各種データを記録するための不揮発性の記録媒体であり、この撮像装置に対して例えば着脱自在に構成されたものとなっている。

アクチュエータ１７は、レンズ１を駆動して、オートフォーカスを行ったり、あるいは自動ズーム機能が備えられている場合には自動ズームを行ったりするための駆動源である。

アクチュエータ駆動回路１８は、第１ＣＰＵ３１の制御に基づいて、アクチュエータ１７を制御し駆動するものである。

ＥＥＰＲＯＭ１９は、この撮像装置に係る各種のデータや、第１ＣＰＵ３１あるいは第２ＣＰＵ３２により実行される処理プログラム等を保存するための不揮発性の記憶媒体である。

ぶれ検出部２１は、例えばジャイロセンサ等を含んで構成されていて、この撮像装置に生じているヨー方向およびピッチ方向の角速度を検出し、検出した角速度に基づき撮像装置のぶれを検出するためのぶれ検出手段である。

外部データインタフェース２２は、例えばＵＳＢ等で構成されていて、外部の機器とデータの送受信を行うためのインタフェースである。

キーマトリクス２３は、この撮像装置に設けられている各種の操作スイッチや操作ボタン等を含む操作入力手段の総称である。このキーマトリクス２３は、具体例としては、この撮像装置の電源をオンするための電源スイッチや、撮影動作を入力するための撮影ボタン等を含んでいる。そして、このキーマトリクス２３が操作されることにより発生した信号は、第１ＣＰＵ３１に入力されるようになっている。

ＬＣＤ表示回路２４は、第１ＣＰＵ３１の制御に基づき、ＬＣＤパネル２５を制御して各種の表示を行わせるための回路である。

ＬＣＤパネル２５は、例えばモノクロＬＣＤを含んで構成されていて、この撮像装置に設定されている撮影モード等の動作モードや、記録媒体１６に記録された映像の録画時間などの情報を表示するための表示手段である。

電池２６は、この撮像装置のメイン電源である。

バックアップ電源２８は、この撮像装置における日付表示用の電源を供給するための電源である。

電源回路２７は、第１ＣＰＵ３１の指令に基づいて、電池２６およびバックアップ電源２８の電源を、この撮像装置内の各回路へ供給する制御を行う回路である。

電池状態検出回路２９は、電池２６の電圧等を検出して、電池２６の電池残量等を算出し、その結果を第１ＣＰＵ３１へ出力するものである。

第１ＣＰＵ３１は、メインＣＰＵであって、この撮像装置の各回路を統括的に制御するための制御手段である。この第１ＣＰＵ３１は、この撮像装置のシステムをコントロールするためのシステムコントロール部３１ａを備えており、このシステムコントロール部３１ａ内には、分割露光制御部３１ｂ、ぶれ補正制御部３１ｃ、Ｉフレーム決定部３１ｄが備えられている。

ここに、分割露光制御部３１ｂは、測光データ等に基づきフレーム画像の露光時間（シャッタ時間）を演算し、さらにこの露光時間を複数に時分割して、複数枚の時分割画像を露光するように制御するものである。

また、ぶれ補正制御部３１ｃは、ぶれ検出部２１からの出力に基づいて、上述した分割露光制御部３１ｂにより制御されて撮影された複数枚の時分割画像の位置関係（ぶれ状態）を把握し、第２ＣＰＵ３２の後述する分割露光合成部３２ａにより画像加算を行う際のぶれ補正量を制御するぶれ補正手段である。

さらに、Ｉフレーム決定部３１ｄは、フレーム内符号化を行う対象のフレーム（Ｉフレーム（Ｉピクチャのフレーム））を決定する基準フレーム決定部である。ここに、Ｉフレームは、他のフレーム（Ｐフレーム（Ｐピクチャのフレーム）やＢフレーム（Ｂピクチャのフレーム））から、フレーム間相関の対象として参照される基準フレームとなっている。

こうして、第１ＣＰＵ３１は主に制御を行い、画像データを扱う処理に関しては主に第２ＣＰＵ３２が行うようになっている。

すなわち、第２ＣＰＵ３２は、フレームメモリ６に記憶されている画像データを処理するものである。この第２ＣＰＵ３２は、分割露光合成部３２ａと、ＭＰＥＧ画像圧縮伸張部３２ｂと、静止画像圧縮伸張部３２ｃと、シーンチェンジ検出部３２ｄと、記録媒体アクセス部３２ｅと、を有して構成されている。

分割露光合成部３２ａは、ぶれ補正制御部３１ｃの制御に基づき必要に応じて各時分割画像の位置合わせ（ぶれ補正）を行った後に、分割露光制御部３１ｂの制御に基づき各時分割画像を加算して、通常の１フレームの露光画像（撮像素子２により通常の１フレームの露光を行って得られる画像に相当する画像）を生成する画像合成部であり、ぶれ補正手段となっている。

ＭＰＥＧ画像圧縮伸張部３２ｂは、分割露光合成部３２ａにより生成された各フレーム画像をＭＰＥＧ圧縮したり、記録媒体１６に記録されているＭＰＥＧ圧縮された画像を伸張したりする処理を行う符号化部である。

静止画像圧縮伸張部３２ｃは、フレームメモリ６に記憶されている画像データを、例えばＪＰＥＧ圧縮等したり、あるいは記録媒体１６から読み出された圧縮されている画像データを伸張したりする処理を行うものである。この撮像装置は、上述したようにデジタルカメラとしての機能も備えているために、この静止画像圧縮伸張部３２ｃが設けられている。

シーンチェンジ検出部３２ｄは、時分割露光により得られた各露光画像の内の、時間的に連続する露光画像同士の相関を算出することにより、シーンチェンジが発生したか否かを検出するものである。なお、ここでは相関に基づきシーンチェンジが発生したか否かを検出するようにしているが、その他の技術を用いてシーンチェンジが発生したか否かを検出するようにしても構わない。また、このシーンチェンジ検出部３２ｄにより、画像ぶれが発生したか否かを検出することも可能であり、このときには、シーンチェンジ検出部３２ｄはぶれ検出部（ぶれ検出手段）を兼ねたものとなる。

記録媒体アクセス部３２ｅは、記録媒体インタフェース１５による記録媒体１６のアクセスを制御するためのものである。

次に、図２は、この撮像装置により時分割画像からフレーム画像を生成するときの画像合成の原理を説明するための図である。

まず、図２（Ａ）は、通常の撮影により得られる各フレームデータＦ１〜Ｆ３を示している。これらのフレームデータＦ１〜Ｆ３は、例えば１／３０秒の時間間隔（フレームレート）で得られるものとなっている。

これに対して、図２（Ｂ）は、時分割露光により得られる各時分割画像データを示している。ここに、時分割画像データＤ１−１〜Ｄ１−３は、フレームデータＦ１の露光時間を分割露光制御部３１ｂの制御に基づき３つに分割し、分割された各露光時間でそれぞれ露光して得られるデータである。同様に、時分割画像データＤ２−１〜Ｄ２−３は、フレームデータＦ２の露光時間を３つに分割して、分割された各露光時間でそれぞれ露光して得られるデータ、時分割画像データＤ３−１〜Ｄ３−３は、フレームデータＦ３の露光時間を３つに分割して、分割された各露光時間でそれぞれ露光して得られるデータである。なお、ここでは１つのフレームを３つに時分割して露光を行っているが、もちろんこれに限るものではなく、２以上の任意の分割数で時分割して露光を行うことも可能である。

そして、このように時分割して得られた時分割画像データＤ１−１〜Ｄ１−３，Ｄ２−１〜Ｄ２−３，Ｄ３−１〜Ｄ３−３を、分割露光制御部３１ｂの制御に基づいて分割露光合成部３２ａがそれぞれ合成する（加算する）ことにより、図２（Ｃ）に示すように、各フレームデータｆ１，ｆ２，ｆ３を生成するようになっている。すなわち、時分割画像データＤ１−１〜Ｄ１−３を合成することによりフレームデータｆ１が、時分割画像データＤ２−１〜Ｄ２−３を合成することによりフレームデータｆ２が、時分割画像データＤ３−１〜Ｄ３−３を合成することによりフレームデータｆ３が、それぞれ生成される。こうして、通常の露光を行って得られるフレームデータＦ１〜Ｆ３に各相当するデータとして、フレームデータｆ１〜ｆ３が生成される。なお、このフレームデータｆ１〜ｆ３の出力レートは、フレームデータＦ１〜Ｆ３と同じであり、例えば１／３０秒である。

このように生成されたフレームデータｆ１〜ｆ３は、ＭＰＥＧ画像圧縮伸張部３２ｂにより、フレーム間相関に基づき圧縮される。

ところで、撮影を行っているときに、シーンチェンジが発生することがある。例えば、図２に示す時刻Ｔ１に、シーンチェンジが発生したものとする。

このシーンチェンジの発生は、シーンチェンジ検出部３２ｄが、時分割画像データＤ１−１と、時分割画像データＤ１−２と、の相関性（例えば、画素毎の差分絶対値の総和値）を算出し、算出された相関性が所定値よりも低い相関性を示すものである場合（総和値が所定値よりも大きい場合）に検出される。

このようなシーンチェンジが発生したときに、時分割画像データＤ１−１〜Ｄ１−３を合成してフレームデータｆ１を生成すると、異なるシーンの画像を合成することになり、高画質の画像を得ることができなくなる。そこで、本実施形態においては、シーンチェンジが発生する以前の時分割画像群のみを用いてフレームデータを生成するようにしている。具体的には、フレームデータｆ１を生成するのに、時分割画像データＤ１−１のみを用い、時分割画像データＤ１−２，Ｄ１−３は用いないようにすることになる。このときには、露光量が不足することになるために、時分割画像データＤ１−１を３倍に増幅したものを、フレームデータｆ１とする。

なお、ここでは、シーンチェンジが発生する以前の時分割画像群のみを用いてフレームデータを生成するようにしているが、これに限らず、シーンチェンジが発生した以後の時分割画像群のみを用いてフレームデータを生成するようにしても構わない。このときには、フレームデータｆ１を生成するのに、時分割画像データＤ１−２，Ｄ１−３を用い、時分割画像データＤ１−１は用いないことになる。さらに、１つのフレームに係る時分割画像の内の、シーンチェンジが発生する以前の枚数と、シーンチェンジが発生した以後の枚数とを比較して、枚数が多い方の時分割画像群を用いてフレームデータを生成するようにしても良い。

そして、このように生成されたフレームデータｆ１が他のフレームから参照されるフレームとなると、画質の劣化が他のフレームにも及ぶことになるために、Ｉフレーム決定部３１ｄは、フレームデータｆ１をＩフレームとして設定しないようにするとともに、次の時分割画像データＤ２−１〜Ｄ２−３を合成して得られるフレームデータｆ２をＩフレームとして設定するようになっている。

同様に、例えば、図示の時刻Ｔ２にシーンチェンジが発生した場合には、フレームデータｆ２を生成するのに、時分割画像データＤ２−１，Ｄ２−２を用い、時分割画像データＤ２−３は用いないことになる。そして、露光量の不足を補うために、時分割画像データＤ２−１，Ｄ２−２を合成して得られる画像データを１．５倍に増幅して、フレームデータｆ２を生成する。

このときにはさらに、フレームデータｆ２はＩフレームとしては設定されず、次の時分割画像データＤ３−１〜Ｄ３−３を合成して得られるフレームデータｆ３が、Ｉフレームとして設定される。

次に、図３は、撮像装置による撮影動作の処理を示すフローチャートである。

キーマトリクス２３に含まれる撮影ボタンが操作されると、この撮影動作が開始されるようになっている。

この処理を開始すると、まず、ＡＥ動作を行って、これから撮像しようとしているフレームの露光時間を算出する（ステップＳ１）。

次に、分割露光制御部３１ｂが、この露光時間のフレーム画像を最終的に得るために行う時分割露光の回数と、各時分割露光の露光時間と、を算出する（ステップＳ２）。

このステップＳ２における処理としては、レンズ１の焦点距離に依存する手ぶれ限界秒時以下の時分割露光時間を算出し、ステップＳ１で算出した露光時間をこの時分割露光時間で割ることにより時分割露光の回数を算出することが、一例として挙げられる。従って、ステップＳ１において算出された露光時間が１／１５秒であって、手ぶれ限界秒時の露光時間が１／６０秒として算出された場合を例にとると、時分割露光回数は４回となる。

続いて、設定された時分割露光時間により、時分割露光を行い（ステップＳ３）、１回の時分割露光が終了する毎に時分割露光データを読み出す（ステップＳ４）。

そして、今回の時分割露光が、１フレームを分割する複数回の時分割露光の内の、第１回目の時分割露光であるか否かを判定する（ステップＳ５）。

ここで、第１回目の時分割露光でないと判定された場合には、シーンチェンジ検出部３２ｄが、前回の時分割画像との画素毎の差分を計算し、さらに計算した差分の絶対値の総和を算出し、この総和が所定値よりも大きいか否かに基づいて、シーンチェンジ検出を行う（ステップＳ６）。

そして、システムコントロール部３１ａが、シーンチェンジ検出部３２ｄによるシーンチェンジ検出の結果に応じて、処理の分岐を行う（ステップＳ７）。

ここで、シーンチェンジが発生していないと判定された場合には、前回までの加算された時分割露光データに、今回の時分割露光データをさらに加算する（ステップＳ８）。

上述したステップＳ５において第１回目の時分割露光であると判定された場合、または上述したステップＳ８の処理が終了した場合には、ステップＳ２で算出された回数の時分割露光が終了したか否かを判定する（ステップＳ９）。

ここで、所定回数の時分割露光がまだ終了していない場合には、ステップＳ３へ戻って、上述したような処理を繰り返して行う。

また、上述したステップＳ７において、シーンチェンジが発生したと判定された場合には、シーンチェンジフラグをオンにしてから（ステップＳ１０）、前回までの加算された時分割露光データの不足露光分をデジタル処理により増幅して補正する（ステップＳ１１）。

このステップＳ１１の処理が終了するか、または、上述したステップＳ９において所定回数の時分割露光が終了したと判定された場合には、得られたフレーム画像を後で図４を参照して説明するようにＭＰＥＧ圧縮処理する（ステップＳ１２）。

そして、撮影ボタンの操作状態が変化して撮影終了になったか否かを判定し（ステップＳ１３）、撮影終了でないと判定された場合にはステップＳ１へ戻って、次のフレームについて上述したような処理を行う。

こうして、ステップＳ１３において、撮影終了であると判定された場合には、記録媒体アクセス部３２ｅの制御により、記録媒体インタフェース１５を介して記録媒体１６へ画像の記録を行い（ステップＳ１４）、この一連の撮影動作を終了する。

次に、図４は、図３のステップＳ１２におけるＭＰＥＧ圧縮処理の詳細を示すフローチャートである。

この処理を開始すると、新しいＧＯＰ（Group of Pictures）フラグがオンになっているか否かを判定する（ステップＳ２１）。ここに、ＧＯＰは、上述したＩフレームを含むグループであって、このＩフレームを参照して得られるフレームのグループのことである。そして、Ｉフレーム決定部３１ｄは、新たなＧＯＰを開始するときには、この新しいＧＯＰフラグをオンにするようになっている。

ここで、新しいＧＯＰ（Group of Pictures）フラグがオンになっていると判定された場合には、新しいＧＯＰとしてフレームを登録し、新しいＧＯＰフラグをクリアする（ステップＳ２２）。

一方、ステップＳ２１において、新しいＧＯＰ（Group of Pictures）フラグがオンになっていないと判定された場合には、既存のＧＯＰとしてフレームを登録する（ステップＳ２３）。

こうして、ステップＳ２２またはステップＳ２３の処理が終了したら、次に、シーンチェンジフラグがオンになっているか否かを判定する（ステップＳ２４）。

ここで、シーンチェンジフラグがオンになっていると判定された場合には、Ｉフレーム決定部３１ｄは、このフレームデータまででＧＯＰを終了するように登録し、次のフレームから新しいＧＯＰとなるように、新しいＧＯＰフラグをオンする（ステップＳ２５）。

そして、Ｉフレーム決定部３１ｄは、シーンチェンジフラグをクリアする（ステップＳ２６）。

このステップＳ２６が終了するか、またはステップＳ２４においてシーンチェンジフラグがオフである場合には、登録されたＧＯＰ構成に従ってフレームを処理し、圧縮データを生成して（ステップＳ２７）、図３に示したような処理に復帰する。

このような実施形態１によれば、１つのフレームを複数に時分割して撮影を行い、時分割撮影の途中でシーンチェンジが発生した場合には、シーンチェンジが発生する以前の時分割画像群、またはシーンチェンジが発生した以後の時分割画像群のみからフレーム画像を合成するようにしたために、異なるシーンの画像が合成されて画質が劣化することはなくなり、良好な画質のフレーム画像を得ることが可能となる。

このとき、露光時間が不足する分を、デジタル的に増幅するようにしているために、生成されるフレーム画像が暗くなることはない。

そして、シーンチェンジが発生したフレームを、他のフレームからフレーム間相関の対象として参照される基準フレームにはしないようにしたために、シーンチェンジが発生したフレーム画像の画質が他のフレームに影響を及ぼすのを防止することができ、他のフレーム画像の画質を高画質に保持することが可能となる。

［実施形態２］
図５は本発明の実施形態２を示したものであり、撮像装置による撮影動作の処理を示すフローチャートである。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施形態は、複数の時分割画像を合成してフレーム画像を生成する際に、時分割画像同士の画像ぶれを補正してから合成するようにしたものとなっている。なお、本実施形態における撮像装置の構成は、上述した実施形態１と同様である。

すなわち、図２に示したように、例えば時刻Ｔ１にシーンチェンジが発生したものとする。このときに、ぶれ補正制御部３１ｃは、ぶれ検出部２１からの出力に基づき、発生したシーンチェンジがぶれを補正可能なシーンチェンジであるか否かを判定する。

そして、ぶれを補正可能なシーンチェンジであると判定した場合には、上述とは異なる処理を行うようになっている。

つまり、ぶれを補正可能なシーンチェンジであると判定した場合には、ぶれ補正制御部３１ｃの制御に基づいて、分割露光合成部３２ａが、時分割画像データＤ１−１に対して時分割画像データＤ１−２および時分割画像データＤ１−３をそれぞれぶれ補正した後に合成し、フレームデータを生成する。ここに、ぶれ補正は、ぶれ検出部２１により検出されたぶれ量に基づいて、該ぶれ量を補正する量だけ加算する画素同士の位置をずらすことにより行われる。

その後、Ｉフレーム決定部３１ｄが、次の時分割画像データＤ２−１〜Ｄ２−３を合成して得られるフレームデータｆ２をＩフレームとして設定するのは、上述と同様である。

このような本実施形態の撮像装置の作用について、図５を参照して説明する。

この処理を開始して、ステップＳ１〜Ｓ７までの処理を行い、ステップＳ７においてシーンチェンジが発生したと判定されて、ステップＳ１０の処理が行われたものとする。

すると、ぶれ補正制御部３１ｃが、ぶれ検出部２１の出力に基づいて、シーンチェンジをぶれとして検出したか否かを判定する（ステップＳ３１）。

ここで、ぶれとして検出された場合には、ぶれ補正制御部３１ｃが、検出されたぶれが補正可能なぶれであるか否かをさらに判定する（ステップＳ３２）。

そして、補正可能なぶれであると判定された場合には、ぶれを補正したデータ（すなわち、基準となる時分割画像の画素位置に対して現在の時分割画像の画素位置がずれた量および方向を示すベクトルの逆ベクトルを、現在の時分割画像の位置ベクトルに加算したデータ）を生成し、上述したステップＳ８の処理へ移行する。

また、ステップＳ３１において、シーンチェンジをぶれとして検出していないと判定された場合、あるいは、ステップＳ３２において、検出したぶれが補正可能でないと判定された場合には、上述したステップＳ１１へ行って、上述したような処理を行う。

なお、その他の処理については、上述した実施形態１の図３に示したものと同様である。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、ぶれ補正可能な場合には、時分割画像同士の画像ぶれを補正してから合成してフレーム画像を生成するようにしたために、ぶれがない高画質のフレーム画像となる。

そして、ぶれが発生したフレーム画像は、他のフレームからフレーム間相関の対象として参照される基準フレームにはしないようにしたために、ぶれが発生したフレーム画像の画質が他のフレームに影響を及ぼすのを防止することができ、他のフレーム画像の画質を高画質に保持することが可能となる。

なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明は、動画像に対してフレーム間相関に基づく符号化を行う撮像装置に好適に利用することができる。

本発明の実施形態１における撮像装置の構成を示すブロック図。上記実施形態１の撮像装置により時分割画像からフレーム画像を生成するときの画像合成の原理を説明するための図。上記実施形態１の撮像装置による撮影動作の処理を示すフローチャート。上記図３のステップＳ１２におけるＭＰＥＧ圧縮処理の詳細を示すフローチャート。本発明の実施形態２の撮像装置による撮影動作の処理を示すフローチャート。

符号の説明

１…レンズ
２…撮像素子（撮像部）
３…撮像回路
４…Ａ／Ｄ変換器
５…信号処理回路
６…フレームメモリ
６ａ…露光データ保持部
７…ＦＩＦＯメモリ
８…オンスクリーン回路
９…ＴＦＴ液晶駆動回路
１０…ＴＦＴパネル
１１…バックライトユニット
１２…ビデオ出力回路
１３…ビデオ出力端子
１４…記録バッファ
１５…記録媒体インタフェース（記録媒体Ｉ／Ｆ）
１６…記録媒体
１７…アクチュエータ
１８…アクチュエータ駆動回路
１９…ＥＥＰＲＯＭ
２１…ぶれ検出部
２２…外部データインタフェース（外部データＩ／Ｆ）
２３…キーマトリクス
２４…ＬＣＤ表示回路
２５…ＬＣＤパネル
２６…電池
２７…電源回路
２８…バックアップ電源
２９…電池状態検出回路
３１…第１ＣＰＵ
３１ａ…システムコントロール部
３１ｂ…分割露光制御部
３１ｃ…ぶれ補正制御部
３１ｄ…Ｉフレーム決定部（基準フレーム決定部）
３２…第２ＣＰＵ
３２ａ…分割露光合成部（画像合成部）
３２ｂ…ＭＰＥＧ画像圧縮伸張部（符号化部）
３２ｃ…静止画像圧縮伸張部
３２ｄ…シーンチェンジ検出部
３２ｅ…記録媒体アクセス部

Claims

撮像して得られたフレーム画像群でなる動画像に対して、フレーム間相関に基づく符号化を行う撮像装置において、
上記フレーム画像の露光時間を分割して得られる複数の時分割露光時間で撮像を行うことにより、該フレーム画像を構成するべき複数の時分割画像を生成する撮像部と、
シーンチェンジが発生したか否かを検出するシーンチェンジ検出部と、
上記複数の時分割画像を合成することによりフレーム画像を生成するものであって、上記シーンチェンジ検出部によりシーンチェンジが発生したことが検出された場合には、該シーンチェンジに起因するフレーム画像の画質劣化を防止するように上記時分割画像を合成してフレーム画像を生成する画像合成部と、
上記画像合成部により生成されたフレーム画像をフレーム間相関に基づいて符号化する符号化部と、
を具備し、
上記画像合成部は、上記シーンチェンジ検出部によりシーンチェンジが発生したことが検出された場合には、一フレーム画像に係る時分割画像群の内の、該シーンチェンジが発生する以前の時分割画像群と、該シーンチェンジが発生した以後の時分割画像群と、の何れか一方のみを合成してフレーム画像を生成することにより、該シーンチェンジに起因するフレーム画像の画質劣化を防止するものであることを特徴とする撮像装置。
上記画像合成部は、上記シーンチェンジが発生する以前の時分割画像群と、該シーンチェンジが発生した以後の時分割画像群と、の何れか一方のみを合成したときには、さらに、時分割画像の不足を補う分だけ合成した画像を増幅することにより、フレーム画像を生成するものであることを特徴とする請求項１に記載の撮像装置。