JP4136680B2

JP4136680B2 - Imaging apparatus, imaging method, computer program, and recording medium

Info

Publication number: JP4136680B2
Application number: JP2003016131A
Authority: JP
Inventors: 幸弘安達
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-01-24
Filing date: 2003-01-24
Publication date: 2008-08-20
Anticipated expiration: 2023-01-24
Also published as: JP2004229074A

Description

【０００１】
【発明の属する技術分野】
本発明は撮像装置、撮像方法、コンピュータプログラム及び記録媒体に関し、特に、撮像画像を記録媒体に圧縮して記録するために用いて好適なものである。
【０００２】
【従来の技術】
図６及び図７は、従来の撮像装置の構成例を示したブロック図である。
図６に示すような従来の撮像装置は、撮像して得られた動画像データに対して小規模の圧縮処理を単純に施して圧縮動画像データを生成し、これを単位画像あたりの記録割り当て容量が固定されている記録メディア（例えば、テープ等）に出力するようにしている。
【０００３】
また、図７に示すような従来の撮像装置は、上記圧縮動画像データを、データの記録容量を可変にすることができる記録メディア（例えば、ディスク等）に出力するようにしている。その際、図８に示すように、撮像動画像データにおける動画像画面は、１画面ごとに複数の小領域に分割されて、いくつかのブロックより構成されるようになされる。
【０００４】
この場合、撮像装置は、図８に示すように単位ブロック８０３あたりの動画像画面の動き、すなわちフレーム間の動きベクトル８０２を算出するようにしている。図８に示した動きベクトル８０２は、被写体８０１が動画像画面の向かって左方向から右方向に移動しているときの動きベクトルの一例を示したものである。ここでは、被写体８０１と動画像画面上の各単位ブロック８０３との重なり部分が所定の面積以上となる単位ブロック８０３に対してのみ、上記動きベクトル８０２が発生するようになされた様子をあらわしている。
【０００５】
ここで、動画像画面に対して、放射状方向（奥行き方向）に動画像画面を構成するブロックの全てが連続的に動くとき、撮像装置はズーミング動作がなされていると判断する。また、上記ブロックの全てが動画像画面の左右どちらかの方向に対して動くとき、或いは、上記ブロックの全てが動画像画面の上下どちらかの方向に対して動くとき、撮像装置はそれぞれ、パンニング動作或いはチルティング動作がなされていると判断する。
【０００６】
撮像装置は、上記ズーミング、パンニング、またはチルティングの何れかの動作を撮影者が行なっていると判断した場合、圧縮画像データの解像度または画素数等の設定を変えることにより、そのときの撮像画質を低下するようにしている。このような撮像画質の低下を図ることにより、動画像データのファイルサイズを縮小させて、記録メディアへ記録することができるデータ総量の増大を行なっている。
【０００７】
図９は、上記図７に示した従来の撮像装置におけるマイクロプロセッサ９の動作手順の一例を説明するためのフローチャートである。マイクロプロセッサ９は、ステップＳ９００で動きベクトルの情報を読み出し、ステップＳ９０１でズーミング動作中であるか、またはステップＳ９０２でパンニング動作（動画像画面の左右方向への画角変化をもたらす動作）或いはチルティング動作（動画像画面の上下方向への画角変化をもたらす動作）が連続的に行なわれているか否かを判断する。その結果、撮影者が上記撮像装置を用いてズーミング動作、パンニング動作、またはチルティング動作の何れかの動作を行なっていると判断した場合、マイクロプロセッサ９は、このときの解像度を低下するように制御している（ステップＳ９０３）。
【０００８】
【発明が解決しようとする課題】
一般的に、俊敏に動いている物体に対して、人間の目はその動きを正確に追従することができない。このため、撮像装置によって俊敏に動く物体の動画像の記録が行なわれた場合でも、その再生画像において、人間は記録されている物体の動きを詳細に確認することができないことが経験的に知られている。この場合、人間の目は、その動画像に対して解像度が低下してしまう状態になっている。
【０００９】
したがって、撮影者が撮像装置を動かして、ズーミング動作、パンニング動作、またはチルティング動作などを連続的に行っている時には、撮像している動画像の解像度等を低下させて画質を落としても、その画質の悪さが問題となってしまうようなことはない。
【００１０】
また、上記画質の悪さの問題が生じないばかりか、動画像の解像度が低下することによって記録メディアに記録する際の動画像ファイルのサイズが小さくなり、記録メディアの記録容量が限られている場合であっても、動画像データを記録することが可能な時間を延長することができるという利点が得られる。
【００１１】
しかしながら、図６に示したような従来の撮像装置においては、上述したような撮影者の撮像動作（ズーミング動作等）に応じて、解像度を調整するような処理が行なわれるようになっていないという問題があった。
【００１２】
すなわち、撮像信号、特に、動画像の撮像信号を記録するための記録メディアに記録テープを用いることを前提にするような従来の記録フォーマットでは、記録メディア（記録テープ）に割り振られた単位画像（単位ブロック）あたりのデータ記録容量は固定されてしまっていた。
【００１３】
そのため、たとえ上述したような撮像動作に応じて解像度を調整するような処理がなされた場合でも、記録テープに記録できるデータ容量、すなわち記録メディアに記録される動画像データを生成したときの総撮像時間は一定であって、解像度を調整するための処理が行われていない場合の総撮像時間と同じであった。したがって、記録テープに記録する際のデータ容量の縮小、すなわち記録テープに記録される動画像データを生成するために撮像することが可能な総撮像時間をさらに拡大することを、見込むことができないという問題があった。
【００１４】
また図７に示したような従来の撮像装置では、動画像信号より抽出される動きベクトルによって、ズーミング動作、パンニング動作、またはチルティング動作と、被写体をクローズアップするときの撮影者の動作等とを明確に区別することが困難であるという問題があった。
【００１５】
このため、撮像装置における防振機能を実現するための動き検出信号と上記動きベクトルとを兼用することができず、撮像装置本体の移動を検出するための検出センサーが別途必要となったり、撮像装置の制御が複雑になったりして、製品のコストアップを招いてしまうという問題があった。
【００１６】
そこで、本発明は上述の問題点にかんがみ、撮像装置のコストアップをしたり、撮像した動画像の画質を大幅に低下させたりすることなく、圧縮動画像データを記録メディアに記録することが可能な時間を延長できるようにすることを目的とする。
【００１７】
【課題を解決するための手段】
本発明の撮像装置は、被写体撮像時の撮像部のパンニングまたはチルティングによる移動を検出する撮像動作検出手段と、上記被写体を撮像して生成した撮像画像を複数の周波数帯域の成分に分解して圧縮符号化する圧縮符号化手段と、上記撮像動作検出手段により上記撮像部の移動が検出された場合、上記移動の方向が横方向であるときには、上記撮影画像から分解される複数の周波数帯域成分のうち、垂直方向の高周波数帯域成分を削減し、上記移動の方向が縦方向であるときには、上記撮影画像から分解される複数の周波数帯域成分のうち、水平方向の高周波数帯域成分を削減する画質変更手段とを有することを特徴とする。
また、本発明の撮像装置他の特徴とするところは、被写体撮像時の撮像部のズーミング動作を検出する撮像動作検出手段と、上記被写体を撮像して生成した撮像画像を複数の周波数帯域の成分に分解して圧縮符号化する圧縮符号化手段と、上記撮像動作検出手段により上記ズーミング動作が検出された場合、上記撮影画像から分解される複数の周波数帯域成分のうち、高周波数帯域成分を削減する画質変更手段とを有することを特徴とする。
【００１８】
本発明の撮像方法は、被写体撮像時の撮像部のパンニングまたはチルティングによる移動を検出する撮像動作検出手順と、上記被写体を撮像して生成した撮像画像を複数の周波数帯域の成分に分解して圧縮符号化する圧縮符号化手順と、上記撮像動作検出手順により上記撮像部の移動が検出された場合、上記移動の方向が横方向であるときには、上記撮影画像から分解される複数の周波数帯域成分のうち、垂直方向の高周波数帯域成分を削減し、上記移動の方向が縦方向であるときには、上記撮影画像から分解される複数の周波数帯域成分のうち、水平方向の高周波数帯域成分を削減する画質変更手順とを有することを特徴とする。
また、本発明の撮像方法の他の特徴とするところは、被写体撮像時の撮像部のズーミング動作を検出する撮像動作検出手順と、上記被写体を撮像して生成した撮像画像を複数の周波数帯域の成分に分解して圧縮符号化する圧縮符号化手順と、上記撮像動作検出手順により上記ズーミング動作が検出された場合、上記撮影画像から分解される複数の周波数帯域成分のうち、高周波数帯域成分を削減する画質変更手順とを有することを特徴とする。
【００１９】
本発明のコンピュータプログラムは、被写体撮像時の撮像部のパンニングまたはチルティングによる移動を検出する撮像動作検出手順と、上記被写体を撮像して生成した撮像画像を複数の周波数帯域の成分に分解して圧縮符号化する圧縮符号化手順と、上記撮像動作検出手順により上記撮像部の移動が検出された場合、上記移動の方向が横方向であるときには、上記撮影画像から分解される複数の周波数帯域成分のうち、垂直方向の高周波数帯域成分を削減し、上記移動の方向が縦方向であるときには、上記撮影画像から分解される複数の周波数帯域成分のうち、水平方向の高周波数帯域成分を削減する画質変更手順とをコンピュータに実行させることを特徴とする。
また、本発明のコンピュータプログラムの他の特徴とするところは、被写体撮像時の撮像部のズーミング動作を検出する撮像動作検出手順と、上記被写体を撮像して生成した撮像画像を複数の周波数帯域の成分に分解して圧縮符号化する圧縮符号化手順と、上記撮像動作検出手順により上記ズーミング動作が検出された場合、上記撮影画像から分解される複数の周波数帯域成分のうち、高周波数帯域成分を削減する画質変更手順とをコンピュータに実行させることを特徴とする。
【００２０】
本発明の記録媒体は、上記記載のコンピュータプログラムを記録したことを特徴としている。
【００２１】
本発明は上記技術手段を有するので、特殊な構成または複雑な構成の回路等を追加することなく、現在の撮像装置で一般的に備わっているセンサー等を使用して、ズーミング動作、パンニング動作、及びチルティング動作の検出を行って撮像画像データを周波数帯域ごとにレベル制御（画質の変更）をし、圧縮動画像データを記録メディアに記録することができる時間を延長することが可能となる。
【００２２】
【発明の実施の形態】
以下、図面を参照しながら、本発明の撮像装置の実施形態について説明する。図１は、本実施の形態における撮像装置１００の概略構成を示す構成図である。
【００２３】
図１に示すように、本実施の形態の撮像装置１００は、被写体１を光学像としてとらえるためのズームレンズ２、上記光学像を電気信号に変換する撮像素子４、各種信号処理を施すための信号処理部５、画像情報を圧縮するための画像情報圧縮部６、ズームレンズ２のレンズ位置を検出するためのズーム位置センサー３、ズームレンズ２の焦点距離を検出するためのズーミング検出部８、マイクロプロセッサ９、撮像装置１００本体の移動を検出するためのジャイロセンサー１１、及び撮像状態を検出するためのパンニング・チルティング検出部１２を備えた構成になっている。
【００２４】
先ず、被写体１の反射光はズームレンズ２で受光される。ズームレンズ２は、被写体１を光学像としてとらえて撮像素子４上に結像する。撮像素子４は、ズームレンズ２によって結像された２次元光学像を電気信号に変換して信号処理部５へ出力する。
【００２５】
信号処理部５は、撮像素子４より入力された電気信号に対して、所定の信号処理及び画像処理（例えば、色分離、ホワイトバランス、ＡＥ（自動露出補正）、γ処理など）を施して、これを画像情報圧縮部６に出力する。
【００２６】
画像情報圧縮部６では、信号処理部５より入力された動画像情報（以下、動画像データという）を圧縮して、最終的な撮像信号（動画像データ）７を出力する。本実施の形態の撮像装置１００では、上記動画像データを圧縮するための圧縮アルゴリズムとして、例えば、ＭＪＰＥＧ２０００（以下、ＭＪ２Ｋと称する）を用いることとして説明する。
【００２７】
上記圧縮アルゴリズムのＭＪ２Ｋは、静止画像データを圧縮するための圧縮アルゴリズムであるＪＰＥＧ２０００を、動画像データの圧縮に対して適用できるようにしたものである。上記圧縮アルゴリズムＭＪ２Ｋは、動画像データの各１画面それぞれに対して同様の圧縮処理を行なうようになされている。
以下、画像情報圧縮部６における動画像データの圧縮方法について説明する。
【００２８】
図２は、図１に示した撮像装置１００における画像情報圧縮部６に含まれるＪＰＥＧ２０００符号化器（以下、符号化器２００と称する）の全体構成を示すブロック図である。
図２に示すように、符号化器２００は、コンポーネント変換部２０１、タイル分割部２０２、離散ウェーブレット変換部２０３、量子化部２０４、エントロピ符号化部２０５、及び符号列形成部２０６等により構成されている。
【００２９】
このように構成された符号化器２００に、図１に示した信号処理部５において所定の信号処理等が施された動画像データが入力されると、最初に、コンポーネント変換部２０１において、上記入力された動画像データに対して色空間変換処理を施すとともに、変換した動画像データに対して、各色成分ごとに所定の動画像データを間引きするような処理を必要に応じて行なう。そして、上記所定の処理が施された後、これをタイル分割部２０２に出力する。
【００３０】
なお、動画像データがモノクログレースケールの画像データである場合、コンポーネント変換部２０１は上記動画像データに対して上述した色空間変換処理等を行なわないようにしている。また、後述する符号化器２００における各動作は、上述したコンポーネント変換部２０１により色空間変換処理されて得られる動画像データに対して、その各色成分毎に行なわれるものとする。
【００３１】
タイル分割部２０２は、コンポーネント変換部２０１より動画像データが入力されると、図３に示すように、上記動画像データの１画面を、所定の大きさの矩形タイル領域に分割して離散ウェーブレット変換部２０３に出力する。
【００３２】
この矩形タイル領域の大きさは任意のサイズに設定できるが、最大サイズとして各色成分それぞれの動画像データ全体の大きさまで設定することができるようになっている。なお、１つの矩形タイル領域が動画像データ全体の大きさになるように設定される場合（最大サイズに設定される場合）、タイル分割が実質的に行われないことになる。
【００３３】
なお、後述する離散ウェーブレット変換部２０３、量子化部２０４、エントロピ符号化部２０５、及び符号列形成部２０６における各動作は、タイル分割部２０２により分割して得られた各色成分の矩形タイル領域毎に行われるものとする。
【００３４】
離散ウェーブレット変換部２０３は、タイル分割部２０２より入力された各矩形タイル領域の動画像データに対して、２次元の離散ウェーブレット変換処理を施して周波数帯域ごとに分解し、上記分解したそれぞれの周波数帯域に属する変換係数群（以降、サブバンドと称する）を複数出力する。
【００３５】
図３に、離散ウェーブレット変換部２０３により出力されるサブバンドの全体構成を示す。
図３に示す第１のサブバンド（ＨＨ）に含まれる動画像データは、垂直方向及び水平方向ともに高周波数帯域の成分を有している。また、第２のサブバンド（ＨＬ）に含まれる動画像データは、水平方向が高周波数帯域の成分であって、垂直方向が低周波数帯域の成分を有している。
【００３６】
また、第３のサブバンド（ＬＨ）に含まれる動画像データは、水平方向が低周波数帯域の成分であって、垂直方向が高周波数帯域の成分を有している。さらに、第４のサブバンド（ＬＬ）に含まれる動画像データは、垂直方向及び水平方向ともに低周波数帯域の成分を有している。
【００３７】
図４は、垂直方向及び水平方向ともに低周波帯域の成分を有している第４のサブバンド（ＬＬ）に含まれる動画像データに対して、上述した２次元ウェーブレット変換を再帰的に施して、合計３レベル（３段階）まで行なったときのサブバンドの例を示したものである。
【００３８】
すなわち、離散ウェーブレット変換部２０３は、図３に示した第４のサブバンド（ＬＬ）を４つのサブバンドにさらに分割して、第４１のサブバンド（ＨＨ２）、第４２のサブバンド（ＨＬ２）、第４３のサブバンド（ＬＨ２）、及び第４４のサブバンド（ＬＬ２）を生成する。次に、第４４のサブバンド（ＬＬ２）を４つのサブバンドにさらに分割して、第４４１のサブバンド（ＨＨ３）、第４４２のサブバンド（ＨＬ３）、第４４３のサブバンド（ＬＨ３）、及び第４４４のサブバンド（ＬＬ３）を生成している。
【００３９】
なお、離散ウェーブレット変換部２０３は、符号化を非可逆符号化方式で行なう場合には２次元ウェーブレット変換後の係数が実数になる実数型のフィルタを用いる。一方、可逆符号化方式で行なう場合には２次元ウェーブレット変換後の係数が整数になる整数型のフィルタを用いる。そして、離散ウェーブレット変換部２０３は、上述のようにして生成したサブバンドを量子化部２０４に出力する。
【００４０】
量子化部２０４は、離散ウェーブレット変換部２０３よりサブバンドが入力されると、所定の方法により設定されている量子化ステップに基づいて、上記サブバンド毎に量子化処理を行って、量子化インデックスを生成して出力する。なお、上述した可逆符号化方式による符号化を行なう場合には、量子化部２０４は量子化処理を行なわずに、離散ウェーブレット変換部２０３より入力された変換係数そのものをエントロピ符号化部２０５に出力する。
【００４１】
エントロピ符号化部２０５は、量子化部２０４よりサブバンド及び量子化インデックスが入力されると、このサブバンドをさらに分割して矩形タイル領域（以降、コードブロックと称する）を複数個生成する。なお、エントロピ符号化部２０５は、上記サブバンドのサイズと同じサイズの矩形タイル領域をもつコードブロックを生成するように設定されている場合、上記サブバンドを分割せずにコードブロックを生成するようにしている。
【００４２】
そして、エントロピ符号化部２０５は、生成したコードブロックを単位として、それぞれのコードブロックごとに独立したエントロピ符号化処理を施して、符号化データを生成する。この時、エントロピ符号化部２０５は、上位ビットプレーンから順に量子化インデックスを表すビットを算術符号化して、符号化データを生成する。このようにして、最終的な符号化データに整えられた動画像データが符号化器２００より出力される。
【００４３】
上述した構成の符号化器２００において、離散ウェーブレット変換部２０３により生成されるサブバンドに注目すると、図３に示した第２のサブバンド（ＨＬ）及び第３のサブバンド（ＬＨ）に含まれる動画像データの各周波数帯域の成分は、水平方向または垂直方向のどちらか一方に、高周波数帯域（高解像度）の成分を含んでいる。
【００４４】
すなわち、ＭＪ２Ｋ、すなわちＪＰＥＧ２０００では、画像データの信号成分が、まず、周波数帯域によって階層分けされると、次に、その各階層で高周波成分（Ｈ）と低周波成分（Ｌ）に分かれて、さらに上記高周波成分または低周波成分が垂直方向、水平方向に分けられるというように構成されるようにして圧縮されている。
このため、離散ウェーブレット変換部２０３は、上述した任意の階層における信号成分を組み合わせて、第２のサブバンド（ＨＬ）及び第３のサブバンド（ＬＨ）のような水平方向あるいは垂直方向のみに含まれている高周波数帯域の成分を段階的に低減することができる。
【００４５】
再び、図１に戻ると、ズームレンズ２にはズーム位置を検出するためのズーム位置センサー３が搭載されている。上記ズーム位置センサー３は、ズーミングの状態（現在の焦点距離）に関連したズーム位置信号を常時出力している。ズーミング検出部８は、上記ズーム位置信号を検出すると、これをマイクロプロセッサ９に出力する。
【００４６】
また、図１に示したように、撮像装置１００はジャイロセンサー１１を備えている。このジャイロセンサー１１は、撮像装置１００本体の移動、とりわけ撮像素子４の受光面における水平方向及び垂直方向の移動を、正確に検出することを目的として取り付けられている。
【００４７】
撮影者は撮像装置１００を用いて被写体を撮像する場合、撮像装置１００を横方向に移動させて被写体１の撮像範囲を水平にずらしていくようなパンニング動作、或いは撮像装置１００を縦方向に移動させて被写体１の撮像範囲を垂直にずらしていくようなチルティング動作を行なうことがある。
【００４８】
そのため、先ず、パンニング・チルティング検出部１２は、ジャイロセンサー１１より入力される信号を時間積分することにより撮像装置１００本体の移動の検出を行い、その積分した検出信号をマイクロプロセッサ９に出力する。
【００４９】
次に、パンニング・チルティング検出部１２より上記検出信号が入力されたマイクロプロセッサ９の動作手順の一例を、図５に示すフローチャートを用いて説明する。
図５に示すように、ステップＳ５００で、ズーミング検出部８よりズームレンズ２のズーム位置の情報（焦点距離）を読み出す。
【００５０】
次に、ステップＳ５０１においては、ステップＳ５００で読み出したズーム位置の情報を基にして、撮影者が現在ズーミング動作によってズームレンズ２を動かしている最中であるか否かの判断を行なう。その判断の結果、ズーミング動作中でないと判断した場合は、ステップＳ５０２に進む。ステップＳ５０２においては、パンニング、チルティングか否かの検出情報を読み出す。
【００５１】
次に、ステップＳ５０３において、撮影者がパンニング動作またはチルティング動作によって撮像装置１００を動かしている最中かどうかの判断を行なう。
具体的には、図１に示したジャイロセンサー１１より入力された検出信号を所定の時間にわたって積分することにより、撮像装置１００を横方向に移動させているか、または撮像装置１００を縦方向に移動させているかを判断している。
【００５２】
上記判断の結果、パンニング動作（左右方向への画角変化をもたらす撮像装置１００の横方向動作）の場合はステップＳ５０５に進む。ステップＳ５０５では、離散ウェーブレット変換部２０３に対して、垂直方向に高周波数帯域（高解像度）の成分を有している２つのサブバンド、すなわち、第１のサブバンド（ＨＨ）及び第３のサブバンド（ＬＨ）を符号化するように制御を行なう。
【００５３】
上述したように、一般的に、人間の目は、動いているものを見るときは解像度が低下するため、注目物が静止していない上記パンニング動作の場合では全体の大まかな把握にとどまることになる。
【００５４】
さらに、横方向（水平方向）に対する撮像素子４のシャッター速度は通常、動画像においては１／６０秒以下であるため、横方向に連続的に移動するパンニング動作の場合では、これ以上の時間的な分解能を持つことができず、解像度が低下することになる。そして、さらに速いパンニング動作があるような場合には、いわゆる尾引きといわれる現象が発生して、このときの解像度は大幅に低下してしまうようになっている。
【００５５】
このため、水平方向の解像度をあらためて低下するようにしなくても、水平方向の符号化が充分に行なわれることになるが、垂直方向の高周波数帯域（高解像度）の成分はそのまま残っている。この場合、上述したように、人間の目の解像度は低下しているので、垂直方向の解像度を低下するための圧縮処理を行なっても特段の問題は発生せずに、圧縮により動画像データのファイルサイズを縮小することに貢献することになる。したがって、すこしでも長い時間撮像して生成された動画像データを、記録メディアに記録することができるようになる。
【００５６】
以上の理由により、パンニング動作の場合、マイクロプロセッサ９は、第１のサブバンド（ＨＨ）、及び第３のサブバンド（ＬＨ）の垂直方向に含まれる高周波数帯域の成分を削減してステップＳ５００に戻るように動作する。
【００５７】
またステップＳ５０３において、パンニング・チルティング検出部１２により、撮影者が現在チルティング動作（上下方向への画角変化をもたらす撮像装置１００の縦方向動作）を連続的に行っていると判断された場合は、ステップＳ５０４に進む。
【００５８】
ステップＳ５０４においては、上述のパンニング動作の場合とは逆に、マイクロプロセッサ９は、離散ウェーブレット変換部２０３に対して、水平方向に高周波数帯域（高解像度）の成分を有している２つのサブバンド、すなわち、第１のサブバンド（ＨＨ）及び第２のサブバンド（ＨＬ）の水平方向に含まれる高周波帯域の成分を削減してステップＳ５００に戻る。
【００５９】
さらに、ステップＳ５０３において、上述したパンニング動作、またはチルティング動作の何れも連続的に行われていないと判断されたときは、何の処理も行なわずにステップＳ５００に戻る。
【００６０】
また、ステップＳ５０１の判断の結果、ズームレンズ２がズーミング動作中である場合にはステップＳ５０１からステップＳ５０６に進み、圧縮アルゴリズムのＭＪ２Ｋにおける水平方向または垂直方向のうち、少なくとも何れかの方向に高周波数帯域（高解像度）の成分を有している第１のサブバンド（ＨＨ）、第２のサブバンド（ＨＬ）、及び第３のサブバンド（ＬＨ）の成分を削減してステップＳ５００に戻る。
【００６１】
図５に示した、マイクロプロセッサ９の動作手順を説明するフローチャートは、ループとして繰り返されるようになされており、マイクロプロセッサ９は撮像装置１００が動作している間中、常にこのフローチャートに従って、ズーミング動作、パンニング動作、またはチルティング動作の検出を行なうようにしている。
【００６２】
なお、上述した本実施の形態では、画像情報圧縮部６における圧縮アルゴリズムとしてＭＪ２Ｋを用いたが、これに限られることはなく他の圧縮アルゴリズムを用いてもよい。また、上述したズーミング検出部８、マイクロプロセッサ９、及びパンニング・チルティング検出部１２により撮像動作検出手段が構成され、画像情報圧縮部６により画質変更手段が構成されている。
【００６３】
【発明の効果】
以上説明したように、本発明によれば、被写体撮像時の撮像部のパンニングまたはチルティングによる移動を検出し、上記撮像部の移動が検出された場合、上記移動の方向が横方向であるときには、上記撮影画像から分解される複数の周波数帯域成分のうち、垂直方向の高周波数帯域成分を削減し、上記移動の方向が縦方向であるときには、上記撮影画像から分解される複数の周波数帯域成分のうち、水平方向の高周波数帯域成分を削減するようにしたので、記録メディアに記録される画像データの容量を大幅に縮小することが可能となる。この場合、撮像動作に対応して、画像データにおける水平方向または垂直方向の何れか１つの方向の高周波成分を選択して削減するようにしているので、画質の劣化が問題とならない範囲において画質の変更を行なうことが可能である。このため、画質の大幅な低下を実質的に防止しながら画像データの圧縮を図り、記録媒体に記録することが可能な時間を延長することができる。
【００６４】
また、本発明の他の特徴によれば、被写体撮像時の撮像部のズーミング動作を検出した場合には、上記撮影画像から分解される複数の周波数帯域成分のうち、高周波数帯域成分を削減するようにした。これにより、画質の大幅な低下を実質的に防止しながら画像データの圧縮を図ることを、撮像装置が通常備えているセンサーを用いて実現することができ、専用の構成部品を別途追加する必要をなくして、撮像装置がコストアップすることを防止することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態例である撮像装置の全体構成を示すブロック図である。
【図２】画像情報圧縮部に備えられたＪＰＥＧ２０００符号化器の全体構成を示すブロック図である。
【図３】ＪＰＥＧ２０００符号化器による動画像データの分割例を示した図である（１レベル分割の場合）。
【図４】ＪＰＥＧ２０００符号化器による動画像データの分割例を示した図である（３レベル分割の場合）。
【図５】撮像装置に備わるマイクロプロセッサの動作手順を示したフローチャートである。
【図６】従来の撮像装置の構成を示すブロック図である。
【図７】従来の撮像装置の構成を示すブロック図である。
【図８】動画像画面において動きベクトルを説明するための図である。
【図９】図７に示す従来の撮像装置におけるマイクロプロセッサの動作手順を示したフローチャートである。
【符号の説明】
１被写体
２ズームレンズ
３ズーム位置センサー（ズームエンコーダー）
４撮像素子
５信号処理部
６画像情報圧縮部（ＭＪＰＥＧ２０００）
７撮像信号
８ズーミング検出部
９マイクロプロセッサ
１０マイクロプロセッサからの制御出力
１１ジャイロセンサー（角速度検出センサー）
１２パンニング、チルティング検出部
１００撮像装置
２０１コンポーネント変換部
２０２タイル分割部
２０３離散ウェーブレット変換部
２０４量子化部
２０５エントロピ符号化部
２０６符号列形成部
８０１被写体
８０２（各ブロックあたりの）動きベクトル
８０３分割ブロックの１単位[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus, an imaging method, a computer program, and a recording medium, and is particularly suitable for use in compressing and recording a captured image on a recording medium.
[0002]
[Prior art]
6 and 7 are block diagrams illustrating a configuration example of a conventional imaging apparatus.
The conventional image pickup apparatus as shown in FIG. 6 simply generates a small amount of compressed moving image data by simply performing a small-scale compression process on the moving image data obtained by imaging, and assigns this to record allocation per unit image. The data is output to a recording medium (for example, a tape) having a fixed capacity.
[0003]
Further, the conventional imaging apparatus as shown in FIG. 7 outputs the compressed moving image data to a recording medium (for example, a disk or the like) that can change the data recording capacity. At that time, as shown in FIG. 8, the moving image screen in the captured moving image data is divided into a plurality of small areas for each screen, and is composed of several blocks.
[0004]
In this case, the imaging apparatus calculates the motion of the moving image screen per unit block 803, that is, the motion vector 802 between frames as shown in FIG. A motion vector 802 shown in FIG. 8 is an example of a motion vector when the subject 801 moves from the left to the right toward the moving image screen. Here, a state where the motion vector 802 is generated only for the unit block 803 in which the overlapping portion of the subject 801 and each unit block 803 on the moving image screen has a predetermined area or more is shown. .
[0005]
Here, when all the blocks constituting the moving image screen move continuously in the radial direction (depth direction) with respect to the moving image screen, the imaging apparatus determines that the zooming operation is performed. In addition, when all of the above blocks move in either the left or right direction of the moving image screen, or when all of the above blocks move in either the up or down direction of the moving image screen, the imaging device respectively pans. It is determined that an operation or a tilting operation is being performed.
[0006]
If the imaging device determines that the photographer is performing any of the above zooming, panning, or tilting operations, the image quality at that time can be changed by changing the resolution or the number of pixels of the compressed image data. To be reduced. By reducing the image quality as described above, the file size of moving image data is reduced, and the total amount of data that can be recorded on a recording medium is increased.
[0007]
FIG. 9 is a flowchart for explaining an example of the operation procedure of the microprocessor 9 in the conventional imaging apparatus shown in FIG. The microprocessor 9 reads out motion vector information in step S900, and is performing a zooming operation in step S901, or panning operation (operation that causes a change in the angle of view of the moving image screen in the horizontal direction) or tilting in step S902. It is determined whether or not the operation (operation that causes a change in the angle of view in the vertical direction of the moving image screen) is continuously performed. As a result, when it is determined that the photographer is performing any one of the zooming operation, the panning operation, and the tilting operation using the imaging device, the microprocessor 9 reduces the resolution at this time. Control is performed (step S903).
[0008]
[Problems to be solved by the invention]
In general, human eyes cannot accurately follow an object that moves quickly. For this reason, even when a moving image of an object that moves agilely is recorded by the imaging device, it is empirically known that a person cannot confirm in detail the movement of the recorded object in the reproduced image. It has been. In this case, the human eye is in a state where the resolution of the moving image is lowered.
[0009]
Therefore, when the photographer moves the image pickup device and continuously performs zooming operation, panning operation, tilting operation, etc., even if the resolution of the moving image being taken is lowered and the image quality is lowered, The poor image quality is not a problem.
[0010]
In addition, the above-mentioned problem of poor image quality does not occur, and the moving image file size when recording on the recording medium is reduced due to a decrease in the resolution of the moving image, and the recording capacity of the recording medium is limited Even so, there is an advantage that the time during which moving image data can be recorded can be extended.
[0011]
However, in the conventional imaging apparatus as shown in FIG. 6, the processing for adjusting the resolution is not performed in accordance with the imaging operation (zooming operation or the like) of the photographer as described above. There was a problem.
[0012]
That is, in a conventional recording format that assumes that a recording tape is used as a recording medium for recording an imaging signal, in particular, a moving image imaging signal, unit images allocated to the recording medium (recording tape) ( The data recording capacity per unit block) was fixed.
[0013]
For this reason, even when processing for adjusting the resolution according to the above-described imaging operation is performed, the data capacity that can be recorded on the recording tape, that is, the total imaging when moving image data recorded on the recording medium is generated The time is constant and is the same as the total imaging time when the process for adjusting the resolution is not performed. Therefore, it cannot be expected to reduce the data capacity when recording on the recording tape, that is, to further increase the total imaging time that can be taken to generate moving image data recorded on the recording tape. There was a problem.
[0014]
Further, in the conventional imaging apparatus as shown in FIG. 7, a zooming operation, a panning operation, or a tilting operation according to a motion vector extracted from a moving image signal, a photographer's operation when a subject is close-up, etc. There was a problem that it was difficult to distinguish clearly.
[0015]
For this reason, the motion detection signal for realizing the image stabilization function in the imaging apparatus cannot be used as the motion vector, and a detection sensor for detecting the movement of the imaging apparatus body is separately required, There has been a problem that the control of the apparatus becomes complicated and the cost of the product is increased.
[0016]
Therefore, in view of the above-described problems, the present invention can record compressed moving image data on a recording medium without increasing the cost of the image pickup apparatus or significantly reducing the image quality of the picked-up moving image. The purpose is to be able to extend the time.
[0017]
[Means for Solving the Problems]
An imaging apparatus according to the present invention includes an imaging operation detection unit that detects movement due to panning or tilting of an imaging unit during imaging of a subject, and decomposes a captured image generated by imaging the subject into a plurality of frequency band components. When the movement of the imaging unit is detected by the compression encoding means for compression encoding and the imaging operation detection means, and when the movement direction is the horizontal direction, a plurality of frequency band components decomposed from the captured image Among the plurality of frequency band components decomposed from the photographed image when the moving direction is the vertical direction, the high frequency band component in the horizontal direction is reduced. And an image quality changing means.
Another feature of the imaging apparatus according to the present invention is that imaging operation detection means for detecting a zooming operation of the imaging unit at the time of subject imaging, and a captured image generated by imaging the subject are components of a plurality of frequency bands. When the zooming operation is detected by the compression encoding unit that decomposes and compresses and encodes, and the imaging operation detection unit detects a high frequency band component among a plurality of frequency band components decomposed from the captured image And image quality changing means.
[0018]
The imaging method of the present invention includes an imaging operation detection procedure for detecting movement due to panning or tilting of an imaging unit during imaging of an object, and a captured image generated by imaging the object is decomposed into a plurality of frequency band components. When the movement of the imaging unit is detected by the compression encoding procedure for compression encoding and the imaging operation detection procedure, when the movement direction is the horizontal direction, a plurality of frequency band components decomposed from the captured image Among the plurality of frequency band components decomposed from the photographed image when the moving direction is the vertical direction, the high frequency band component in the horizontal direction is reduced. And an image quality changing procedure.
In addition, another feature of the imaging method of the present invention is that an imaging operation detection procedure for detecting a zooming operation of the imaging unit at the time of subject imaging, and a captured image generated by imaging the subject in a plurality of frequency bands. When the zooming operation is detected by the compression encoding procedure that decomposes into components and performs compression encoding and the imaging operation detection procedure, the high frequency band component is selected from the plurality of frequency band components decomposed from the captured image. And an image quality changing procedure to be reduced.
[0019]
The computer program according to the present invention includes an imaging operation detection procedure for detecting movement of the imaging unit during panning or tilting during subject imaging, and a captured image generated by imaging the subject is decomposed into a plurality of frequency band components. When the movement of the imaging unit is detected by the compression encoding procedure for compression encoding and the imaging operation detection procedure, when the movement direction is the horizontal direction, a plurality of frequency band components decomposed from the captured image Among the plurality of frequency band components decomposed from the photographed image when the moving direction is the vertical direction, the high frequency band component in the horizontal direction is reduced. The image quality changing procedure is executed by a computer.
Another feature of the computer program of the present invention is that an imaging operation detection procedure for detecting a zooming operation of the imaging unit at the time of subject imaging, and a captured image generated by imaging the subject in a plurality of frequency bands. When the zooming operation is detected by the compression encoding procedure that decomposes into components and performs compression encoding and the imaging operation detection procedure, the high frequency band component is selected from the plurality of frequency band components decomposed from the captured image. The image quality changing procedure to be reduced is executed by a computer.
[0020]
A recording medium of the present invention is characterized by recording the above-described computer program.
[0021]
Since the present invention has the above-described technical means, a zooming operation, a panning operation, a sensor or the like generally provided in the current imaging apparatus can be used without adding a circuit having a special configuration or a complicated configuration. In addition, it is possible to extend the time during which the compressed moving image data can be recorded on the recording medium by detecting the tilting operation and performing level control (changing the image quality) on the captured image data for each frequency band.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of an imaging apparatus of the present invention will be described with reference to the drawings. FIG. 1 is a configuration diagram illustrating a schematic configuration of an imaging apparatus 100 according to the present embodiment.
[0023]
As shown in FIG. 1, an imaging apparatus 100 according to the present embodiment includes a zoom lens 2 for capturing a subject 1 as an optical image, an imaging element 4 for converting the optical image into an electrical signal, and various signal processes. A signal processing unit 5; an image information compression unit 6 for compressing image information; a zoom position sensor 3 for detecting the lens position of the zoom lens 2; a zooming detection unit 8 for detecting the focal length of the zoom lens 2; The configuration includes a microprocessor 9, a gyro sensor 11 for detecting movement of the main body of the imaging apparatus 100, and a panning / tilting detection unit 12 for detecting an imaging state.
[0024]
First, the reflected light of the subject 1 is received by the zoom lens 2. The zoom lens 2 captures the subject 1 as an optical image and forms an image on the image sensor 4. The image sensor 4 converts the two-dimensional optical image formed by the zoom lens 2 into an electrical signal and outputs the electrical signal to the signal processing unit 5.
[0025]
The signal processing unit 5 performs predetermined signal processing and image processing (for example, color separation, white balance, AE (automatic exposure correction), γ processing, etc.) on the electric signal input from the image sensor 4, This is output to the image information compression unit 6.
[0026]
The image information compression unit 6 compresses moving image information (hereinafter referred to as moving image data) input from the signal processing unit 5 and outputs a final imaging signal (moving image data) 7. The imaging apparatus 100 according to the present embodiment will be described as using, for example, MJPEG2000 (hereinafter referred to as MJ2K) as a compression algorithm for compressing the moving image data.
[0027]
The above-described compression algorithm MJ2K is such that JPEG2000, which is a compression algorithm for compressing still image data, can be applied to compression of moving image data. The compression algorithm MJ2K is configured to perform similar compression processing for each one screen of moving image data.
Hereinafter, a method for compressing moving image data in the image information compression unit 6 will be described.
[0028]
FIG. 2 is a block diagram showing an overall configuration of a JPEG2000 encoder (hereinafter referred to as encoder 200) included in the image information compression unit 6 in the imaging apparatus 100 shown in FIG.
As shown in FIG. 2, the encoder 200 includes a component conversion unit 201, a tile division unit 202, a discrete wavelet conversion unit 203, a quantization unit 204, an entropy encoding unit 205, a code string formation unit 206, and the like. ing.
[0029]
When moving image data subjected to predetermined signal processing or the like in the signal processing unit 5 shown in FIG. 1 is input to the encoder 200 configured as described above, first, the component conversion unit 201 first A color space conversion process is performed on the input moving image data, and a process for thinning out predetermined moving image data for each color component is performed on the converted moving image data as necessary. Then, after the predetermined processing is performed, this is output to the tile dividing unit 202.
[0030]
If the moving image data is monochrome grayscale image data, the component conversion unit 201 does not perform the above-described color space conversion processing on the moving image data. In addition, each operation in the encoder 200 described later is performed for each color component with respect to moving image data obtained by color space conversion processing by the component conversion unit 201 described above.
[0031]
When the moving image data is input from the component converting unit 201, the tile dividing unit 202 divides one screen of the moving image data into rectangular tile regions of a predetermined size as shown in FIG. The data is output to the conversion unit 203.
[0032]
The size of the rectangular tile area can be set to an arbitrary size, but the maximum size can be set up to the size of the entire moving image data of each color component. When one rectangular tile area is set to have the entire size of the moving image data (when set to the maximum size), the tile division is not substantially performed.
[0033]
Each operation in the discrete wavelet transform unit 203, the quantization unit 204, the entropy encoding unit 205, and the code string forming unit 206, which will be described later, is performed for each rectangular tile area of each color component obtained by the division by the tile dividing unit 202. Shall be performed.
[0034]
The discrete wavelet transform unit 203 performs a two-dimensional discrete wavelet transform process on the moving image data of each rectangular tile area input from the tile partitioning unit 202 and decomposes it for each frequency band. A plurality of transform coefficient groups (hereinafter referred to as subbands) belonging to the band are output.
[0035]
FIG. 3 shows the overall configuration of subbands output by the discrete wavelet transform unit 203.
The moving image data included in the first subband (HH) shown in FIG. 3 has a high frequency band component in both the vertical direction and the horizontal direction. The moving image data included in the second subband (HL) has a high frequency band component in the horizontal direction and a low frequency band component in the vertical direction.
[0036]
The moving image data included in the third subband (LH) has a low frequency band component in the horizontal direction and a high frequency band component in the vertical direction. Furthermore, the moving image data included in the fourth subband (LL) has a low frequency band component in both the vertical direction and the horizontal direction.
[0037]
FIG. 4 shows a case where the above-described two-dimensional wavelet transform is recursively applied to moving image data included in the fourth subband (LL) having a low frequency band component in both the vertical direction and the horizontal direction. This shows an example of subbands when performing up to a total of three levels (three stages).
[0038]
That is, the discrete wavelet transform unit 203 further divides the fourth subband (LL) shown in FIG. 3 into four subbands, the 41st subband (HH2), and the 42nd subband (HL2). , The 43rd subband (LH2) and the 44th subband (LL2) are generated. Next, the 44th subband (LL2) is further divided into four subbands, and the 441th subband (HH3), the 442nd subband (HL3), the 443th subband (LH3), and The 444th subband (LL3) is generated.
[0039]
The discrete wavelet transform unit 203 uses a real type filter in which the coefficient after the two-dimensional wavelet transform is a real number when encoding is performed by the lossy encoding method. On the other hand, when the reversible encoding method is used, an integer type filter in which the coefficient after the two-dimensional wavelet transform is an integer is used. Then, the discrete wavelet transform unit 203 outputs the subband generated as described above to the quantization unit 204.
[0040]
When a subband is input from the discrete wavelet transform unit 203, the quantization unit 204 performs a quantization process for each subband based on a quantization step set by a predetermined method, and a quantization index. Is generated and output. In addition, when performing the encoding by the above-described lossless encoding method, the quantization unit 204 does not perform the quantization process, and outputs the transform coefficient itself input from the discrete wavelet transform unit 203 to the entropy encoding unit 205. To do.
[0041]
When the subband and the quantization index are input from the quantization unit 204, the entropy encoding unit 205 further divides the subband to generate a plurality of rectangular tile regions (hereinafter referred to as code blocks). When the entropy encoding unit 205 is set to generate a code block having a rectangular tile area of the same size as the subband, the entropy encoding unit 205 generates the code block without dividing the subband. I have to.
[0042]
Then, the entropy encoding unit 205 performs independent entropy encoding processing for each code block by using the generated code block as a unit, and generates encoded data. At this time, the entropy encoding unit 205 arithmetically encodes the bits representing the quantization index in order from the higher-order bit plane to generate encoded data. In this way, the moving image data adjusted to the final encoded data is output from the encoder 200.
[0043]
In the encoder 200 configured as described above, when attention is paid to the subbands generated by the discrete wavelet transform unit 203, they are included in the second subband (HL) and the third subband (LH) shown in FIG. Each frequency band component of the moving image data includes a high frequency band (high resolution) component in either the horizontal direction or the vertical direction.
[0044]
That is, in MJ2K, that is, JPEG2000, when the signal components of image data are first divided into layers by frequency bands, then, in each layer, the signal components are divided into high-frequency components (H) and low-frequency components (L). The high frequency component or the low frequency component is compressed so as to be divided into a vertical direction and a horizontal direction.
For this reason, the discrete wavelet transform unit 203 combines the signal components in the arbitrary layers described above and includes only the horizontal direction or the vertical direction such as the second subband (HL) and the third subband (LH). It is possible to reduce the components in the high frequency band that are being reduced.
[0045]
Returning to FIG. 1 again, the zoom lens 2 is equipped with a zoom position sensor 3 for detecting the zoom position. The zoom position sensor 3 constantly outputs a zoom position signal related to the zooming state (current focal length). When the zooming detection unit 8 detects the zoom position signal, it outputs it to the microprocessor 9.
[0046]
Further, as illustrated in FIG. 1, the imaging apparatus 100 includes a gyro sensor 11. The gyro sensor 11 is attached for the purpose of accurately detecting the movement of the main body of the image pickup apparatus 100, particularly the movement in the horizontal direction and the vertical direction on the light receiving surface of the image pickup device 4.
[0047]
When the photographer images the subject using the imaging device 100, the panning operation in which the imaging device 100 is moved in the horizontal direction to shift the imaging range of the subject 1 horizontally, or the imaging device 100 is moved in the vertical direction. In some cases, the tilting operation is performed to shift the imaging range of the subject 1 vertically.
[0048]
Therefore, first, the panning / tilting detection unit 12 detects the movement of the imaging apparatus 100 main body by time-integrating the signal input from the gyro sensor 11 and outputs the integrated detection signal to the microprocessor 9. .
[0049]
Next, an example of an operation procedure of the microprocessor 9 to which the detection signal is input from the panning / tilting detection unit 12 will be described with reference to a flowchart shown in FIG.
As shown in FIG. 5, in step S <b> 500, information on the zoom position (focal length) of the zoom lens 2 is read from the zooming detection unit 8.
[0050]
Next, in step S501, based on the zoom position information read in step S500, it is determined whether or not the photographer is currently moving the zoom lens 2 by the zooming operation. If it is determined that the zooming operation is not being performed, the process proceeds to step S502. In step S502, detection information as to whether panning or tilting is performed is read out.
[0051]
Next, in step S503, it is determined whether or not the photographer is moving the imaging apparatus 100 by a panning operation or a tilting operation.
Specifically, by integrating the detection signal input from the gyro sensor 11 shown in FIG. 1 over a predetermined time, the imaging device 100 is moved in the horizontal direction, or the imaging device 100 is moved in the vertical direction. Judging whether or not.
[0052]
As a result of the above determination, in the case of panning operation (lateral operation of the imaging apparatus 100 that causes a change in the angle of view in the left-right direction), the process proceeds to step S505. In step S505, for the discrete wavelet transform unit 203, two subbands having a component of a high frequency band (high resolution) in the vertical direction, that is, a first subband (HH) and a third subband. Control is performed so as to encode the band (LH).
[0053]
As described above, since the resolution of the human eye generally decreases when looking at a moving object, in the case of the panning operation in which the object of interest is not stationary, it is only a rough grasp of the whole. Become.
[0054]
Further, since the shutter speed of the image sensor 4 in the horizontal direction (horizontal direction) is usually 1/60 second or less in a moving image, in the case of a panning operation that moves continuously in the horizontal direction, a time period longer than this is required. Cannot have a high resolution, and the resolution is lowered. When there is an even faster panning operation, a so-called tailing phenomenon occurs, and the resolution at this time is greatly reduced.
[0055]
For this reason, even if the horizontal resolution is not reduced again, the horizontal encoding is sufficiently performed, but the high frequency band (high resolution) component in the vertical direction remains as it is. In this case, as described above, since the resolution of the human eye is reduced, there is no particular problem even if the compression process for reducing the vertical resolution is performed. This will contribute to reducing the file size. Therefore, it is possible to record the moving image data generated by imaging for a long time on the recording medium.
[0056]
For the above reasons, in the case of the panning operation, the microprocessor 9 reduces the components of the high frequency band included in the vertical direction of the first subband (HH) and the third subband (LH) to perform step S500. Operate to return.
[0057]
In step S503, the panning / tilting detector 12 determines that the photographer is currently performing a tilting operation (vertical operation of the imaging apparatus 100 that causes a change in the angle of view in the vertical direction) continuously. If so, the process proceeds to step S504.
[0058]
In step S504, contrary to the case of the panning operation described above, the microprocessor 9 has two sub-bands having components in the high frequency band (high resolution) in the horizontal direction with respect to the discrete wavelet transform unit 203. The high frequency band component included in the horizontal direction of the band, that is, the first subband (HH) and the second subband (HL) is reduced, and the process returns to step S500.
[0059]
Furthermore, when it is determined in step S503 that neither the panning operation nor the tilting operation described above is continuously performed, the process returns to step S500 without performing any processing.
[0060]
If the result of determination in step S501 is that the zoom lens 2 is performing a zooming operation, the process proceeds from step S501 to step S506, and a high frequency is applied in at least one of the horizontal and vertical directions in the compression algorithm MJ2K. The components of the first subband (HH), the second subband (HL), and the third subband (LH) having the band (high resolution) component are reduced, and the process returns to step S500.
[0061]
The flowchart for explaining the operation procedure of the microprocessor 9 shown in FIG. 5 is repeated as a loop, and the microprocessor 9 always performs the zooming operation according to this flowchart while the imaging apparatus 100 is operating. , Panning operation or tilting operation is detected.
[0062]
In the above-described embodiment, MJ2K is used as the compression algorithm in the image information compression unit 6, but the present invention is not limited to this, and other compression algorithms may be used. The zooming detection unit 8, the microprocessor 9, and the panning / tilting detection unit 12 described above constitute an imaging operation detection unit, and the image information compression unit 6 constitutes an image quality changing unit.
[0063]
【The invention's effect】
As explained above, according to the present invention, When the movement of the imaging unit at the time of subject imaging is detected by panning or tilting, and the movement of the imaging unit is detected, a plurality of frequency bands decomposed from the captured image when the movement direction is the horizontal direction Among the components, the high frequency band component in the vertical direction is reduced, and when the moving direction is the vertical direction, the high frequency band component in the horizontal direction is reduced among the plurality of frequency band components decomposed from the captured image. Because I tried to The capacity of image data recorded on the recording medium can be greatly reduced. In this case, the horizontal or vertical direction in the image data corresponding to the imaging operation What Since the high frequency component in one direction is selected and reduced, it is possible to change the image quality within a range where deterioration of the image quality does not become a problem. For this reason, it is possible to compress the image data while substantially preventing a significant decrease in image quality, and to extend the time that can be recorded on the recording medium.
[0064]
According to another aspect of the invention, When a zooming operation of the imaging unit at the time of subject imaging is detected, a high frequency band component is reduced among a plurality of frequency band components decomposed from the captured image. This allows the image data to be compressed while substantially preventing a significant decrease in image quality. Using the sensor that an imaging device normally has Can be realized , It is necessary to add dedicated components separately Lost It is possible to prevent the cost of the imaging apparatus from increasing.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of an imaging apparatus that is an embodiment of the present invention.
FIG. 2 is a block diagram illustrating an overall configuration of a JPEG2000 encoder provided in an image information compression unit.
FIG. 3 is a diagram showing an example of division of moving image data by a JPEG2000 encoder (in the case of 1-level division).
FIG. 4 is a diagram showing an example of dividing moving image data by a JPEG2000 encoder (in the case of three-level division).
FIG. 5 is a flowchart illustrating an operation procedure of a microprocessor included in the imaging apparatus.
FIG. 6 is a block diagram illustrating a configuration of a conventional imaging device.
FIG. 7 is a block diagram illustrating a configuration of a conventional imaging device.
FIG. 8 is a diagram for explaining a motion vector on a moving image screen.
9 is a flowchart showing an operation procedure of a microprocessor in the conventional imaging apparatus shown in FIG.
[Explanation of symbols]
1 Subject
2 Zoom lens
3 Zoom position sensor (zoom encoder)
4 Image sensor
5 Signal processor
6 Image information compression unit (MJPEG2000)
7 Imaging signal
8 Zooming detector
9 Microprocessor
10 Control output from microprocessor
11 Gyro sensor (angular velocity detection sensor)
12 Panning and tilting detector
100 Imaging device
201 Component converter
202 tile division
203 Discrete wavelet transform unit
204 Quantization unit
205 Entropy encoding unit
206 Code string forming unit
801 subject
802 motion vector (per block)
803 1 unit of divided block

Claims

被写体撮像時の撮像部のパンニングまたはチルティングによる移動を検出する撮像動作検出手段と、
上記被写体を撮像して生成した撮像画像を複数の周波数帯域の成分に分解して圧縮符号化する圧縮符号化手段と、
上記撮像動作検出手段により上記撮像部の移動が検出された場合、上記移動の方向が横方向であるときには、上記撮影画像から分解される複数の周波数帯域成分のうち、垂直方向の高周波数帯域成分を削減し、上記移動の方向が縦方向であるときには、上記撮影画像から分解される複数の周波数帯域成分のうち、水平方向の高周波数帯域成分を削減する画質変更手段とを有することを特徴とする撮像装置。An imaging operation detecting means for detecting a moving by panning or tilting the imaging unit at the time of object imaging,
Compression encoding means for decomposing a captured image generated by imaging the subject into components of a plurality of frequency bands and compression encoding;
When the movement of the imaging unit is detected by the imaging operation detection unit , when the direction of the movement is a horizontal direction, a high frequency band component in the vertical direction among a plurality of frequency band components decomposed from the captured image Image quality changing means for reducing a horizontal high frequency band component among a plurality of frequency band components decomposed from the photographed image when the moving direction is a vertical direction. An imaging device.

被写体撮像時の撮像部のズーミング動作を検出する撮像動作検出手段と、
上記被写体を撮像して生成した撮像画像を複数の周波数帯域の成分に分解して圧縮符号化する圧縮符号化手段と、
上記撮像動作検出手段により上記ズーミング動作が検出された場合、上記撮影画像から分解される複数の周波数帯域成分のうち、高周波数帯域成分を削減する画質変更手段とを有することを特徴とする撮像装置。 Imaging operation detecting means for detecting a zooming operation of the imaging unit at the time of subject imaging;
Compression encoding means for decomposing a captured image generated by imaging the subject into components of a plurality of frequency bands and compression encoding;
An image pickup apparatus comprising: an image quality changing unit that reduces a high frequency band component among a plurality of frequency band components decomposed from the photographed image when the zooming operation is detected by the image pickup operation detecting unit. .

被写体撮像時の撮像部のパンニングまたはチルティングによる移動を検出する撮像動作検出手順と、
上記被写体を撮像して生成した撮像画像を複数の周波数帯域の成分に分解して圧縮符号化する圧縮符号化手順と、
上記撮像動作検出手順により上記撮像部の移動が検出された場合、上記移動の方向が横方向であるときには、上記撮影画像から分解される複数の周波数帯域成分のうち、垂直方向の高周波数帯域成分を削減し、上記移動の方向が縦方向であるときには、上記撮影画像から分解される複数の周波数帯域成分のうち、水平方向の高周波数帯域成分を削減する画質変更手順とを有することを特徴とする撮像方法。An imaging operation detecting step of detecting a moving by panning or tilting the imaging unit at the time of object imaging,
A compression encoding procedure in which a captured image generated by imaging the subject is decomposed into a plurality of frequency band components and compression encoded;
When the movement of the imaging unit is detected by the imaging operation detection procedure , when the movement direction is a horizontal direction, among the plurality of frequency band components decomposed from the captured image, a high frequency band component in the vertical direction And, when the moving direction is the vertical direction, an image quality changing procedure for reducing a high frequency band component in a horizontal direction among a plurality of frequency band components decomposed from the captured image. Imaging method.

被写体撮像時の撮像部のズーミング動作を検出する撮像動作検出手順と、
上記被写体を撮像して生成した撮像画像を複数の周波数帯域の成分に分解して圧縮符号化する圧縮符号化手順と、
上記撮像動作検出手順により上記ズーミング動作が検出された場合、上記撮影画像から分解される複数の周波数帯域成分のうち、高周波数帯域成分を削減する画質変更手順とを有することを特徴とする撮像方法。 An imaging operation detection procedure for detecting a zooming operation of the imaging unit at the time of subject imaging;
A compression encoding procedure in which a captured image generated by imaging the subject is decomposed into a plurality of frequency band components and compression encoded;
An imaging method comprising: an image quality changing procedure for reducing a high frequency band component among a plurality of frequency band components decomposed from the captured image when the zooming operation is detected by the imaging operation detection procedure .

被写体撮像時の撮像部のパンニングまたはチルティングによる移動を検出する撮像動作検出手順と、
上記被写体を撮像して生成した撮像画像を複数の周波数帯域の成分に分解して圧縮符号化する圧縮符号化手順と、
上記撮像動作検出手順により上記撮像部の移動が検出された場合、上記移動の方向が横方向であるときには、上記撮影画像から分解される複数の周波数帯域成分のうち、垂直方向の高周波数帯域成分を削減し、上記移動の方向が縦方向であるときには、上記撮影画像から分解される複数の周波数帯域成分のうち、水平方向の高周波数帯域成分を削減する画質変更手順とをコンピュータに実行させることを特徴とするコンピュータプログラム。An imaging operation detecting step of detecting a moving by panning or tilting the imaging unit at the time of object imaging,
A compression encoding procedure in which a captured image generated by imaging the subject is decomposed into a plurality of frequency band components and compression encoded;
When the movement of the imaging unit is detected by the imaging operation detection procedure , when the movement direction is a horizontal direction, among the plurality of frequency band components decomposed from the captured image, a high frequency band component in the vertical direction When the moving direction is the vertical direction, the computer is caused to execute an image quality changing procedure for reducing a horizontal high frequency band component among a plurality of frequency band components decomposed from the captured image. A computer program characterized by the above.

被写体撮像時の撮像部のズーミング動作を検出する撮像動作検出手順と、
上記被写体を撮像して生成した撮像画像を複数の周波数帯域の成分に分解して圧縮符号化する圧縮符号化手順と、
上記撮像動作検出手順により上記ズーミング動作が検出された場合、上記撮影画像から分解される複数の周波数帯域成分のうち、高周波数帯域成分を削減する画質変更手順とをコンピュータに実行させることを特徴とするコンピュータプログラム。 An imaging operation detection procedure for detecting a zooming operation of the imaging unit at the time of subject imaging;
A compression encoding procedure in which a captured image generated by imaging the subject is decomposed into a plurality of frequency band components and compression encoded;
When the zooming operation is detected by the imaging operation detection procedure , the computer is caused to execute an image quality changing procedure for reducing a high frequency band component among a plurality of frequency band components decomposed from the captured image. Computer program.

請求項５または６に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。A computer-readable recording medium on which the computer program according to claim 5 or 6 is recorded.