JP4507645B2 - 画像記録装置、画像記録システムおよび画像記録方法 - Google Patents

Description

この発明は、画像記録方法および画像記録装置に関し、特に、画像の長時間記録において、記録するデータ量を抑制しながら被写体の記録精度を向上させる場合に用いて好適な画像記録装置、画像記録システム、画像記録方法に関する。

情報圧縮技術の向上や、記録媒体の高集積化あるいは高密度化、更には、記録装置の小型化、低価格化が進んだことなどにより、個人においても高画質な画像を長時間記録することが可能になってきている。

従来の長時間記録を行う画像記録装置としては、いわゆる防犯カメラや画像観測システムなどの監視や観測を目的とした画像記録装置がある。このような画像記録装置では、画像データを所定の周期で撮像し、所定の周期でテープやハードディスク等の大容量の記録媒体に記録するようにしている。

しかしながら、長時間記録を行う従来の画像記録装置では、記録される画像データのデータ量は記録時間に比例して大きくなり、大容量の記録媒体であってもその容量は有限であることを考慮すると、記録するデータ量は少ないことが望ましい。

このため、記録するデータ量を低減するようにした種々の記録装置が提案されている。例えば、後に記す特許文献１には、監視する画像（映像）の映像信号から画像の動きの量を検出し、この動きの量に基づいて記録モードを設定することにより、記録媒体の消費量を低減するようにした記録装置が提案されている。
特開平１１−９８４５５号公報

ところで、上述したような監視・観測を目的とした用途では、撮影位置と撮影範囲とがある程度限定されるのが通常である。しかし、そのような用途以外で、被写体とカメラを持つ撮影者との両方が任意に動き回るような場合では、被写体が動くことによる映像の動きと、撮影者が動くことによる映像の動きとの区別ができなくなるという問題がある。

更に、上述した従来の画像記録装置では、映像の中に、動きの大きい部分と動きの小さい部分が混在している場合、記録媒体の消費量を低減するための最適な記録モードを設定することが困難になるという問題がある。

この発明は、このような状況に鑑みてなされたものであり、長時間にわたり被写体を撮影して記録媒体に記録する場合であって、被写体だけでなく、撮影者も移動することがある場合において、被写体を逃すことなく撮影して画像データとして記録することができるとともに、記録する画像データのデータ量を抑制することが可能な装置、システム、方法を提供することを目的とする。

上記課題を解決するため、請求項１に記載の発明の画像記録装置は、
被写体を撮影して画像データを生成する撮像手段と、
前記撮像手段で生成された複数の画像データを格納する格納手段と、
前記格納手段に格納した画像データを記録媒体に記録する記録手段と、
当該画像記録装置の移動に関する情報を検出する移動検出手段と、
前記撮像手段により撮像され、前記格納手段に格納された隣接する画像の画像データに基づいて、隣接する画像間の変位に関する情報を検出する変位検出手段と、
前記移動検出手段による検出結果と、前記変位検出手段による検出結果とに応じて、前記記録媒体に記録する画像データのデータ量を調整する必要があるか否かを判別すると共に、調整する必要があると判別した場合には、前記移動検出手段による検出結果を用いて、前記変位検出手段による検出結果を修正し、当該修正後の前記変位検出手段による検出結果に応じて、前記撮像手段と前記記録手段との一方あるいは両方を制御して、前記記録媒体に記録する画像データのデータ量を調整する制御手段と
を備える。

この発明によれば、撮影して得た画像データを記録媒体に記録する場合において、撮影者の移動量や被写体との相対位置の変化量を考慮して記録制御することにより、記録する画像データのデータ量を抑制しながら、被写体を逃すことなく画像データとして記録することができる。

以下、図を参照しながら、この発明による装置、方法、システムの一実施の形態について説明する。以下においては、ビデオカメラやデジタルスチルカメラなどの画像記録装置にこの発明を適用した場合を例にして説明する。

［画像記録装置１の概要］
図１は、この実施の形態の画像記録装置の構成例を説明するためのブロック図である。図１に示すように、この実施の形態の画像記録装置１は、撮像部１１、格納部１２、記録部１３、変位検出部１４、制御部１５、移動検出部１６、入力部１８、記録媒体１７を備えるものである。記録媒体１７は、画像記録装置１に対して着脱可能なものであり、例えば、デジタルビデオテープ、記録可能なＤＶＤなどの光ディスク、あるいは、光磁気ディスク、あるいは、半導体メモリなどの比較的に記録容量の大きなものである。

図１において、撮像部１１は、内蔵するＣＣＤ(Charge Coupled Device) 等の撮像素子上に被写体の画像を結像させ、撮像素子上に蓄積された画像のデータを、各画素毎にアナログ信号からデジタル信号に変換した後、１画像分（１フレーム分）のデータ毎に格納部１２に転送する。また、撮像部１１は、制御部１５からの制御信号に基づいて、被写体を撮像する時間間隔 (以下、撮像レートと呼ぶ。) を変更することができるようにされている。

格納部１２は、半導体メモリ等を含み、撮像部１１から入力される撮像データ（画像データ）の複数画面分（複数フレーム分）を一時記憶することができるものである。そして、格納部１２に格納（記憶）された撮像データは、詳細を後述する記録部１３および変位検出部１４によって必要に応じて読み出される。

記録部１３は、格納部１２が記憶している撮像データを読み出し、撮像データの属性情報とともに、記録媒体１７への書き込みを行う。また、記録部１３は、制御部１５からの制御信号に基づいて、撮像データを間引いて記録媒体に記録する時間間隔 (以下、記録レートと呼ぶ。) を変更する。

変位検出部１４は、格納部１２が記憶している複数画面分の撮像データから、画像上（画面上）における被写体の変位を検出し、その検出結果を変位データとして制御部１５に通知する。移動検出部１６は、画像記録装置１の空間移動を検出し、その検出結果を移動データとして制御部１５に通知する。

制御部１５は、変位検出部１４からの変位データおよび移動検出部１６からの移動データ、或は、入力部１８からのコマンドに基づいて、撮像部１１における撮像レートおよび記録部１３における記録レートを制御する。

入力部１８は、記録動作の開始キーや終了キーなどの複数の操作キーを備え、画像記録装置１の使用者により入力されるコマンドを受け付けて、これを制御部１５に通知する。これにより、制御部１５は、各部を制御し、画像記憶装置１が使用者からの指示に応じた処理を行うことができるようにされる。

このように、画像記録装置１は、被写体の画像を撮像して撮像データ（画像データ）として取り込み、記録媒体に記録することができるものであるが、記録時においては、画像記録装置１自体の移動や、被写体画像の変位を検出し、それらの検出結果に応じて、撮像部１１を制御して格納部１２に取り込む撮像データの量を増やしたり、減らしたりしたり、また、格納部１２から記録媒体１７に記録する撮像データの量を増やしたり、減らしたりすることができるようにしている。

なお、この例の場合、記録部１３が、制御部１５からの記録レートに基づいて、格納部１２からの撮像データとその属性情報を記録媒体１７に記録している。しかし、これに限るものではない。例えば、制御部１５からの記録レートに基づいて格納部１２からの撮像データとその属性情報を送信する送信部を備え、更に、送信部から送信される情報を受信する受信部を備え、記録部１３は、受信部が受信した撮像データとその属性情報を記録媒体１７に記録するように構成することも可能である。これにより、記録媒体１７を物理的に離れた場所に設置し、例えば伝送帯域が比較的狭い無線通信などの通信手段を介して、画像記録装置１で取得した撮像データとその属性情報を記録媒体１７に記録することも可能である。

［画像記録装置１の撮像部１１について］
次に、図１に示したこの実施の形態の画像記録装置１の撮像部１１の構成例について説明する。撮像部１１は、図２に示すように、撮像レンズ２１、撮像素子２２、サンプル・ホールド部２３、ゲイン制御部２４、ＡＤ（アナログ／デジタル）変換部２５、駆動部２６、タイミング発生部２７、制御信号受信部２８を備えたものである。

被写体からの入射光は、撮像レンズ２１を通して撮像素子２２上に結像され、光電変換された画素毎の電荷が撮像素子２２に蓄積される。上述もしたように、撮像素子２２はＣＣＤ等で構成され、カラー撮像の場合、その撮像面には色フィルタが各画素上に交互に設けられている。撮像素子２２に蓄積された電荷は、駆動部２６からの同期信号によって、垂直方向および水平方向に交互に転送され、サンプル・ホールド部２３に保持される。

サンプル・ホールド部２３において、信号レベルが一定となるように保持された信号は、ゲイン制御部２４でレベルを調整され、ＡＤ変換部２５に入力される。ＡＤ変換部２５は、入力されたアナログ信号をデジタル信号に変換し、撮像データとして撮像部１１より出力する。

制御信号受信部２８は、制御部１５より、撮像レートを示す制御信号を受信し、当該制御信号に基づいて、タイミング発生部２７を制御する。制御信号受信部２８は、撮像レートを上げる場合には、駆動部２６による電荷の転送間隔が短くなるように、タイミング発生部２７を制御し、一方、撮像レートを下げる場合には、駆動部２６による電荷の転送間隔が長くなるように、タイミング発生部２７を制御する。

このように、撮像部１１は、制御部１５からの制御信号に基づいて、撮像レートを変更し、撮像データの格納部１２への取り込み量を調整することができるものである。

［画像記録装置１の記録部１３について］
次に、図１に示したこの実施の形態の画像記録装置１の記録部１３の構成例について説明する。記録部１３は、図３に示すように、撮像データ取得部３１、画像データ処理部３２、記録媒体制御部３３、制御信号受信部３４を備えたものである。

撮像データ取得部３１は、制御信号受信部３４からの制御信号に基づいて、上述した格納部１２に格納されている撮像データ（画像データ）を読み出し、画像データ処理部３２に転送する。画像データ処理部３２は、撮像データ取得部３１より転送された撮像データに対して、例えば、データ圧縮処理やデータ形式変換処理等、所定の処理を実行した後、これを記録媒体制御部３３に転送する。

記録媒体制御部３３は、制御信号受信部３４からの制御信号に基づいて、画像データ処理部３２より転送された撮像データを、その属性情報とともに、上述した記録媒体１７に書き込む。撮像データの属性情報は、データサイズ、記録レート等を含んでいる。

制御信号受信部３４は、制御部１５より、記録レートを示す制御信号を受信し、当該制御信号に基づいて、撮像データ取得部３１および記録媒体制御部３３を制御する。つまり、記録レートを上げる場合には、撮像データの取得間隔が短くなるように撮像データ取得部３１を制御し、記録データの記録間隔が短くなるように記録媒体制御部３３を制御する。一方、記録レートを下げる場合には、撮像データの取得間隔が長くなるように撮像データ取得部３１を制御し、記録データの記録間隔が長くなるように記録媒体制御部３３を制御する。

更に、制御信号受信部３４は、制御部１５からの制御信号によって、最大の記録レートで撮像データを記録するように指示されている場合には、格納部１２に格納されている撮像データをすべて記録媒体に記録するように、撮像データ取得部３１と記録媒体制御部３３を制御する。

このように、記録部１３は、制御部１５からの制御信号に基づいて、記録レートを変更し、格納部１２に記録されている撮像データの記録媒体への記録量を調整することができるものである。

［画像記録装置１の変位検出部１４について］
次に、図１に示したこの実施の形態の画像記録装置１の変位検出部１４の構成例について説明する。変位検出部１４は、図４に示すように、撮像データ取得部４１、特徴点抽出部４２、バッファメモリ４３、変位データ演算部４４を備えたものである。

撮像データ取得部４１は、上述した格納部１２に新たに格納された撮像データ（画像データ）を読み出し、取得した撮像データを特徴点抽出部４２に供給する。格納部１２からの撮像データの読み出しは、格納部１２に新たな撮像データが格納される度に実行する以外に、定期的に格納部１２から撮像データを読み出すようにしても良い。

特徴点抽出部４２は、撮像データ取得部４１より供給される撮像データから特徴点を抽出し、その結果をバッファメモリ４３に蓄積する。例えば、画像データのエッジ成分を検出することによって特徴点とすることができる。

変位データ演算部４４は、バッファメモリ４３に蓄積された、複数画面（複数フレーム）の各画面毎（各フレーム毎）の撮像データの特徴点に基づいて、隣接する画面（フレーム）の撮像データ間の変位量および変位方向を算出し、その結果を変位データとして制御部１５に供給する。

撮像データの特徴点としてエッジ成分を利用する場合は、時間的に古い画像データのエッジ成分を基準として、時間的に新しい画像データのエッジ成分とのマッチングを取ることによって、撮像データ間の変位方向と変位量を求めることができる。

例えば、撮像部１１が直進移動している状態で撮像した撮像データや、撮像部１１が移動している状態でそれとは別に移動しているものを撮像した撮像データなどでは、撮像データ上に変位量の異なる部分が混在することになる。このような場合には、変位量の異なる部分それぞれの面積のうち、最も広い部分における変位量を、その画像データにおける変位量としたり、或いは、画像データの中心部における変位量を、その画像データにおける変位量としたり、或いは、各部分の変位量にその部分の面積比を積算したものの総和を、その画像データの変位量とすることができる。画像データ上に変位方向の異なる部分が複数混在する場合も、上述した変位量を求める方法と同様にして求めることができる。

具体的には、例えば、図５Ａに示すように、画面内に移動するオブジェクトＯｂｊがある場合に、このオブジェクトＯｂｊの連続するフレーム間の変位量を画像データの変位量とすることができる。しかし、図５Ｂに示すように、画面内に占める面積が小さなオブジェクトＯｂｊ１、Ｏｂｊ２、Ｏｂｊ３が移動しているような場合ももちろんある。このため、単に移動するオブジェクトの移動量ではなく、上述のように、各オブジェクトの面積をも考慮して各オブジェクトの変位量を求め、これを画像データの変位量することにより、被写体画像の変位量を正確に求めることができる。

［画像記録装置１の移動検出部１６について］
次に、図１に示したこの実施の形態の画像記録装置１の移動検出部１６の構成例について説明する。移動検出部１６は、この例においては、図６に示すように、加速度検出部５１、角速度検出部５２、位置情報受信部５３、バッファメモリ５４、移動データ演算部５５を備えたものである。

加速度検出部５１は、加速度センサーを内蔵し、画像記録装置１に加わった加速度を加速度センサーによって数値化して、バッファメモリ５４に蓄積する。角速度検出部５２は、角速度センサーを内蔵し、画像記録装置１にかかる角速度を角速度センサーによって数値化して、バッファメモリ５４に蓄積する。

位置情報受信部５３は、ＧＰＳ（Global Positioning System:全地球測位システム）レシーバを内蔵し、ＧＰＳ衛星からの電波を受信し、緯度、経度、高度等を数値化して、バッファメモリ５４に蓄積する。当該位置情報受信部５３は、ＦＭ放送の電波を利用して、ＧＰＳ衛星からの信号により計測した結果を補正する、ＤＧＰＳ(Differential GPS)を利用することも可能である。

移動データ演算部５５は、バッファメモリ５４に蓄積された、一定時間間隔の当該画像記録装置１の加速度、角速度、および位置情報に基づいて、当該装置１の移動状態を算出し、その結果を移動データとして制御部１５に供給する。

当該画像記録装置１の移動状態を示す移動データとしては、例えば、水平方向および垂直方向の移動速度、水平方向および垂直方向の回転速度、移動方向や回転方向を示す値等を含む。

［画像記録装置１の制御部１５について］
次に、図１に示したこの実施の形態の画像記録装置１の制御部１５の構成例について説明する。記録部１５は、図７に示すように、変位データ受信部６１、撮像レート制御部６２、演算部６３、記録レート制御部６４、移動データ受信部６５、コマンド受信部６６を備えたものである。

変位データ受信部６１は、上述した変位検出部１４から供給される変位データを受信し、演算部６３に供給する。変位データ受信部６１は、一定間隔で変位データを受信するようにしても良いが、変位データに所定範囲を超える変動が生じた場合にのみ受信するようにすることも可能である。

移動データ受信部６３は、上述した移動検出部１６から供給される移動データを受信し、演算部６３に供給する。移動データ受信部６３は、一定間隔で移動データを受信するようにしても良いが、移動データに所定範囲を超える変動が生じた場合にのみ受信するようにすることも可能である。

コマンド受信部６６は、当該画像記録装置１の使用者等によって入力部１８を通じて入力されるコマンドを受信し、演算部６３に供給する。コマンドの種類としては、画像記録の開始および停止、記録レートの高速化および低速化等を指示するものを含む。

演算部６３は、変位データ受信部６１から供給される変位データ、および、移動データ受信部６５から供給される移動データに基づいて、撮像レートおよび記録レートを決定し、更に、コマンド受信部６６から供給されるコマンドに応じて、撮像レートおよび記録レートを修正し、撮像レートを撮像レート制御部６２に供給し、記録レートを記録レート制御部６４に供給する。

撮像レート制御部６２は、演算部６３から供給された撮像レートに基づいて、撮像部１１を制御する。撮像レート制御部６２は、撮像レートを上げる場合には、撮像部１１が単位時間に撮像する画像データの枚数が増えるように、撮像部１１を制御し、撮像レートを下げる場合には、単位時間に撮像する画像データの枚数が減るように、撮像部１１を制御する。

記録レート制御部６４は、演算部６３から供給された記録レートに基づいて、記録部１３を制御する。記録レート制御部６４は、記録レートを上げる場合には、記録部１３が記録媒体１７に単位時間に記録する画像データの枚数が増えるように、記録部１３を制御し、記録レートを下げる場合には、単位時間に撮像する画像データの枚数が減るように、記録部１３を制御する。

記録レートを決定する方法としては、例えば、先ず、記録レートの初期値、上限値および下限値を設定しておき、次に、変位検出部１４から逐次供給される変位データが、被写体の変位が増加していることを示している場合は、その変位量に応じて、設定した上限値を上限として徐々に記録レートを上げ、逆に、被写体の変位が減少していることを示している場合は、その変位量に応じて、設定した下限値を下限として徐々に記録レートを下げる方法がある。

記録レートを決定する別の方法として、例えば、先ず、記録レートの初期値、上限値および下限値を設定しておき、次に、移動検出部１６から逐次供給される移動データが、当該装置１が加速して移動していることを示している場合は、その移動速度に応じて、設定した上限値を上限として徐々に記録レートを上げ、逆に、当該装置１が減速していることを示している場合は、その移動速度に応じて、設定した下限値を下限として徐々に記録レートを下げる方法がある。

勿論、変位検出部１４から供給される変位データ、および、移動検出部１６から供給される移動データの両方を使用して記録レートを決定することも可能である。特に、当該画像記録装置１および被写体の双方が移動している場合には、当該画像記録装置１が移動することによる画像データ上の変位と、被写体が移動することによる画像データ上の変位との区別が困難になる。

しかし、この実施の形態においては、上述もしたように、移動検出部１６によって検出される当該画像記録装置１の移動量および移動方向を利用し、変位検出部１４によって検出される画像データ上の変位量および変位方向から当該画像記録装置１の移動による影響を取り除くことによって、実際に動いている被写体を正確に検出することができる。

つまり、この発明を適用することにより、この実施の形態の画像記録装置１は、当該画像記録装置１および被写体の双方が任意に移動している場合であっても、被写体の動きを検出することが可能であり、検出した被写体の動きに応じて記録レートを決定することで、より効率的な画像データの記録が可能になる。

撮像レートに関しては、上述した記録レートと同様の方法で決定することができるが、撮像レートは常に記録レートよりも高くなるように（記録レートは常に撮像レートよりも低くなるように）制御する必要がある。

［記録制御処理について］
次に、図８のフローチャートを参照して、制御部１６における記録制御処理について説明する。

制御部１５は、コマンド受信部６６に供給されたコマンドに基づいて、図８に示す記録制御処理を開始する。先ず、演算部６３は、撮像レートおよび記録レートの初期値を設定する（ステップＳ１０１）。次に、撮像レート制御部６２は、撮像部１１を、ステップＳ１０１で設定した撮像レートで撮像するよう制御を開始し、記録レート制御部６４は、記録部１３を、ステップＳ１０１で設定した記録レートで記録するよう制御を開始する（ステップＳ１０２）。

以後、制御部１５は、撮像レートを変更した場合には、変更した撮像レートで撮像するように撮像部１１を制御し、記録レートを変更した場合には、変更した記録レートで記録するように記録部１３を制御する。

演算部６３は、コマンド受信部６６を通じて、記録レートの変更要求を受信したか否かを判断する（ステップＳ１０３）。記録レート変更の要求内容としては、所定の記録レートに変更する要求、或いは、現在の記録レートから所定値分を変更する要求、或いは、最大の記録レー卜に変更する要求などとすることができる。尚、記録レートをゼロとする要求は、画像データの記録を停止することと同じ意味を持つ。

そして。ステップＳ１０３の判断処理において、記録レートの変更要求はない（Ｎｏ）と判断したときには、演算部１６は、移動データ受信部６５を通じて、移動データを受信するようにし（ステップＳ１０４）、受信した移動データに基づいて、記録レートを変更するか否かを判定する（ステップＳ１０５）。記録レートを変更するか否かの判定基準としては、例えば、移動データが示す当該装置１の移動速度や移動方向が所定範囲外であれば記録レートを変更し、一方、移動速度や移動方向が所定範囲以内であれば記録レートは変更しない、とすることができる。

ステップＳ１０５の判断処理において、記録レートを変更する（Ｙｅｓ）と判断したときには、演算部６３は、変位データ受信部６１を通じて変位データを受信するようにし（ステップＳ１０６）、受信した変位データに基づいて、記録レートを変更するか否かを判断する（ステップＳ１０７）。記録レートを変更するか否かの判定基準としては、例えば、変位データが示す被写体の変位速度や変位方向が所定範囲外であれば記録レートを変更し、一方、変位速度や変位方向が所定範囲以内であれば記録レートを変更しない、とすることができる。

ステップＳ１０７の判断処理において、記録レートを変更する（Ｙｅｓ）と判断したときには、演算部６３は、詳細を後述する記録レート変更処理を実行し、その結果である撮像レートおよび記録レートを、それぞれ撮像レー卜制御部６２および記録レート制御部６４に通知し、それらを通じて撮像部１１、記録部１３を制御して、記録レートを変更する（ステップＳ１０８）。

そして、演算部６３は、コマンド受信部６６を通じて記録終了コマンドを受信したか否か、すなわち、記録制御処理を終了するか否かを判定し（ステップＳ１０９）、終了しない（ＮＯ）と判定したときには、ステップＳ１０３からの処理を繰り返すようにし、終了する（Ｙｅｓ）と判定したときには、この図８に示す処理を終了する。このように、ステップＳ１０９における記録制御処理を継続するか終了するかの判定は、コマンド受信部６６から供給されるコマンドによって判定することができる。

なお、ステップＳ１０３の判断処理において、記録レートの変更要求がある（Ｙｅｓ）と判断したときには、上述したステップＳ１０８の処理に進み、記録レートの変更処理を行うことになる。

また、ステップＳ１０５の判断処理において、記録レートを変更しないと判断した場合、および、ステップＳ１０７の判断処理において、記録レートを変更しないと判断した場合には、ステップＳ１０９の処理に進み、記録制御処理を終了するか否かを判断することになる。

［記録レート変更処理について］
次に、図９のフローチャートを参照して、図８に示した記録制御処理のステップＳ１０８において実行される記録レー卜変更処理について説明する。

演算部６３は、図８に示したステップＳ１０８において、図９に示す記録レート変更処理を開始する。まず、演算部６３は、記録レートを上げるかまたは下げるかを判定する（ステップＳ２０１）。

ステップＳ２０１の判断処理においては、例えば、変位データが示す被写体の変位速度が増加している（被写体が加速している）場合、或いは、移動データが示す当該画像記録装置１の移動速度あるいは回転速度が増加している（当該装置１が加速している）場合に記録レートを上げると判定し、一方、変位データが示す被写体の変位速度が減少している（被写体が減速している）場合、或は、移動データが示す当該装置１の移動速度あるいは回転速度が減少している（当該装置１が減速している）場合に記録レートを下げると判定することができる。

更に、ステップＳ２０１においては、上述したように、変位データが示す画像データ上での変位量および変位方向と、移動データが示す当該装置１の移動量および移動方向を利用して、画像データ上の被写体を検出し、現在の記録レートと検出した被写体の移動速度に基づいて、記録レートを上げるか下げるかを判定することも可能である。

演算部６３は、ステップＳ２０１で、記録レートを上げる（Ｕｐ）と判定した場合には、記録レートを上げた際の記録レートと現在の撮像レートを比較し、記録レートが撮像レートを越えるか否かを判断する（ステップＳ２０２）。

ステップＳ２０２の判断処理において、記録レートが撮像レートを越える（Ｙｅｓ）と判断したときには、演算部６３は、撮像レートを上げるように撮像レート制御部６２に通知し（ステップＳ２０３）、この後に記録レートを上げるように記録レート制御部６４に通知する（ステップＳ２０４）。また、ステップＳ２０２の判断処理において、記録レートが撮像レートを超えない（Ｎｏ）と判断したときには、ステップＳ２０４の処理に進み、ステップＳ２０３の処理は行わずに記録レートを上げるように記録レート制御部６４に通知する。ステップＳ２０４の処理の後、この図９に示す処理を抜けて、図８に示した記録制御処理に復帰し、ステップＳ１０９からの処理を行うことなる。

また、ステップＳ２０１の判断処理において、記録レートを下げる（Ｄｏｗｎ）と判定した場合には、演算部６３は、ステップＳ２０５の処理に進み、記録レートを下げるように記録レート制御部６４に通知する（ステップＳ２０５）。そして、演算部６３は、撮像レートを下げるか否かを判断する（ステップＳ２０６）。例えば、現在の撮像レートの値や撮像レートと記録レートとの差が所定値以上となっている場合や、現在の撮像レートが記録レートの所定倍数以上となっている場合に、撮像レートを下げると判定する。

演算部６３は、ステップＳ２０６で、撮像レートを下げる（Ｙｅｓ）と判定すると、撮像レートを下げるように、前記撮像レート制御部６２に通知し（ステップＳ２０７）、この後、この図９に示す処理を抜けて、図８に示した記録制御処理に復帰し、ステップＳ１０９からの処理を行うことなる。また、ステップＳ２０６において、撮像レートを下げない（Ｎｏ）と判定した場合にも、この図９に示す処理を抜けて、図８に示した記録制御処理に復帰し、ステップＳ１０９からの処理を行うことなる。

以上のように、例えば、この実施の形態の画像記録装置１が低速で移動している状態で、被写体が当該画像記録装置１よりも高速に移動している場合、撮像データ上における被写体の変位速度に応じて記録レートを上げることによって、被写体を写した撮像データをより多く記録することが可能である。

更に、例えば、被写体が停止している状態で、当該画像記録装置１が移動している場合、当該装置１の移動速度の増加に応じて記録レートを上げることによって、被写体を写した撮像データをより多く記録することができ、また、当該画像記録装置１の移動速度の減少に応じて記録レートを下げることによって、記録する撮像データのデータ量を減らすことができる。

すなわち、撮像画像の変位である被写体との相対位置の変化量と、画像記録装置自体の移動とに基づいて、撮像画像の変位の絶対量を特定し、これに応じて被写体を撮影して得た撮像データ（画像データ）を最適な記録レートで記録することができるようにしている。

更に、撮像データ上に変位速度の異なる部分が存在する場合、撮像データ上で最も大きな面積を占めている部分の変位速度に応じて記録レートを変更することによって、高速に移動するが重要でない被写体を含む撮像データの記録を抑えることができる。或いは、撮像データ上に変位速度の異なる部分が存在する場合、撮像データ上の中心部分の変位速度に応じて記録レートを変更することによって、高速に移動するが重要でない被写体を含む撮像データの記録を抑制することが可能である。

この実施の形態の画像記録装置１の最も重要な特徴（この本発明の最も重要な特徴）は、画像記録装置１の移動状態と被写体の変位状態に基づいて、記録レートおよび撮像レートを様々に制御することによって、被写体を逃すことなく画像データとして記録しながら、記録する画像データのデータ量を抑制することが可能になることである。

［他の実施の形態］
上述した実施の形態の画像記録装置１は、撮影時において、画像記録装置１の移動状態と被写体の変位状態とに基づいて、リアルタイムに記録レート、撮像レートを制御し、記録媒体に記録する画像データの量を抑制するようにした。しかし、撮影時においては、画像データのデータ量を抑制することなく記録媒体に記録し、この記録した画像データの別の記録媒体に記録して保存する場合に、保存する画像データのデータ量を抑制するようにしたい場合もある。

そこで、この他の実施の形態の画像記録システムは、画像記録装置（カメラ装置）２と画像処理装置（レコーダ）３とからなり、画像記録装置２においては、撮像して得た画像データ（撮像データ）のデータ量を抑制することなくそのまま記録媒体に記録するようにする。そして、撮影して記録媒体に記録した画像データを、保存するために他の記録媒体に移し替えるときに、保存する画像データのデータ量を抑制するようにしたものである。すなわち、バッチ処理で画像データのデータ量を抑制することができるようにしたものである。

［画像処理システムの画像記録装置２について］
図１０は、この他の実施の形態の画像処理システムを構成する画像記録装置２を説明するためのブロック図である。この例の画像記録装置２は、記録媒体への画像データの記録処理と読み出し処理を行う書き込み／読み出し部１９と、記録媒体１７から読み出された情報を外部の機器に対して出力するための出力端子２０を備えたものである。

書き込み／読み出し部１９、出力端子２０以外の各部は、基本的には図１に示した各部と同様に構成される。このため、図１０に示す画像処理装置２において、図１に示した画像記録装置１と同様に構成される部分には、同じ参照符号を付すこととする。

そして、この実施の形態の画像処理装置２の場合には、撮影時には記録媒体１７に記録する画像データのデータ量を抑制することは行わず、撮影した画像の画像データをそのまま記録媒体１７に記録する。もちろん、記録時においては、画像データのデータ圧縮処理やデータ形式変換処理等の所定の処理も行う。

そして、この画像記録装置２において、この撮像した画像の画像データを記録媒体１７に記録する場合には、変位検出部１４において撮像した画像の画像データに基づいて検出する被写体の変位量や変位方向を含む変位データと、移動検出部１６において検出する当該画像記録装置２の空間移動に関する情報である移動データとを、例えば制御部１５を通じて書き込み／読み出し部１９に供給し、これらの付加情報を撮像した画像の画像データに対応付けるようにして（同期を取って）記録媒体１７に記録するようにしている。

すなわち、撮像された各画面（各フレーム）の画像データに対して、前フレームとの間に生じた被写体の変位量や変位方向、画像記録装置２の空間移動に関する情報が対応付けて記録するようにしている。もちろん、被写体の変位量や変位方向、画像記録装置２の空間移動に関する情報は、複数フレームおきの画像データに対して対応付けるようにすることもできる。

そして、撮影終了後において、記録媒体１７に記録された画像データを読み出す場合には、書き込み／読み出し部１９は、画像データとともに、記録媒体に記録されている変位データと、画像記録装置２についての移動データとを読み出し、画像データとの関係を損なわないようにして、出力端子２０を通じて外部に出力することができるようにしている。なお、この例の場合、読み出した画像データの圧縮解凍処理やデータ形式変換処理等も書き込み／読み出し部１９において行うようにしている。

このように、この他の実施の形態の画像記録装置２は、撮影時においては、記録媒体１７に記録する撮影した画像の画像データのデータ量を抑制する処理は行わないが、例えば、再生する場合などにおいて、記録媒体１７からこれに記録されている画像データを読み出す場合において、画像データに対応付けられている被写体についての変位データと画像記録装置２についての移動データとを読み出して、画像データとともに、外部に出力することができるものである。

［画像処理システムの画像処理装置３について］
図１１は、この他の実施の形態の画像処理システムを構成する画像処理装置３を説明するためのブロック図である。この例の画像処理装置３は、図１１に示すように、入力端子７１、インターフェース（以下、Ｉ／Ｆと略称する。）７２、格納部７３、記録部７４、制御部７５、入力部７６を備えるものである。

入力端子７１は、図１０に示した画像記録装置２の出力端子２０から出力される画像データ、変位データ、移動データの供給を受け付ける。入力端子７１を通じて受け付けた情報は、Ｉ／Ｆ７２に供給される。Ｉ／Ｆ７２には、これに供給された情報から、画像データ、変位データ、移動データのそれぞれを分離し、画像データを格納部７３に供給して記録させるようにするとともに、変位データと移動データとを制御部７５に供給する。

格納部７３は、半導体メモリ等を含み、Ｉ／Ｆ７２から供給される画像データの複数画像分を一時記憶することができるものである。そして、格納部１２に格納（記憶）された画像データは、記録部７４によって必要に応じて読み出される。

記録部７４は、格納部７３が記憶している画像データを読み出し、画像データの属性情報とともに、記録媒体７７への書き込みを行う。この場合に、記録部７４は、制御部７５からの制御信号に基づいて、画像データを間引いて記録媒体に記録する時間間隔（記録レート）を変更する。

制御部７５は、Ｉ／Ｆ７２から供給された変位データおよび移動データ、或は、入力部７６からのコマンドに基づいて、記録部７４における記録レートを制御する。なお、例えば、この図１１に示す画像処理装置３が、図１０に示した画像記録装置２に対して、情報の出力速度（転送速度）の変更を要求できるような場合においては、制御部７５の制御により、Ｉ／Ｆ７２におけるデータの取り込み速度を制御するようにすることもできる。

入力部７６は、記録動作の開始キーや終了キーなどの複数の操作キーを備え、画像処理装置３の使用者により入力されるコマンドを受け付けて、これを制御部７５に通知する。これにより、制御部７５は、各部を制御し、画像処理装置３が使用者からの指示に応じた処理を行うことができるようにされる。

そして、上述したように、記録部７４は、制御部７５の制御により、画像記録装置２の撮影時の移動データや、被写体画像の変位データに応じて、記録媒体７７に記録する画像データを増やしたり、減らしたりしたりすることができるようにしている。つまり、画像記録装置２により撮影されて記録媒体１７に記録された画像データを、例えば、保存のために他の記録媒体７７に記録しなおす場合において、保存する画像データのデータ量を抑制することができるようにしている。

このように、この他の実施の形態の画像処理システムにおいては、画像記録装置２が記録媒体１７に記録した画像データについて、画像処理装置３を用いることにより、記録媒体７７に記録しなおすときに、いわゆるバッチ処理で記録媒体７７に記録する画像データのデータ量を抑制するようにすることができる。すなわち、図８、図９を用いて説明した記録制御処理、記録レート変更処理が、図１１に示した画像処理装置３において実行されることになる。

なお、この例の場合、図１０に示した画像記録装置２の出力端子２０と画像処理装置３の入力端子７１とは、例えば有線で接続するようにされる。しかし、これに限るものではない。図１０に示した画像記録装置２が、記録媒体から読み出した情報の送信部を備え、図１１に示した画像処理装置３が、画像記録装置２から送信される情報の受信部を備えることにより、無線によって画像記録装置２と画像処理装置３とを接続することも可能である。

また、この場合、画像記録装置２と画像処理装置３とを、ＬＡＮ（Local Area Network）を通じて接続することも可能であるし、インターネットなどの広域ネットワークを通じて接続することも可能である。

また、図１０に示した画像記録装置２において、書き込み／読み出し部１９を、画像処理装置３に情報を送信する送信部に変更し、図１１に示した画像処理装置３のＩ／Ｆ７２を画像記録装置２からの情報を受信部に変更することにより、画像記録装置２で撮像された撮像データと、被写体画像の変位量と、撮影時の画像記録装置２の空間移動に関する情報とを、対応付けて画像処理装置３に送信し、画像記録装置３において、画像記録装置２からの撮像データをリアルタイムに記録媒体７６に記録するようにすることも可能である。

この場合に、記録媒体７７に記録される撮像データのデータ量を、同時に提供される被写体画像の変位量と、撮影時の画像記録装置２の空間移動に関する情報とに基づいて抑制することができる。

また、記録媒体からの再生機能と他の記録媒体への記録機能とを備えた記録再生装置を構成することもできる。つまり、図１１に示した画像処理装置３に、画像データと、被写体画像の変位量と、撮影時の画像記録装置２の空間移動に関する情報とが記録された記録媒体（供給元の記録媒体）の装填部と、この供給元の記録媒体に記録されている画像データと、被写体画像の変位量と、撮影時の画像記録装置２の空間移動に関する情報とを読み出す読み出し部を設ける。

この新たに設ける読み出し部によって読み出された画像データを格納部７３に供給するとともに、読み出された被写体画像の変位量と、撮影時の画像記録装置２の空間移動に関する情報とを制御部７５に供給するようにする。このように、記録媒体からの再生機能と他の記録媒体への記録機能とを備えるようにすれば、記録媒体１７に記録された画像データを他の記録媒体７７に記録する際に、記録する画像データのデータ量を抑制することが可能な記録再生装置を実現できる。

［その他］
なお、上述した実施の形態において、移動検出部１６は、加速度検出部５１、角速度検出部５２、位置情報受信部５３を備えるものとして説明した。しかし、これに限るものではない。加速度検出部、角速度検出部、位置情報受信部の内の少なくとも１つ以上を備えた移動検出部を構成することもできるし、加速度検出部、角速度検出部、位置情報受信部の内の任意の２つを備えた移動検出部を構成することもできる。

また、加速度検出部５１によって検出される加速度と単位時間とからその時点における速度を求め、この速度をも画像記録装置の空間移動に関する情報である移動データの１つとして用いるようにしてももちろんよい。移動方向の変化の回数なども移動データとして用いるようにすることができる。

また、上述した実施の形態においては、記録部１３、記録部７４が、記録レートを変更することにより、記録する画像データのフレーム数を調整することにより、記録媒体１７、７７に記録する画像データのデータ量を調整するようにした。しかし、これに限るものではない。例えば、画像データの圧縮率、色彩などを調整するようにしてもよい。

例えば、被写体画像の変位や画像記録装置の移動が大きい場合には、圧縮率を低く抑えたり、色彩の表現精度を上げたりし、被写体画像の変位や画像記録装置の移動が小さい場合には、圧縮率を上げたり、色彩の表現精度を下げたりすることにより、画像データのデータ量を抑制するようにしたりすることもできる。このように、画像データの調整は、フレーム単位の画像データの間引き処理だけでなく、各フレーム毎の画像データの調整によって、抑制するようにしてもよい。

本発明を適用した画像記録装置の構成を示すプロック図である。 図１の撮像部の構成を示すブロック図である。 図１の記録部の構成を示すプロック図である。 図１の変位検出部の構成を示すプロック図である。 画像データの変位量の求め方について説明するための図である。 図１の移動検出部の構成を示すプロック図である。 図１の制御部の構成を示すプロック図である。 記録制御処理について説明するフローチャートである。 記録レート変更処理について説明するフローチャートである。 本発明を適用した画像処理システムの画像記録装置を説明するためのブロック図である。 本発明を適用した画像処理システムの画像処理装置を説明するためのブロック図である。

符号の説明

１…画像記録装置、１１…撮像部、１２…格納部、１３…記録部、１４…変位検出部、１５…制御部、１６…移動検出部、１７…記録媒体、１８…入力部

Claims (14)

1. 被写体を撮影して画像データを生成する撮像手段と、
   前記撮像手段で生成された複数の画像データを格納する格納手段と、
   前記格納手段に格納した画像データを記録媒体に記録する記録手段と、
   自機自体の移動に関する情報を検出する移動検出手段と、
   前記撮像手段により撮像され、前記格納手段に格納された隣接する画像の画像データに基づいて、隣接する画像間の変位に関する情報を検出する変位検出手段と、
   前記移動検出手段による検出結果と、前記変位検出手段による検出結果とに応じて、前記記録媒体に記録する画像データのデータ量を調整する必要があるか否かを判別すると共に、調整する必要があると判別した場合には、前記移動検出手段による検出結果を用いて、前記変位検出手段による検出結果から前記自機自体の移動による影響を取り除くよう検出結果を修正し、当該修正後の前記変位検出手段による検出結果に応じて、前記撮像手段と前記記録手段との一方あるいは両方を制御して、前記記録媒体に記録する画像データのデータ量を調整する制御手段と
   を備える画像記録装置。
2. 請求項１に記載の画像記録装置であって、
   前記移動検出手段は、加速度検出手段を含み、当該画像記録装置の移動時の加速度を検出する画像記録装置。
3. 請求項１に記載の画像記録装置であって、
   前記移動検出手段は、角速度検出手段を含み、当該画像記録装置の回転移動時の角速度を検出する画像記録装置。
4. 請求項１に記載の画像記録装置であって、
   前記移動検出手段は、位置情報受信手段を含み、当該画像記録装置の位置の変位量を検出する画像記録装置。
5. 請求項１に記載の画像記録装置であって、
   前記変位検出手段は、画像データ上において、変位する部分が最も広い部分の変位量と変位方向とを検出する画像記録装置。
6. 請求項１に記載の画像記録装置であって、
   前記変位検出手段は、画像データ上において、その中心部分で変位する部分の変位量と変位方向とを検出する画像記録装置。
7. 被写体を撮影して画像データを生成する撮像ステップと、
   前記撮像ステップで生成した複数の画像データを所定のメモリに格納する格納ステップと、
   前記格納ステップで前記メモリに格納した画像データを記録媒体に記録する記録ステップと、
   自機自体の移動に関する情報を検出する移動検出ステップと、
   前記撮像ステップにおいて撮像し、前記格納ステップにおいて所定のメモリに格納した隣接する画像の画像データに基づいて、隣接する画像間の変位に関する情報を検出する変位検出ステップと、
   前記移動検出ステップにおいて検出した検出結果と、前記変位検出ステップにおいて検出した検出結果とに応じて、前記記録媒体に記録する画像データのデータ量を調整する必要があるか否かを判別すると共に、調整する必要があると判別した場合には、前記移動検出ステップにおいて検出した検出結果を用いて、前記変位検出ステップにおいて検出した検出結果から前記自機自体の移動による影響を取り除くよう検出結果を修正し、当該修正後の前記変位検出ステップにおいて検出した検出結果に応じて、前記撮像ステップによる処理と前記記録ステップによる処理との一方あるいは両方を制御して、前記記録媒体に記録する画像データのデータ量を調整する制御ステップと
   を有することを特徴とする画像記録方法。
8. 請求項７に記載の画像記録方法であって、
   前記移動検出ステップにおいては、加速度検出手段を通じて自機の移動時の加速度を検出する画像記録方法。
9. 請求項７に記載の画像記録方法であって、
   前記移動検出ステップにおいては、各速度検出手段を通じて自機の回転移動時の角速度を検出する画像記録方法。
10. 請求項７に記載の画像記録方法であって、
    前記移動検出ステップにおいては、位置情報受信手段を通じて自機の位置の変位量を検出する画像記録方法。
11. 請求項７に記載の画像記録方法であって、
    前記変位検出ステップにおいては、画像データ上において、変位する部分が最も広い部分の変位量と変位方向とを検出する画像記録方法。
12. 請求項７に記載の画像記録方法であって、
    前記変位検出ステップにおいては、画像データ上において、その中心部分で変位する部分の変位量と変位方向とを検出する画像記録方法。
13. 撮像した画像データを記録媒体に記録する画像記録装置と、前記画像記録装置により前記記録媒体に記録された画像データを他の記録媒体に記録する画像処理装置とからなる画像記録システムであって、
    前記画像記録装置は、
    被写体を撮影して画像データを生成する撮像手段と、
    当該画像記録装置の移動に関する情報を検出する移動検出手段と、
    前記撮像手段により撮像され、格納手段に格納された隣接する画像の画像データに基づいて、隣接する画像間の変位に関する情報を検出する変位検出手段と、
    前記撮像手段で生成された画像データと、前記移動検出手段において検出された前記移動状態と、前記変位検出手段において検出された前記変位に関する情報とを、所定の記録媒体に記録する記録手段と、
    前記記録媒体に記録された前記画像データと前記移動に関する情報と前記変位に関する情報とを読み出す読み出し手段と、
    前記読み出し手段により読み出された情報を出力する出力端と
    を備え、
    前記画像処理装置は、
    前記画像記録装置から出力された情報の入力を受け付ける入力端と、
    前記入力端を通じて受け付けた前記画像データを他の記録媒体に記録する記録処理手段と、
    前記入力端を通じて受け付けた前記移動に関する情報と前記変位に関する情報とに基づいて、前記他の記録媒体に記録する画像データのデータ量を調整する必要があるか否かを判別すると共に、調整する必要があると判別した場合には、前記移動に関する情報を用いて、前記変位に関する情報から前記画像記録装置の移動による影響を取り除くよう前記変位に関する情報を修正し、当該修正後の前記変位に関する情報に応じて、前記記録処理手段を制御し、前記他の記録媒体に記録する画像データのデータ量を調整する制御手段と
    を備えることを特徴とする画像記録システム。
14. 撮像した画像データを記録媒体に記録する画像記録装置と、前記画像記録装置により前記記録媒体に記録された画像データを他の記録媒体に記録する画像処理装置とからなる画像記録システムで用いられる画像記録方法であって、
    前記画像記録装置においては、
    被写体を撮影して画像データを生成する撮像ステップと、
    当該画像記録装置の移動に関する情報を検出する移動検出ステップと、
    前記撮像ステップにおいて撮像され、所定のメモリに格納された隣接する画像の画像データに基づいて、隣接する画像間の変位に関する情報を検出する変位検出ステップと、
    前記撮像ステップで生成した画像データと、前記移動検出ステップにおいて検出した前記移動に関する情報と、前記変位検出ステップにおいて検出した前記変位に関する情報とを、所定の記録媒体に記録する記録ステップと、
    前記記録媒体に記録した前記画像データと前記移動に関する情報と前記変位に関する情報とを読み出す読み出しステップと、
    前記読み出しステップにおいて読み出した情報を出力する出力ステップと
    を有し、
    前記画像処理装置においては、
    前記画像記録装置から出力された前記画像データと前記移動に関する情報と前記変位に関する情報とを受け付ける受付ステップと、
    前記受付ステップを通じて受け付けた前記画像データを他の記録媒体に記録する記録処理ステップと、
    前記受付ステップを通じて受け付けた前記移動に関する情報と前記変位に関する情報とに基づいて、前記他の記録媒体に記録する画像データのデータ量を調整する必要があるか否かを判別すると共に、調整する必要があると判別した場合には、前記移動に関する情報を用いて、前記変位に関する情報から前記画像記録装置の移動による影響を取り除くよう前記変位に関する情報を修正し、当該修正後の前記変位に関する情報に応じて、前記記録処理ステップにおいての処理を制御して、前記他の記録媒体に記録する画像データのデータ量を調整する制御ステップと
    を有することを特徴とする画像記録方法。

Images