JP2006140605A

JP2006140605A - 撮影装置及びその方法

Info

Publication number: JP2006140605A
Application number: JP2004326606A
Authority: JP
Inventors: Takashi Ida; 孝井田; Nobuyuki Matsumoto; 信幸松本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-11-10
Filing date: 2004-11-10
Publication date: 2006-06-01

Abstract

【課題】移動している被写体の移動速度を簡単に検出できる撮影装置及びその方法を提供する。
【解決手段】撮像モジュール２と、撮影画像を映す液晶表示装置等の表示部３、カメラの設定等を行うパラメータ入力部４が配置され、撮像モジュール２で撮影された動画像５は、上書き処理部６に送られ、上書き処理部６には、図形データ保持部７からガイド図形データ８が送られ、パラメータ入力部４に入力された被写体の基準長とガイド図形に基づいて算出された撮影方向の長さと、角度センサーによって検出された角速度から被写体の移動速度を算出して表示部３に表示する。
【選択図】図１

Description

本発明は、ビデオカメラ、デジタルカメラ等において被写体の移動速度を検出することができる撮影装置及びその方法に関する。

近年、静止画像や動画像を撮影できるデジタルカメラが普及し、単に撮影するだけでなく、被写体の動きの認識等高度な処理をしたいという要求がある。

特許文献１には、被写体の移動速度を測るデジタルカメラが示されている。これは、まず、カメラの向きや位置が動かないように保持して被写体を撮影し、また予め、カメラから被写体までの距離を取得しておき、その距離と、被写体の撮影画像内での移動量から、被写体の実際の移動速度を算出するものである。
特開２００１−１８３３８３公報

このようなデジタルカメラの用途として例えば、運動会のかけっこをする子どもを撮影しつつ、その子の走る速度も測定したい場合がある。このような場合、人物を画面の中央に写すために、カメラの向きを時間の経過とともに動かすことが多い。

しかしながら、特許文献１の技術では、カメラを動かすと被写体の速度を正しく測定できない。また、カメラから被写体までの距離を予め測れない場合にも、速度を正しく測定できない。

そこで、本発明は、移動している被写体の移動速度を簡単に検出できる撮影装置及びその方法を提供する。

本発明は、利用者が表示手段の画面を見ながら移動する被写体が前記画面上の同じ位置に写るように、前記被写体の移動と共に撮影手段を追尾させながら動画像を撮影する撮影装置において、前記被写体の長さを基準長として入力する基準長入力手段と、前記被写体の基準長に対応した前記画面上の大きさを決定するためのガイド図形を前記動画像に重ねて前記画面に表示する図形表示手段と、前記被写体を追尾することによる前記撮影手段の光軸の向きの単位時間当たりの変化量を方向変化量として検出する方向検出手段と、前記基準長と前記ガイド図形に基づいて算出された前記撮影手段から前記被写体までの距離と、前記方向変化量とから前記被写体の移動速度を算出して前記表示手段に表示する速度算出手段と、を具備することを特徴とする撮影装置である。

また、本発明は、利用者が表示手段の画面を見ながら移動する被写体が前記画面上の同じ位置に写るように、前記被写体の移動と共に撮影手段を追尾させながら動画像を撮影する撮影装置において、前記被写体の長さを基準長として入力する基準長入力手段と、前記被写体の基準長に対応した前記画面上の大きさを決定するためのガイド図形を前記動画像に重ねて前記画面に表示する図形表示手段と、前記被写体を追尾することによる前記画面全体の動きベクトルを算出する動きベクトル算出手段と、前記基準長と前記ガイド図形に基づいて算出された前記画面における１画素当たりの距離と、前記算出した動きベクトルにおける追尾方向の画素数に基づいて前記被写体の移動速度を算出して前記表示手段に表示する速度算出手段と、を具備することを特徴とする撮影装置である。

本発明によれば、被写体の横あるいは縦の長さ（すなわち、基準長）が既知であれば、カメラから被写体までの距離が分からなくても被写体の移動速度を正しく算出できる。また、カメラの動きから被写体の移動速度を算出するので、動く被写体を画面の中央に写しながらその移動速度を測ることができる。

（第１の実施形態）
図１に、本発明によるカメラの第１の実施形態を示す。

なお、本明細書における「カメラ」とは、短時間であっても動画像を表示部を見ながら撮影できるものであればよく、例えば、ビデオカメラ、または、デジタルカメラである。

（１）カメラの構成
カメラの本体１の表面に、撮影手段としてレンズ等を備えた撮像モジュール２と、撮影画像等を映す液晶表示装置等の表示部３、カメラの設定等を行うパラメータ入力部４が配置される。撮像モジュール２で撮影された動画像５は、上書き処理部６に送られる。上書き処理部６には、図形データ保持部７からガイド図形データ８が送られる。

撮影モジュール２による動画像５の例を図１２〜図１８に示す。動画像５はいわゆる動画像であるが、動画像は静止画像（すなわち、フレーム画像）を時間順に並べたものであり、ここでは、それらを図の番号順に並べた。人物が画面の左方向に走っていき、その移動に合わせてカメラの向きを変えながら写した様子である。

図形データ保持部７に記憶されたガイド図形データ８の例を図１９に示す。このガイド図形データ８は、画面の横方向に平行な２本の上下の線から構成されている。

図１に戻り、上書き処理部６では、動画像５にガイド図形データ８が上書きされ、図４のような表示画像９として表示部３に送られる。

表示部３には、表示画像９が動画像５に合わせて動画像として表示される。利用者は、図４のように、人物の被写体の頭が上の線に、地面についた足先が下の線に、それぞれほぼ接するようにカメラの向きを調整しながら撮影する。このようにガイド図形データ８は、撮影のガイドとして用いられる。

パラメータ入力部４からは、被写体である人物の身長が予め入力され、基準長データ１０として速度算出部１１に送られる。

撮像モジュール２の近くに組み込まれた角速度検出器１２では、単位時間（例えば１秒）当たりの、撮像モジュール２の方向変化量１３が検出され、速度算出部１１に送られる。すなわち、撮影モジュール２の光軸の向きの単位時間当たりの方向変化量１３を検出する。角速度検出器１２は、例えば振動式のジャイロスコープである。

速度算出部１１では、基準長データ１０と方向変化量１３から被写体の速度が算出され、その速度が文字図形に変換され、速度データ１４として上書き処理部６に送られる。

上書き処理部６では、ガイド図形データ８に加えて、速度データ１４も上書きされ、その結果として図５のような画像が表示部３に表示される。これにより、利用者は被写体の移動速度を画面で確認できる。

（２）速度算出方法
速度算出部１１の速度算出方法を以下に説明する。

図２０に示すように、画像の横画素数をｂ画素、ガイドの図形の線の幅をａ画素とする。横画素数はカメラによって決まっている値であり、例えば６００画素つまりｂ＝６００である。図形の線の幅も、ガイド図形データ８がカメラに予め用意されるときに分かるもので、例えば２００画素つまりａ＝２００である。一方、被写体の実際の高さをＡで表し、この値は基準長データ１０として与えられる。例えば、Ａ＝１ｍである。ａ、Ａ、ｂが分かると、画面に写っている、被写体の足元の地面の長さＢを以下の式で計算できる。

Ｂ＝Ａ×ｂ／ａ

先の例では、

Ｂ＝１ｍ×６００／２００＝３ｍ

となる。

次に、Ｂを用いてカメラから被写体までの距離を求める。図２１は、被写体２１１とカメラ２１２を上方から見下ろした図である。点Ｃはカメラのレンズの位置で、画角θの２本の線で挟まれた部分が撮影される。Ｂは既に求まっているので、カメラから被写体までの距離Ｌは次式で算出できる。

Ｌ＝Ｂ／（２×ｔａｎ（θ／２））

次に、Ｌを用いて被写体の移動速度を求める。図２２は、単位時間の間に被写体が２２１の位置から２２２の位置まで移動した様子である。カメラはＣの位置にあって、被写体を追いかけて、角度ωだけ方向が変化する。この角度ωは、方向変化量１３として角速度検出器１２から得られる。このような状況では、カメラと被写体の距離は正確には一定でないが、ここでは、Ｌで一定と近似する。そうすると、この単位時間の間に被写体が進んだ距離、つまり、速度Ｖは次式で求まる。

Ｖ＝２×Ｌ×ｔａｎ（ω／２）

Ｖは、単位時間が１秒であれば、秒速である。画面に表示するのが秒速であれば、このまま表示し、分速であれば６０倍、時速であれば３６００倍する。また、ｍやｋｍといった距離の単位も適当に換算する。

なお、この速度Ｖの測定の精度は、角度ωが大きくなればなるほど上がる。

また、画角θは、ズーム機能があるカメラでは一定ではなくズームの倍率によって変化し、その時のズーム倍率に応じたθを用いて計算する。

（３）ガイド図形の種類
図形データ保持部７において、ガイド図形の種類を幾つか用意しておくと様々な状況に対応できる。以下、そのいくつかの種類を図４から図９に基づいて説明する。

（３−１）第１のガイド図形
ガイド図形である２本の線の幅は幾種類か用意しておくと様々な状況に対応できる。

例えば、あるガイド図形では図６のように、被写体が大きく写りすぎてしまうことがある。被写体を小さく写すには、ズームアウトするか、撮影する位置を後方に移動しなければならない。しかし、ズームができなかったり、後方に適当な場所がなかったり、あるいは、この大きさでビデオを保存したい場合には、図４のように幅の広い別のガイド図形に切り替えれば済む。

このようにガイド図形を切り替えたときには、前述したａはガイド図形に合わせて切換えて速度を算出する。

（３−２）第２のガイド図形
ガイド図形は画面の中央にある必要はなく、利用者が被写体を写したい位置に合わせて選択できるように、画面の下寄り、上寄りのものを用意しておき、それらを切り替えて用いるとよい。

（３−３）第３のガイド図形
ガイド図形は、図７のように矩形でもよい。この場合はａとして矩形の高さを用いる。

（３−４）第４のガイド図形
ガイド図形の線が撮影の邪魔になる場合には図７のように点線にすればよい。

（３−５）第５のガイド図形
上下方向に移動するものの速度を測る場合には、図８のような画面の縦方向と平行な２本の左右の線からなるガイド図形を用いる。この場合には、被写体の横幅をＡとして入力しておく。速度の計算は、先に水平面で説明したのと同様に、垂直面で行えばよい。

（３−６）ガイド図形の選択方法
ガイド図形の選択をするための表示部３の画面の例を図９に示す。このように、数種類のガイド図形を縮小して画面に表示し、このうちの一つを本体に付属したボタン等を操作して選択する。

（４）表示部３の表示状態
図１０に速度検出のための設定を行うときの表示部３の様子を示す。

１行目では、速度検出を行うか否かを切り替えることができ、「ＯＮ」の場合には前述したように逐次、撮影対象の速度を測り画面に表示する。「ＯＦＦ」の場合には、速度の算出は行わず、画面には速度を表示しない。

２行目では、被写体の人物の身長等、移動物体の高さを設定する。本体に付属したボタン操作等で数値を入力する。

３行目では、速度を測定する向きを設定する。「ヨコ」では左右方向の速度を測り、「タテ」では上下方向の速度を測る。

４行目では、速度を記録して保存するかどうかを設定する。「ＯＮ」では動画像に速度を上書きしたものを録画する。「ＯＦＦ」では、速度を上書きしないで録画する。

（５）移動物体の高さの設定
移動物体の高さを複数設定できる例を図１１に示す。例えば、２人の人物に対して、それぞれの身長を設定しておく。撮影時には名前を選ぶだけで、その人の身長が自動的に移動物体の高さに設定される。

（６）速度検出方法の処理手順
図２５に、本実施形態による速度検出方法のフローチャートを示す。

ステップ２５０１では、これから撮影する人物の身長等、被写体の長さを基準長として設定する。

ステップ２５０２では、移動する被写体の撮影を開始する。撮影時には、移動する被写体が画面の中央に写るようにカメラの向きが利用者によって変えられる。

ステップ２５０３では、カメラの画面に動画像に重ねて図１９のようなガイド図形を表示する。

ステップ２５０４では、撮影方向の単位時間当たりの方向変化量を検出する。

ステップ２５０５では、基準長と方向変化量から被写体の移動速度を算出する。

ステップ２５０６では、その移動速度を図５のように画面に表示する。あるいは、速度を記録メディアに保存する。

ステップ２５０７では、利用者によって撮影操作が続行されているか、あるいは、撮影終了の操作がなされたかを判定し、撮影が終了していなければステップ２５０３に戻る。

（第２の実施形態）
図２に、被写体の速度を動画像とともに記録する実施形態を示す。

本実施形態は、図１の第１の実施形態のカメラに記録部１５が加わる。図１と異なる部分を説明する。

記録部１５には、動画像５と速度データ１４が入力される。記録部１５は例えばＤＶＤディスク、ハードディスク、半導体記憶素子である。動画像５はＭＰＥＧ等の方式でデータ圧縮され、記録部１５に保存される。また、速度データ１４は、その時に保存された動画像５と、例えばデータの名称の一部が共通になるようにして対応付けて保存される。速度データ１４は文字図形として保存してもよいし、テキストデータとして保存してもよい。また、必要であれば圧縮してから保存してもよい。保存された動画像５は再生が可能で、その際、速度データ１４も同時に再生することでやはり図２３のように被写体の速度を確認しながら画像を楽しめる。

再生のときに、速度データ１４を再生しないようにすれば、図１５のような動画像だけを楽しめる。図１と同じ部分は説明を省略する。

（第３の実施形態）
図３には、被写体の速度を動画像とともに記録する第３の実施形態を示す。

動画像５と速度データ１４は、上書き処理部１７に入力される。上書き処理部１７では、動画像５に速度データ１４がフレーム毎に上書きされ、図２３のような速度上書き画像１８が生成され、別の上書き処理部１９と記録部１６に送られる。

別の上書き処理部１９には、ガイド図形図形データ８も入力され、速度上書き画像１８にガイド図形図形データ８がフレーム毎に上書きされ、図５のようになり、表示画像９として表示部３に送られる。

記録部１６では、速度上書き画像１８が保存される。

（第４の実施形態）
図２４に、角速度検出器の代わりに動きベクトル検出回路を用いる実施形態を示す。

動きベクトル検出回路２４１には動画像５が入力される。動きベクトル検出回路２４１にはまた、動画像５の過去のフレームが保持されており、その過去のフレームと現在入力されたフレームの間の画面全体の移動量が動きベクトルとして検出される。

動きベクトルの検出には例えば、いわゆる「ブロックマッチング法」を用いる。これは、適当な大きさの正方形のブロックを一方のフレームに配置し、そのブロックの画像パターンに近い部分を他方のフレームから見つけるものである。最も画素値の誤差が小さくなるブロックを見つけ、それとの位置の横方向のズレと縦方向のズレをそれぞれ画素数で表し、ブロック動きベクトルとする。フレームに多くのブロックを配置し、それぞれでブロック動きベクトルを求め、単純にそれらの平均を画面全体の動きベクトルとする。あるいは、ブロック動きベクトルの出現頻度を数え、最も多いものを画面全体の動きベクトルとすれば、被写体が小さい場合に被写体の動きを除くことができ、正確な画面全体の動きベクトルが求まる。あるいは、被写体が写っていないことが期待できる、ガイド図形の外側だけにブロックを配置すれば正確に画面全体の動きベクトルが求まる。

画面全体の動きベクトル２４２は、速度算出部２４３に送られる。ここで、図２０の説明で前述したように、ガイド図形の図形の線の幅をａ画素、予め利用者によって入力される被写体の実際の高さをＡとすると、速度算出部２４３では、まず、１画素当たりの実際の長さＰを以下の式で求める。

Ｐ＝Ａ／ａ

例えば、Ａ＝１ｍ、ａ＝２００画素とすると、Ｐ＝０．００５ｍ／画素である。このＰに動きベクトル２４２の横成分Ｈを乗じれば、横向きの移動量Ｑが求まる。最後に、動きベクトルを求めたフレーム間隔の時間ＴでＱを割れば単位時間の被写体の横方向の移動速度が求まる。

Ｖ＝Ｑ／Ｔ＝Ｐ×Ｈ／Ｔ＝Ａ×Ｈ／（ａ×Ｔ）

なお、縦方向の移動速度を計算するときは、動きベクトル２４２の縦成分をＨとして用いればよい。

速度Ｖは、文字図形に変換され、速度データ１４として上書き処理部６に送られる。

（変更例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

（１）変更例１
被写体の速度測定について説明したが、求めた単位時間の移動距離を積算することで、被写体の移動距離を求めることもできる。例えば、被写体の人物が走る総距離をカメラで撮影しながら測定できる。

（２）変更例２
被写体の速度において、所定時間毎に速度を求め、これら所定時間毎の速度の平均値を求めてもよい。

（３）変更例３
上記実施形態では、被写体として人物で説明したが、これに限らず自動車、船舶、飛行機、ロケット等の移動物体、動物を被写体として、これらの被写体の速度を求めてもよい。

例えば、自動車の速度を測定する時は、自動車の高さ、全長の中のどれか一つの大きさを基準長として入力して、それに合わせてガイド図形を設定すれば、自動車の速度を測定できる。

本発明の第１の実施形態を示すブロック図である。本発明の第２の実施形態を示すブロック図である。本発明の第３の実施形態を示すブロック図である。動画像にガイド図形を上書きした図である。動画像にガイド図形と速度を上書きした図である。ガイド図形の幅が狭い例を示す図である。別のガイド図形の例を示す図である。別のガイド図形の例を示す図である。ガイド図形を選択する画面の例を示す図である。設定を行う画面の例を示す図である。設定を行う画面の例を示す図である。撮影した画像の例を示す図である。撮影した画像の例を示す図である。撮影した画像の例を示す図である。撮影した画像の例を示す図である。撮影した画像の例を示す図である。撮影した画像の例を示す図である。撮影した画像の例を示す図である。ガイド図形の図形の例を示す図である。速度の算出方法を説明するための図である。速度の算出方法を説明するための図である。速度の算出方法を説明するための図である。動画像に速度を上書きした図である。本発明の別の実施形態を示すブロック図である。本発明の一実施形態を示すフローチャート

符号の説明

１カメラの本体１
２撮像モジュール
３表示部
４パラメータ入力部
５動画像
６上書き処理部
７図形データ保持部
８図形データ

Claims

利用者が表示手段の画面を見ながら移動する被写体が前記画面上の同じ位置に写るように、前記被写体の移動と共に撮影手段を追尾させながら動画像を撮影する撮影装置において、
前記被写体の長さを基準長として入力する基準長入力手段と、
前記被写体の基準長に対応した前記画面上の大きさを決定するためのガイド図形を前記動画像に重ねて前記画面に表示する図形表示手段と、
前記被写体を追尾することによる前記撮影手段の光軸の向きの単位時間当たりの変化量を方向変化量として検出する方向検出手段と、
前記基準長と前記ガイド図形に基づいて算出された前記撮影手段から前記被写体までの距離と、前記方向変化量とから前記被写体の移動速度を算出して前記表示手段に表示する速度算出手段と、
を具備する
ことを特徴とする撮影装置。
前記方向検出手段は、角速度センサーを含み、前記方向変化量を前記角速度センサーによって角速度として検出し、
前記速度算出手段は、
前記基準長と前記ガイド図形に基づいて前記被写体を追尾する方向の長さを算出し、
前記算出された長さと前記撮影手段の画角から前記撮影手段から前記被写体までの距離を算出し、
前記距離と前記方向変化量から前記移動速度を算出する
ことを特徴とする請求項１記載の撮影装置。
利用者が表示手段の画面を見ながら移動する被写体が前記画面上の同じ位置に写るように、前記被写体の移動と共に撮影手段を追尾させながら動画像を撮影する撮影装置において、
前記被写体の長さを基準長として入力する基準長入力手段と、
前記被写体の基準長に対応した前記画面上の大きさを決定するためのガイド図形を前記動画像に重ねて前記画面に表示する図形表示手段と、
前記被写体を追尾することによる前記画面全体の動きベクトルを算出する動きベクトル算出手段と、
前記基準長と前記ガイド図形に基づいて算出された前記画面における１画素当たりの距離と、前記算出した動きベクトルにおける追尾方向の画素数に基づいて前記被写体の移動速度を算出して前記表示手段に表示する速度算出手段と、
を具備する
ことを特徴とする撮影装置。
前記撮影した動画像を保存画像として保存する画像保存手段と、
前記移動速度を前記保存画像に対応づけて保存する移動速度データ保存手段と、
を具備する
ことを特徴とする請求項１または３記載の撮影装置。
前記移動速度データ保存手段は、前記移動速度を前記保存画像に上書きして保存する
ことを特徴とする請求項４記載の撮影装置。
前記移動速度データ保存手段は、前記移動速度を前記動画像のメタデータとして別に保存する
ことを特徴とする請求項４記載の撮影装置。
前記図形表示手段は、
前記ガイド図形を複数記憶した図形保存手段と、
前記記憶した複数のガイド図形から一のガイド図形を選択するための選択手段と、
を具備する
ことを特徴とする請求項１または３記載の撮影装置。
前記基準長入力手段は、
前記基準長を１以上記憶する基準長保存手段と、
前記記憶された基準長が２つ以上の場合に、その中の一つの基準長を選択する基準長選択手段と、
を具備する
ことを特徴とする請求項１または３記載の撮影装置。
利用者が表示手段の画面を見ながら移動する被写体が前記画面上の同じ位置に写るように、前記被写体の移動と共に撮影手段を追尾させながら動画像を撮影する撮影方法において、
前記被写体の長さを基準長として入力する基準長入力ステップと、
前記被写体の基準長に対応した前記画面上の大きさを決定するためのガイド図形を前記動画像に重ねて前記画面に表示する図形表示ステップと、
前記被写体を追尾することによる前記撮影手段の光軸の向きの単位時間当たりの変化量を方向変化量として検出する方向検出ステップと、
前記基準長と前記ガイド図形に基づいて算出された前記撮影手段から前記被写体までの距離と、前記方向変化量とから前記被写体の移動速度を算出して前記表示手段に表示する速度算出ステップと、
を具備する
ことを特徴とする撮影方法。
利用者が表示手段の画面を見ながら移動する被写体が前記画面上の同じ位置に写るように、前記被写体の移動と共に撮影手段を追尾させながら動画像を撮影する撮影方法において、
前記被写体の長さを基準長として入力する基準長入力ステップと、
前記被写体の基準長に対応した前記画面上の大きさを決定するためのガイド図形を前記動画像に重ねて前記画面に表示する図形表示ステップと、
前記被写体を追尾することによる前記画面全体の動きベクトルを算出する動きベクトル算出ステップと、
前記基準長と前記ガイド図形に基づいて算出された前記画面における１画素当たりの距離と、前記算出した動きベクトルにおける追尾方向の画素数に基づいて前記被写体の移動速度を算出して前記表示手段に表示する速度算出ステップと、
を具備する
ことを特徴とする撮影方法。
利用者が表示手段の画面を見ながら移動する被写体が前記画面上の同じ位置に写るように、前記被写体の移動と共に撮影手段を追尾させながら動画像を撮影する撮影方法をコンピュータによって実現するプログラムにおいて、
前記被写体の長さを基準長として入力する基準長入力機能と、
前記被写体の基準長に対応した前記画面上の大きさを決定するためのガイド図形を前記動画像に重ねて前記画面に表示する図形表示機能と、
前記被写体を追尾することによる前記撮影手段の光軸の向きの単位時間当たりの変化量を方向変化量として検出する方向検出機能と、
前記基準長と前記ガイド図形に基づいて算出された前記撮影手段から前記被写体までの距離と、前記方向変化量とから前記被写体の移動速度を算出して前記表示手段に表示する速度算出機能と、
を実現する
ことを特徴とする撮影方法のプログラム。
利用者が表示手段の画面を見ながら移動する被写体が前記画面上の同じ位置に写るように、前記被写体の移動と共に撮影手段を追尾させながら動画像を撮影する撮影方法をコンピュータによって実現するプログラムにおいて、
前記被写体の長さを基準長として入力する基準長入力機能と、
前記被写体の基準長に対応した前記画面上の大きさを決定するためのガイド図形を前記動画像に重ねて前記画面に表示する図形表示機能と、
前記被写体を追尾することによる前記画面全体の動きベクトルを算出する動きベクトル算出機能と、
前記基準長と前記ガイド図形に基づいて算出された前記画面における１画素当たりの距離と、前記算出した動きベクトルにおける追尾方向の画素数に基づいて前記被写体の移動速度を算出して前記表示手段に表示する速度算出機能と、
を実現する
ことを特徴とする撮影方法のプログラム。