JP2008014825A - 測定方法及び測定プログラム - Google Patents
測定方法及び測定プログラム Download PDFInfo
- Publication number
- JP2008014825A JP2008014825A JP2006186945A JP2006186945A JP2008014825A JP 2008014825 A JP2008014825 A JP 2008014825A JP 2006186945 A JP2006186945 A JP 2006186945A JP 2006186945 A JP2006186945 A JP 2006186945A JP 2008014825 A JP2008014825 A JP 2008014825A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- camera
- image
- measurement
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】画像や映像に映っている対象物までの距離を高精度に測定する。
【解決手段】撮像手段から得られる画像に含まれる対象物に対し、前記撮像手段の所定位置からの距離を測定するための測定方法において、前記画像に含まれる対象物の所定幅に対応する画素数をF、予め設定される基準となる距離をLs、前記距離Lsに対応して設定された基準となる画素数をFsとしたとき、前記撮像手段の所定位置から前記対象物までの距離Lを、L=(Ls×Fs)/Fにより算出して距離を測定する距離測定ステップを有することにより上記課題を解決する。
【選択図】図1
【解決手段】撮像手段から得られる画像に含まれる対象物に対し、前記撮像手段の所定位置からの距離を測定するための測定方法において、前記画像に含まれる対象物の所定幅に対応する画素数をF、予め設定される基準となる距離をLs、前記距離Lsに対応して設定された基準となる画素数をFsとしたとき、前記撮像手段の所定位置から前記対象物までの距離Lを、L=(Ls×Fs)/Fにより算出して距離を測定する距離測定ステップを有することにより上記課題を解決する。
【選択図】図1
Description
本発明は、測定方法及び測定プログラムに係り、特に画像や映像に映っている対象物までの距離を高精度に測定するための測定方法及び測定プログラムに関する。
従来から、カメラ等の撮像手段を用いて人物等の対象物を撮影し、撮影された画像からカメラと対象物との距離を測定する距離測定装置が実用化されている。ここで、従来の距離測定装置としては、例えばステレオカメラを使ったものが知られている(例えば、特許文献1参照。)。
特許文献1に示されているように、ステレオカメラを使った距離測定装置の測定手法は、まず異なる位置に設置された2台のカメラで対象物を同時に撮像し、撮像された2枚の画像において人物等の同一の箇所を示す点(対応点)を特定する。その後、カメラ間の距離やカメラレンズの焦点距離を考慮して対象物までの距離を測定している。
また、この他の手法としては、カメラにレーザ光を発光させる発光部とレーザ光が物体で反射した反射光を受光する受光部からなる距離計測機能を設け、レーザ光による反射特性を利用して対象物までの距離を測定する手法がある。
特開2005−91173号公報
しかしながら、上述したように従来の距離測定手法では、ステレオカメラによる距離の測定を行う際、複数のカメラと同時に撮影された画像や映像が必要となったり、レーザ光による距離計測機能が必要になるため、装置のコスト(価格)が高くなったり、システム構成が複雑になる等の問題があった。また、上述の距離の測定を行うと同時に効率的で高精度に対象物の位置を測定する手法がなかった。
本発明は、上述した課題に鑑みなされたものであり、画像や映像に映っている対象物までの距離や対象物の位置を高精度に測定するための測定方法及び測定プログラムを提供することを目的とする。
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
請求項1に記載された発明は、撮像手段から得られる画像に含まれる対象物に対し、前記撮像手段の所定位置からの距離を測定するための測定方法において、前記画像に含まれる対象物の所定幅に対応する画素数をF、予め設定される基準となる距離をLs、前記距離Lsに対応して設定された基準となる画素数をFsとしたとき、前記撮像手段の所定位置から前記対象物までの距離Lを、L=(Ls×Fs)/Fにより算出して距離を測定する距離測定ステップを有することを特徴とする。
また、請求項2に記載された発明は、撮像手段から得られる画像に含まれる対象物に対し、前記撮像手段の所定位置からの距離を測定するための測定方法において、前記画像に含まれる対象物の所定幅に対応する画素数をF、前記画素数Fを測定したときの前記撮像手段の画角をα、予め設定された基準となる距離をLs、前記距離Lsに対応して設定された基準となる画素数をFs、前記画素数Fsを測定したときの前記撮像手段の画角をαsとしたとき、前記撮像手段の所定位置から前記対象物までの距離Lを、L=(Ls×tan(αs/2)×Fs)/(tan(α/2)×F)により算出して距離を測定する距離測定ステップを有することを特徴とする。
また、請求項3に記載された発明は、撮像手段から得られる画像に含まれる対象物に対し、前記撮像手段の所定位置からの距離を測定するための測定方法において、前記画像に含まれる対象物の所定幅に対応する画素数をF、前記画素数Fを測定したときの前記撮像手段の画角をα、前記対象物の撮影方向に対する傾きをβ、予め設定された基準となる距離をLs、前記距離Lsに対応して設定された基準となる画素数をFs、前記画素数Fsを測定したときの前記撮像手段の画角をαsとしたとき、前記撮像手段の所定位置から前記対象物までの距離Lを、L=(Ls×tan(αs/2)×Fs)/(tan(α/2)×F×cosβ)により算出して距離を測定する距離測定ステップを有することを特徴とする。
また、請求項4に記載された発明は、前記撮像手段の水平方向の画素数をN、前記撮像手段の水平方向の画角をαh、前記対象物の中心の水平方向の座標をxとしたとき、前記対象物の水平方向の角度θを、θ=tan−1(((2×x/N)−1)×tan(αh/2))により算出し、算出された結果及び前記距離測定ステップにより得られる前記撮像手段の所定位置から前記対象物までの距離に基づいて前記対象物の位置を測定する位置測定ステップを有することを特徴とする。
また、請求項5に記載された発明は、前記距離測定ステップ及び前記位置測定ステップにより得られた結果を少なくとも含む画面を生成する画面生成ステップを有することを特徴とする。
また、請求項6に記載された発明は、前記請求項1乃至前記請求項5の何れか1項に記載された測定方法をコンピュータに実行させる。
請求項1記載の発明によれば、画像や映像を撮影した撮像手段の所定位置から画像や映像に映っている対象物までの距離を高精度に測定することができる。
また、請求項2記載の発明によれば、カメラのズーム機能により画角が変化した場合であっても、撮像手段と対象物との正確な距離を測定することができる。
また、請求項3記載の発明によれば、対象物が撮像手段の方向を向いていない場合でああっても高精度に距離を測定することができる。
また、請求項4記載の発明によれば、対象物の位置を高精度に測定することができる。
また、請求項5記載の発明によれば、距離測定結果や位置測定結果を少なくとも含む画面を生成して出力することで、使用者等は、画像や映像を撮影した撮像手段の所定位置から画像や映像に映っている対象物までの距離や対象物の位置を容易に把握することができる。
また、請求項6記載の発明によれば、画像や映像を撮影した撮像手段の所定位置から画像や映像に映っている対象物までの距離や対象物の位置を効率的で高精度に測定することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に測定処理を実現することができる。
以下に、本発明における測定方法及び測定プログラムを好適に実施した形態について、図面を用いて説明する。なお、以下に説明する実施形態では、カメラ等の撮像手段により撮影された画像又は映像に撮影されている対象物としての人物に対し、カメラからの距離と、その人物の位置情報を測定する構成をどちらも有する測定装置について説明するが、本発明はこれに限定されず、例えば、人物のカメラからの距離のみを測定するための構成と、撮影された人物の位置を測定するための構成とをそれぞれ別の構成にすることができる。
また、以下の実施形態では、撮像手段を別体として構成し、画像や映像等の画像情報を通信ネットワーク(有線でも無線でもよい)を介して測定装置が取得する例を示すが、例えば測定装置内に撮像装置の機能を有していてもよい。
<測定装置:機能構成>
図1は、本発明における測定装置の概略構成の一例を示す図である。図1に示す測定装置10は、入力手段11と、出力手段12と、蓄積手段13と、距離測定手段14と、位置測定手段15と、画面生成手段16と、送受信手段17と、制御手段18とを有するよう構成されている。
図1は、本発明における測定装置の概略構成の一例を示す図である。図1に示す測定装置10は、入力手段11と、出力手段12と、蓄積手段13と、距離測定手段14と、位置測定手段15と、画面生成手段16と、送受信手段17と、制御手段18とを有するよう構成されている。
入力手段11は、カメラ等により対象者が撮影されている画像や映像等の画像情報を、後述する送受信手段17から受信するための指示や、取得した画像や映像から対象物の距離を測定したり、位置を測定するための測定指示等、各種指示情報の入力を受け付ける。なお、入力手段11は、例えばタッチパネルや操作ボタン群、キーボード、マウス等のポインティングデバイス、音声により指示を入力するためのマイク等からなる。
ここで、画像や映像を撮影するためのカメラの種類としては、特に制限されないが、例えば高精細カメラ、望遠カメラ等を用いることができ、市販されている一般的な解像度を有するカメラであればよい。また、カメラから得られる画像情報としては、画像や映像の他に、撮影した日時を示す撮影時間情報や、カメラを識別するカメラ識別情報、カメラ又はカメラの周辺に設置されたマイク等の音声入力手段により得られる音声情報等を有している
また、出力手段12は、入力手段11により入力された指示内容や、カメラもしくはある所定の外部メモリ装置等から得られる画像や映像、撮影された画像等を用いて距離測定手段14により得られるカメラの所定位置から人物までの距離測定結果、及び位置測定手段15により得られる対象物の位置測定結果等をディスプレイ等により出力する。なお、距離測定や位置測定結果は、画面生成手段16により生成された表示内容を出力する。
また、出力手段12は、入力手段11により入力された指示内容や、カメラもしくはある所定の外部メモリ装置等から得られる画像や映像、撮影された画像等を用いて距離測定手段14により得られるカメラの所定位置から人物までの距離測定結果、及び位置測定手段15により得られる対象物の位置測定結果等をディスプレイ等により出力する。なお、距離測定や位置測定結果は、画面生成手段16により生成された表示内容を出力する。
ここで、出力手段12は、ディスプレイの他にもスピーカ等の音声出力手段を有し、例えば距離測定や位置測定終了後、使用者等に音声で通知したり、カメラ又はカメラの周辺に設置されたマイク等の音声入力手段から得られる音声データを出力することができる。
蓄積手段13は、カメラにより得られる画像情報(画像、映像、撮影時間情報、カメラ識別情報、音声等を含む)や、距離測定手段14により得られる距離測定結果、位置測定手段15により得られる位置測定結果等の各種情報を蓄積する。
なお、蓄積手段13に蓄積された各種データは、制御手段18からの制御信号に基づいて、必要に応じて読み出すことができ、またデータ等の更新、追加等の書き込み、削除等を行うことができる。
距離測定手段14は、送受信手段17を介して受信した画像情報、又は蓄積手段13に予め蓄積された画像情報に含まれる画像又は映像に基づいて、カメラで予め設定される所定位置から対象物までの距離を測定する。なお、具体的な距離測定手法については後述する。
また、位置測定手段15は、送受信手段17を介して受信した画像情報、又は蓄積手段13に予め蓄積された画像情報に含まれる画像又は映像に基づいて、対象物の位置を測定する。なお、具体的な位置測定手法については後述する。
また、画面生成手段16は、送受信手段17を介して受信した画像情報、又は蓄積手段13に予め蓄積された画像情報に含まれる画像又は映像や、距離測定手段14により測定された距離測定結果、位置測定手段15により測定した位置測定結果等を出力手段12から出力するための画面を生成する。なお、具体的な生成画面例については、後述する。
また、送受信手段17は、アンテナや通信回線等からなり、無線や有線等により所定のカメラ等や外部蓄積装置とのデータ又は制御信号の送受信を行い、カメラ等から撮影された画像や映像の受信を行う。
また、制御手段18は、測定装置10の各構成部全体の制御を行う。具体的には、制御手段18は、カメラで撮影された画像や映像を受信すると、蓄積手段13に蓄積させたり、距離測定手段14により画像等に含まれる人物との距離を測定させたり、位置測定手段15により画像等に含まれる人物の位置を測定させたり、画面生成手段16により測定結果をディスプレイ等に表示するための画面を生成させる等の処理の制御を行う。
<距離測定手段14における距離測定手法>
次に、上述した距離測定手段14における距離測定手法について図を用いて説明する。
<距離測定の原理>
まず、本実施形態における距離測定の原理について説明する。図2は、本実施形態における距離測定の原理を説明するための図である。ここで、図2(a)は、カメラ毎に予め設定した所定位置(例えば、レンズの中心位置やカメラ本体の重心位置等)から0.5m離れた人物を撮影した画像であり、図2(b)は、カメラの所定位置から1.0m離れた人物を撮影した画像である。
次に、上述した距離測定手段14における距離測定手法について図を用いて説明する。
<距離測定の原理>
まず、本実施形態における距離測定の原理について説明する。図2は、本実施形態における距離測定の原理を説明するための図である。ここで、図2(a)は、カメラ毎に予め設定した所定位置(例えば、レンズの中心位置やカメラ本体の重心位置等)から0.5m離れた人物を撮影した画像であり、図2(b)は、カメラの所定位置から1.0m離れた人物を撮影した画像である。
一般に、図2(a)、(b)に示すように、カメラに映る人物の顔は、距離によって大きさが異なり、カメラに近ければ大きく、遠ければ小さく映る。つまり、顔の大きさが分かれば従来のように複数台のステレオカメラやレーザによる反射特性を用いた測定方法を用いなくても、人物までの距離を測定することが可能である。
本発明では、上述した内容に基づいて、画像や映像の各フレーム画像に映された顔の大きさ(幅、長さ等)の情報から距離を求める。具体的には、カメラに映る顔の大きさとカメラからの距離との関係を示す基準値を設定し、その基準値を用いて距離を測定する。例えば、図2(c)に示すように、顔の幅や長さを基準とし、予め設定された顔の所定幅(距離)に対応する画素数が100画素のときの距離が1mである場合、この画素数と距離との関係を基準とする。なお、図2(c)では、顔の大きさ(幅)について頭の先から顎までの距離を基準としている。なお、基準となる顔の大きさは、本発明についてはこれに限定されず、例えば眉から口元まで、目から顎まで等、両目、両眉、鼻、口、両耳、顎、頭の輪郭等の顔の特徴部分から所定の基準となる距離を少なくとも1つ選定し、選定された距離に対応する画素を設定する。
なお、基準となる所定幅は、用途によって設定し分けるとよい。例えば、図2(a)に示すように、顎の部分が画像からはみ出してしまう場合を考えると、基準となる所定幅を例えば目元から口元までや、両目尻といったように、比較的短い距離で設定しておいたほうがよい。一方、カメラから人物までの距離が遠くなればなるほど人物は小さく映るため、基準となる所定幅を長く設定しておくことで、精度を向上させることができる。なお、これらの画素の基準は、カメラ等から得られる画像や映像の画素数に依存する。
このように本手法では、上述したように設定される少なくとも1つの基準値に基づいて距離を測定することができる。つまり、従来のようにレーザ光による距離計測機能等を用いたり、画像中の人の位置を実際の空間上の位置に変換したり、画像情報から距離に変換するためのテーブル等を予めメモリに準備する必要がなく、顔が占める画素数に応じて距離を求めることができる。
したがって、距離測定手段14は、画像から顔の幅に対応する画素数を抽出し、予め設定された基準値に基づいて、所定位置から画像や映像に映っている対象物までの距離を高精度に測定することができる。なお、画像に含まれる顔の検出手法は、種々の従来手法が存在するが、例えば顔に含まれる両目や鼻、口等の特徴点とその各特徴点の位置関係等により測定することができる。また、顔の検出手法については、例えば特開平11−281661号公報等に開示されている。
次に、上述した原理に基づく実施例について説明する。
<第1の実施例>
まず、第1の実施例として、カメラ正面を向いている人物における距離を測定する方法について説明する。
まず、第1の実施例として、カメラ正面を向いている人物における距離を測定する方法について説明する。
図3は、距離測定における第1の実施例について説明するための図である。図3に示すように、ある所定の位置にカメラ(撮像手段)21が設置されており、カメラ21の垂直画角をα°であるとする。
ここで、カメラ21の所定の位置から所定の距離L(m)離れた位置の画像フレーム22−1とカメラ21の所定の位置から2L(m)離れた位置の画像フレーム22−2にそれぞれ人物23が撮影されているとする。このとき、図3に示すように、カメラ21からの距離が2倍になると、垂直方向の撮影可能な範囲も2倍となる。また、カメラ21の画素数は、距離にかかわらず一定であるため、カメラ21からの距離が2倍になると、垂直方向におけるカメラ21の1画素中に含まれる実際の範囲は2倍になる。しかしながら、顔の実際の大きさはカメラ21からの距離に関係なく一定(x)であるため、顔の幅(垂直方向)に対応する画素数は、垂直方向において距離が2倍になると1/2倍になる。
以上のことから、カメラからの距離と顔の幅に対応する画素数の関係より、基準となる距離に対する顔の幅とその幅に対応する画素数が分かれば、例えば以下に示す数式等を用いてカメラ21の所定位置(レンズの中心位置やカメラ本体の重心位置等)から人物までの距離を、撮影された人物の顔の幅に対応した画素数から導き出すことができる。
ここで、画像に含まれる人物の所定幅に対応する画素数をF、予め設定される基準となる距離をLs、距離Lsに対応して設定された基準となる画素数をFsとすると、カメラ21の所定位置から人物までの距離をLは、L=(Ls×Fs)/Fにより求めることができる。
例えば、基準値が、距離1mのとき顔の幅に対応する画素数が100画素として与えられているとすると、カメラに映った画像から検出した人物の顔が70画素のとき、カメラと人物の距離は、人物の距離L=(1m×100画素)/70画素=1.43mとなる。
これにより、1つの画像や映像を用いて高精度に対象物の距離を測定することができる。
<第2の実施例>
次に、本発明における第2の実施例について説明する。第2の実施例では、カメラのズームに対応した距離測定方法について説明する。
次に、本発明における第2の実施例について説明する。第2の実施例では、カメラのズームに対応した距離測定方法について説明する。
図4は、距離測定における第2の実施例について説明するための図である。図4(a)、(b)に示すように、一般的なカメラ21のレンズ光学系による光学ズーム機能は、レンズ間の距離等を変化させることにより遠くの位置を撮影することができる。実際には、図4(a)、(b)に示すように、カメラ21は、画角を狭くする(α>α’)ことにより遠く(L<L’)のフレーム22−3を大きく映し出している。つまり、図4に示すように、映し出す範囲の垂直方向の大きさがy(m)で同じ場合でも、画角によってカメラ21との距離が異なることを表している。
以上のことから、カメラからの距離と顔の幅に対応する画素数、カメラの画角の関係より、基準となる距離における顔の幅に対応する画素数、及びそのときのカメラの画角があれば、例えば以下に示すような数式を用いることにより、距離を測定する人物の顔の幅に対応した画素数から、カメラ21の所定位置から人物までの距離を導き出すことができる。
ここで、画像に含まれる人物の所定幅に対応する画素数をF、画素数Fを測定したときのカメラ21の画角をα、予め設定された基準となる距離をLs、距離Lsに対応して設定された基準となる画素数をFs、画素数Fsを測定したときのカメラ21の画角をαsとしたとき、カメラ21の所定位置から人物までの距離Lは、L=(Ls×tan(αs/2)×Fs)/(tan(α/2)×F)により求めることができる。
これにより、第2の実施例によれば、カメラのズーム機能により画角が変化した場合でも、対象物(人物)までの距離を算出することができる。
例えば、基準値が、距離1mのとき顔の幅に対応する画素数が100画素であり、そのときの画角が40°として与えられているとすると、カメラに映った画像から検出した人物の顔が70画素、そのときの画角が20°のとき、カメラと人物の距離は、人物の距離L=(1m×tan(40°/2)×100画素)/(tan(20°/2)×70画素)=2.95mとなり、ズームによって画角が変わっても距離を求めることができる。
なお、上述した第2の実施例においては、ズームだけでなく、同様の手法を用いて望遠の倍率等を基準にして距離を求めることができる。
<第3の実施例>
次に、本発明における第3の実施例について説明する。第3の実施例では、顔の傾きに対応した距離測定手法について説明する。図5は、距離測定における第3の実施例(第3の実施例)について説明するための図である。
次に、本発明における第3の実施例について説明する。第3の実施例では、顔の傾きに対応した距離測定手法について説明する。図5は、距離測定における第3の実施例(第3の実施例)について説明するための図である。
これまでの実施例では、図5(a)に示すようにカメラの撮影方向において正面を向いている顔に対して、顔の大きさと距離との間における関係式を求め、距離の測定を行っていた。この方法では、正面の顔に対しては正確に距離を測定することができたが、例えば図5(b)に示すように顔の向きが上下(左右)した場合に誤差が生じる可能性がある。具体的には、実際の正面顔の幅がF画素である場合に、撮影された顔の幅がFcosβ°画素となってしまう。したがって、第3の実施例では、これを改善するために、撮影された顔の角度による顔の大きさ(幅)の違いを関係式で求めて距離の補正を行う。
具体的には、測定した現在の顔の長さに対する画素数から距離を導き出す式に、顔の傾きに応じて、人物の距離を補正する。なお、顔の傾きの検出手法は、従来の検出手法(例えば、上述した特開平11−181661号公報)等により求めることができる。
ここで、画像に含まれる人物の所定幅に対応する画素数をF、画素数Fを測定したときのカメラの画角をα、人物の撮影方向に対する傾きをβ、予め設定された基準となる距離をLs、距離Lsに対応して設定された基準となる画素数をFs、画素数Fsを測定したときのカメラの画角をαsとしたとき、補正されるカメラの所定位置から人物対象物までの距離Lは、L=(Ls×tan(αs/2)×Fs)/(tan(α/2)×F×cosβ)により求めることができる。
例えば、基準値が、距離1mのときに顔が占める画素数が100画素、その時の画角が40°として与えられているとすると、カメラに映った画像から検出した人物の顔が70画素、顔の傾きが30°、その時のカメラの画角が25°のとき、カメラと人物との距離Lは、L=(1m×tan(40°/2)×100画素)/(tan(20°/2)×70画素×cos30°)=3.41mとなる。
これにより、人物がカメラの撮影方向を向いてなく、顔が傾いていたとしても高精度に距離を測定することができる。なお、これらの傾き補正は、顔の上下だけでなく、顔の左右にも適用することができる。
ここで、上述した実施例1〜3は、顔の縦幅を基準にしたが、本発明においてはこの限りではなく、横幅であってもよい。
<位置測定手段15における位置測定手法>
次に、位置測定手段15における位置測定手法について図を用いて説明する。本発明では、位置測定手法として、カメラの撮影範囲の中心からのずれ角度の測定を行う。
<位置測定の原理>
まず、本実施形態における位置測定の原理について説明する。図6は、本実施形態における位置測定の原理を説明するための図である。図6(a)、(b)に示すように、カメラに映る人の顔は、カメラの撮影範囲の中心(図6の点線)からのずれ角度によって画像上の座標が異なる。つまり、顔の画像上の座標が分かれば、人物のカメラの中心からのずれ角度を測定することが可能である。この原理を用いて、画像処理等により画像中にある顔を検出し、検出した顔の中心の座標を求めることによって、人物のカメラからの角度を求める。
次に、位置測定手段15における位置測定手法について図を用いて説明する。本発明では、位置測定手法として、カメラの撮影範囲の中心からのずれ角度の測定を行う。
<位置測定の原理>
まず、本実施形態における位置測定の原理について説明する。図6は、本実施形態における位置測定の原理を説明するための図である。図6(a)、(b)に示すように、カメラに映る人の顔は、カメラの撮影範囲の中心(図6の点線)からのずれ角度によって画像上の座標が異なる。つまり、顔の画像上の座標が分かれば、人物のカメラの中心からのずれ角度を測定することが可能である。この原理を用いて、画像処理等により画像中にある顔を検出し、検出した顔の中心の座標を求めることによって、人物のカメラからの角度を求める。
ここで、図7は、人物のカメラからの角度を測定するための一例を示す図である。図7に示すように、カメラ21からの角度は、距離にかかわらず、画像上の座標と一致する。つまり、使用するカメラ21の水平画角と画像の水平方向の座標を用いれば、1画素あたりの角度が分かる。したがって、この情報に人物23の顔の中心位置の座標を与えると人物23のカメラ21からの角度を測定することができる。
例えば、図7に示すように、カメラ21から異なる距離(1.0m、2.0m、3.0m)が離れた位置の画像のフレーム22−4〜22−6において、人物23が水平方向における画像の中心(0°)から5°ずれている場合、水平方向の総画素数を320画素とすると、カメラ21からみて5°ずれた位置から左側の画素は118画素となり、5°ずれた位置から右側の画素は202画素(320−118画素)となる。
そこで、人物のカメラからの水平方向の角度を以下の手順で求める。図8は、水平方向の角度の具体的な測定方法を示す一例の図である。図8において、カメラ21の水平方向の画素数をN、カメラ21の水平方向の画角をαh°、人物(対象物)の中心の水平方向の座標をxとしたとき、人物の水平方向の角度θは、θ=tan−1(((2×x/N)−1)×tan(αh/2))により求めることができる。
なお、人物の顔の中心座標は画像フレームの角の1つを原点座標(0,0)とし、原点を基準にして、水平方向及び垂直方向の座標を抽出する。また、図7の例では、基となる角度について、水平方向におけるカメラの中心を0°とし、一方の角度の符号を正(+:プラス)とし、他方を負(−:マイナス)としている。
例えば、カメラの水平方向の画素数が320画素、水平方向の画角が40°、人物の顔の水平方向の座標が60だとすると、人物の水平方向の角度は、θ°=tan−1(((2×60/320画素)−1)×tan(40°/2)=−12.8°となる。
<2次元平面状の座標への変換>
次に、上述により得られた距離と角度を出力する際、使用者等に視覚的に分かり易くするために、2次元平面上の座標に変換する。ここで、図9は、2次元平面上への座標変換の一例を示す図である。
次に、上述により得られた距離と角度を出力する際、使用者等に視覚的に分かり易くするために、2次元平面上の座標に変換する。ここで、図9は、2次元平面上への座標変換の一例を示す図である。
図9に示すように、2次元平面全体の座標(X,Y)に対して人物の得られた距離をL、角度をθとすると、2次元平面上の座標(x、y)は、x=L×sinθ、y=L×cosθで求めることができる。なお、この場合には、予めカメラに設定された基準位置に原点を設定されている。
このように、本発明により効率的に対象物(人物)の位置情報を取得することができる。
<画面生成例>
ここで、本発明における画面生成手段16で生成される画面の一例について、図を用いて説明する。図10は、本発明において生成される画面の一例を示す図である。図10に示す測定結果表示画面30は、メニュー表示領域31と、画像表示領域32と、測定結果表示領域33と、位置表示領域34とを有するよう構成されている。
ここで、本発明における画面生成手段16で生成される画面の一例について、図を用いて説明する。図10は、本発明において生成される画面の一例を示す図である。図10に示す測定結果表示画面30は、メニュー表示領域31と、画像表示領域32と、測定結果表示領域33と、位置表示領域34とを有するよう構成されている。
メニュー表示領域31は、測定結果表示画面30に表示させる対象となる画像を読み出したり、本発明により測定された距離や位置の情報を表示したり、表示された結果を他の蓄積領域にファイル名を付けて記録させる等の処理を行う。また、画像表示領域32は、測定対象の画像を表示する。このとき、上述した画面中のどの部分が顔であるか、また顔の中心や顔の大きさ(幅、長さ)を測定するための顔の特徴点41の情報も表示される。
また、測定結果表示領域33には、実際に測定した結果が表示される。ここで、測定結果表示領域33に示されるデータとしては、例えば顔の大きさや、カメラと人物との距離、顔の中心座標、カメラと人物との角度等である。なお、顔の大きさは、ある基準を100とした場合の割合を示し、顔の中心座標は、画像表示領域32の解像度(320×240)を基準にして設定される。
また、位置表示領域34は、2次元平面におけるカメラ42の位置と、カメラ42に対応する人物(対象物)43の位置と、カメラ42の撮影方向に対応した人物43の向いている方向を示す矢印44とをカメラ42の所定位置からの距離と共に表示させている。なお、本発明においては、位置表示領域34に表示される内容はこれに限定されず、カメラと人物との距離、位置関係がわかるような表示内容であればよい。
なお、測定結果表示画面30に表示される項目は上述した内容に限定されず、距離測定や位置測定結果を少なくとも含めばよく、例えば画像を取得したときの時間情報を表示したり、経時的に取得した測定結果を並べて表示してもよい。
このように、測定結果表示画面30を生成してディスプレイ等に表示することにより、使用者等は、画像や映像を撮影した撮像手段の所定位置から画像や映像に映っている対象物までの距離や対象物の位置を容易に把握することができる。
このように、本発明によれば、画像や映像を撮影した撮像手段の所定位置から画像や映像に映っている対象物までの距離を高精度に測定することができる。具体的には、上述した距離や位置測定の数式を用いてカメラと人物との距離や位置を測定することができるため、1台のカメラによって測定処理を行うことができる。
<実行プログラム>
ここで、上述した測定装置は、上述した専用の装置構成等を用いて本発明における測定処理を行うこともできるが、各構成における処理をコンピュータに実行させるための実行プログラムを生成し、例えば汎用のパーソナルコンピュータ、サーバ等にそのプログラムをインストールすることにより、本発明に係る測定処理を実現することができる。
ここで、上述した測定装置は、上述した専用の装置構成等を用いて本発明における測定処理を行うこともできるが、各構成における処理をコンピュータに実行させるための実行プログラムを生成し、例えば汎用のパーソナルコンピュータ、サーバ等にそのプログラムをインストールすることにより、本発明に係る測定処理を実現することができる。
<ハードウェア構成>
ここで、本発明における測定処理が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図11は、本発明における測定処理が実現可能なハードウェア構成の一例を示す図である。
ここで、本発明における測定処理が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図11は、本発明における測定処理が実現可能なハードウェア構成の一例を示す図である。
図11におけるコンピュータ本体には、入力装置51と、出力装置52と、ドライブ装置53と、補助記憶装置54と、メモリ装置55と、各種制御を行うCPU(Central Processing Unit)56と、ネットワーク接続装置57とを有するよう構成されており、これらはシステムバスBで相互に接続されている。
入力装置51は、使用者等が操作するキーボード及びマウス等のポインティングデバイスや音声入力デバイス等を有しており、使用者等からのプログラムの実行指示等、各種操作信号、音声信号を入力する。出力装置52は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイやスピーカ等を有し、CPU56が有する制御プログラムにより実行経過や結果等を表示又は音声出力することができる。
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えばCD−ROM等の記録媒体58等により提供される。プログラムを記録した記録媒体58は、ドライブ装置53にセット可能であり、記録媒体58に含まれる実行プログラムが、記録媒体58からドライブ装置53を介して補助記憶装置54にインストールされる。
また、ドライブ装置53は、本発明に係る実行プログラムを記録媒体58に記録することができる。これにより、その記録媒体58を用いて、他の複数のコンピュータに容易にインストールすることができ、容易に本発明における測定処理を実現することができる。
補助記憶装置54は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。また、補助記憶装置54は、上述した画像に含まれる対象物の距離情報や位置情報、カメラ21により撮影された画像情報や上述した出力画像等を蓄積する蓄積手段として用いることもできる。
CPU56は、OS(Operating System)等の制御プログラム、及び補助記憶装置54から読み出されメモリ装置55に格納されている実行プログラム等に基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、測定処理における各処理を実現することができる。また、プログラムの実行中に必要な各種情報等は、補助記憶装置54から取得することができ、また格納することもできる。
ネットワーク接続装置57は、電話回線やLAN(Local Area Network)ケーブル等の通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラムを他の端末等に提供することができる。
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで測定処理を実現することができる。また、プログラムをインストールすることにより、容易に測定処理を実現することができる。
<測定処理手順>
次に、本発明における測定処理手順についてフローチャートを用いて説明する。図12は、測定処理手順の一例を示すフローチャートである。なお、図12では、一例として対象物を人物とし、人物が画像中に含まれる場合に、距離及び位置を測定するものとするが、本発明においてはこれに限定されず、距離測定と位置測定を別々の測定処理として行ってもよい。
次に、本発明における測定処理手順についてフローチャートを用いて説明する。図12は、測定処理手順の一例を示すフローチャートである。なお、図12では、一例として対象物を人物とし、人物が画像中に含まれる場合に、距離及び位置を測定するものとするが、本発明においてはこれに限定されず、距離測定と位置測定を別々の測定処理として行ってもよい。
図12において、まずカメラ等の撮像手段から画像情報を入力し(S01)、その画像に人物(顔)が含まれているか否かを判断する(S02)。ここで、S02における人物の顔検出処理は、上述したように従来の顔検出手法を用いることができる。
次に、S02の処理において、画像中に人物がいる場合(S02において、YES)、人物の距離測定を行う(S03)。具体的には、上述した第1〜3の実施例に示したようにカメラとカメラに撮影された人物との関係(顔の大きさ、カメラの画角、顔の向き等)に基づいて、カメラの所定位置から人物までの距離を測定する。また、距離情報に基づいて人物の位置の測定を行う(S04)。S03及びS04の処理が終了後、測定結果を表示する画面を生成し(S05)、生成した画面を出力する(S06)。
ここで、S06の処理が終了後、又はS02の処理において、画像に人物がいないと判断された場合(S02において、NO)、測定処理を行う未入力画像がまだあるか否かを判断する(S07)。具体的には、例えば動画像を入力する場合には、上述した処理を繰り返し行う。
したがって、S07の処理において、未入力画像がある場合(S07において、YES)、S01に戻り上述した処理を繰り返し行う。また、未入力画像がない場合(S07において、NO)、処理を終了する。
上述した測定処理により、画像や映像に映っている対象物までの距離や対象物の位置を高精度に測定することができる。また、上述した測定処理を行うプログラムをインストールすることにより、容易に人物の距離や位置を測定することができる。
上述したように、本発明によれば、画像や映像を撮影した撮像手段の所定位置から画像や映像に映っている対象物までの距離を高精度に測定することができる。具体的には、上述した距離や位置測定の数式を用いてカメラと人物との距離や位置を測定することができるため、1台のカメラによって測定処理を行うことができる。
また、カメラの画角の変化に対応した第2の実施例を用いてカメラと人物との距離を測定することができる。つまり、通常、カメラが有するズーム機能は、画角を狭くすることにより遠くのものを大きく映し出しているため、映し出す範囲の大きさが同じであっても画角によってカメラからの距離が異なる。したがって、カメラのズーム機能により画角が変化した場合であっても、カメラと人物との正確な距離を測定することができる。
また、撮影した画像に含まれる人物の顔が傾いている場合には、人物の顔の傾きに対応した第3の実施例を用いてカメラと人物との距離を測定することができる。つまり、人物の顔の大きさによってカメラと人物との距離を測定する場合、カメラに対する人物の顔の傾きによって人物の顔の大きさが異なり、カメラと人物との距離に誤差が生じる。したがって、上述した数式により人物の顔の傾きによる距離の誤差をなくし、カメラと人物との正確な距離を測定することができる。
また、上述した第1〜3の実施例において測定した距離にカメラと人物との角度を組み合わせることで、カメラに対する人物の位置を測定することができる。更に、距離測定結果や位置測定結果を少なくとも含む画面を生成して出力することで、使用者等は、画像や映像を撮影した撮像手段の所定位置から画像や映像に映っている対象物までの距離や対象物の位置を容易に把握することができる。
なお、本発明における測定手法は、例えば銀行や百貨店、スーパー、コンビニ、病院、住宅周辺等の監視システム等に適用することで、より高精度に不審者を検出することができる。また、本発明における測定手法は、注目対象物を、ある商品や広告、看板等にすることで、その商品等に対する通行人やお客等の注目度や関心度等をチェックする場合にも適用することができる。
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
10 測定装置
11 入力手段
12 出力手段
13 蓄積手段
14 距離測定手段
15 位置測定手段
16 画面生成手段
17 送受信手段
18 制御手段
21,42 カメラ
22 フレーム
23,43 人物
30 測定結果表示画面
31 メニュー表示領域
32 画像表示領域
33 測定結果表示領域
34 位置表示領域
41 特徴点
44 矢印
51 入力装置
52 出力装置
53 ドライブ装置
54 補助記憶装置
55 メモリ装置
56 CPU
57 ネットワーク接続装置
58 記録媒体
11 入力手段
12 出力手段
13 蓄積手段
14 距離測定手段
15 位置測定手段
16 画面生成手段
17 送受信手段
18 制御手段
21,42 カメラ
22 フレーム
23,43 人物
30 測定結果表示画面
31 メニュー表示領域
32 画像表示領域
33 測定結果表示領域
34 位置表示領域
41 特徴点
44 矢印
51 入力装置
52 出力装置
53 ドライブ装置
54 補助記憶装置
55 メモリ装置
56 CPU
57 ネットワーク接続装置
58 記録媒体
Claims (6)
- 撮像手段から得られる画像に含まれる対象物に対し、前記撮像手段の所定位置からの距離を測定するための測定方法において、
前記画像に含まれる対象物の所定幅に対応する画素数をF、予め設定される基準となる距離をLs、前記距離Lsに対応して設定された基準となる画素数をFsとしたとき、前記撮像手段の所定位置から前記対象物までの距離Lを、
L=(Ls×Fs)/F
により算出して距離を測定する距離測定ステップを有することを特徴とする測定方法。 - 撮像手段から得られる画像に含まれる対象物に対し、前記撮像手段の所定位置からの距離を測定するための測定方法において、
前記画像に含まれる対象物の所定幅に対応する画素数をF、前記画素数Fを測定したときの前記撮像手段の画角をα、予め設定された基準となる距離をLs、前記距離Lsに対応して設定された基準となる画素数をFs、前記画素数Fsを測定したときの前記撮像手段の画角をαsとしたとき、前記撮像手段の所定位置から前記対象物までの距離Lを、
L=(Ls×tan(αs/2)×Fs)/(tan(α/2)×F)
により算出して距離を測定する距離測定ステップを有することを特徴とする測定方法。 - 撮像手段から得られる画像に含まれる対象物に対し、前記撮像手段の所定位置からの距離を測定するための測定方法において、
前記画像に含まれる対象物の所定幅に対応する画素数をF、前記画素数Fを測定したときの前記撮像手段の画角をα、前記対象物の撮影方向に対する傾きをβ、予め設定された基準となる距離をLs、前記距離Lsに対応して設定された基準となる画素数をFs、前記画素数Fsを測定したときの前記撮像手段の画角をαsとしたとき、前記撮像手段の所定位置から前記対象物までの距離Lを、
L=(Ls×tan(αs/2)×Fs)/(tan(α/2)×F×cosβ)により算出して距離を測定する距離測定ステップを有することを特徴とする測定方法。 - 前記撮像手段の水平方向の画素数をN、前記撮像手段の水平方向の画角をαh、前記対象物の中心の水平方向の座標をxとしたとき、前記対象物の水平方向の角度θを、
θ=tan−1(((2×x/N)−1)×tan(αh/2))
により算出し、算出された結果及び前記距離測定ステップにより得られる前記撮像手段の所定位置から前記対象物までの距離に基づいて前記対象物の位置を測定する位置測定ステップを有することを特徴とする請求項1乃至3の何れか1項に記載の測定方法。 - 前記距離測定ステップ及び前記位置測定ステップにより得られた結果を少なくとも含む画面を生成する画面生成ステップを有することを特徴とする請求項4に記載の測定方法。
- 前記請求項1乃至前記請求項5の何れか1項に記載された測定方法をコンピュータに実行させるための測定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006186945A JP2008014825A (ja) | 2006-07-06 | 2006-07-06 | 測定方法及び測定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006186945A JP2008014825A (ja) | 2006-07-06 | 2006-07-06 | 測定方法及び測定プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008014825A true JP2008014825A (ja) | 2008-01-24 |
Family
ID=39071977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006186945A Pending JP2008014825A (ja) | 2006-07-06 | 2006-07-06 | 測定方法及び測定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008014825A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016156671A (ja) * | 2015-02-24 | 2016-09-01 | Jfeスチール株式会社 | 金属帯エッジ部の欠陥検出方法および金属帯エッジ部の欠陥検出装置 |
WO2019163124A1 (ja) * | 2018-02-26 | 2019-08-29 | 三菱電機株式会社 | 三次元位置推定装置及び三次元位置推定方法 |
JP2022076721A (ja) * | 2020-11-10 | 2022-05-20 | 富士通フロンテック株式会社 | 位置検出装置、位置検出システム、位置検出方法およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07324932A (ja) * | 1994-05-31 | 1995-12-12 | Nippon Hoso Kyokai <Nhk> | 被写***置・軌跡検出システム |
JP2003066321A (ja) * | 2001-08-29 | 2003-03-05 | Mega Chips Corp | Af制御装置およびaf制御方法 |
JP2003294855A (ja) * | 2002-04-03 | 2003-10-15 | Toyota Motor Corp | 乗員検知装置 |
-
2006
- 2006-07-06 JP JP2006186945A patent/JP2008014825A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07324932A (ja) * | 1994-05-31 | 1995-12-12 | Nippon Hoso Kyokai <Nhk> | 被写***置・軌跡検出システム |
JP2003066321A (ja) * | 2001-08-29 | 2003-03-05 | Mega Chips Corp | Af制御装置およびaf制御方法 |
JP2003294855A (ja) * | 2002-04-03 | 2003-10-15 | Toyota Motor Corp | 乗員検知装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016156671A (ja) * | 2015-02-24 | 2016-09-01 | Jfeスチール株式会社 | 金属帯エッジ部の欠陥検出方法および金属帯エッジ部の欠陥検出装置 |
WO2019163124A1 (ja) * | 2018-02-26 | 2019-08-29 | 三菱電機株式会社 | 三次元位置推定装置及び三次元位置推定方法 |
CN111742191A (zh) * | 2018-02-26 | 2020-10-02 | 三菱电机株式会社 | 三维位置推定装置及三维位置推定方法 |
JPWO2019163124A1 (ja) * | 2018-02-26 | 2020-12-03 | 三菱電機株式会社 | 三次元位置推定装置及び三次元位置推定方法 |
CN111742191B (zh) * | 2018-02-26 | 2022-01-14 | 三菱电机株式会社 | 三维位置推定装置及三维位置推定方法 |
US11488319B2 (en) | 2018-02-26 | 2022-11-01 | Mitsubishi Electric Corporation | Three-dimensional position estimation device and three-dimensional position estimation method |
JP2022076721A (ja) * | 2020-11-10 | 2022-05-20 | 富士通フロンテック株式会社 | 位置検出装置、位置検出システム、位置検出方法およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
USRE42794E1 (en) | Information-inputting device inputting contact point of object on recording surfaces as information | |
US7684613B2 (en) | Method and system for aligning three-dimensional shape data from photogrammetry data and three-dimensional measurement data using target locations and surface vectors | |
JP2007129709A (ja) | イメージングデバイスをキャリブレートするための方法、イメージングデバイスの配列を含むイメージングシステムをキャリブレートするための方法およびイメージングシステム | |
JP2004318823A (ja) | 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法 | |
CN102143321A (zh) | 摄影装置及控制方法 | |
US9569686B2 (en) | Mobile device field of view region determination | |
US20100245544A1 (en) | Imaging apparatus, imaging control method, and recording medium | |
KR20170066258A (ko) | 정보 처리 장치, 정보 처리 방법 및 기록 매체 | |
KR102186597B1 (ko) | 타겟 크기 측정 시스템 및 그 방법 | |
JP2017162103A (ja) | 点検作業支援システム、点検作業支援方法、点検作業支援プログラム | |
JP2016212784A (ja) | 画像処理装置、画像処理方法 | |
JP4987513B2 (ja) | 追跡装置、追跡方法、及び追跡プログラム | |
JP6530432B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4198536B2 (ja) | 物体撮影装置、物体撮影方法及び物体撮影プログラム | |
JP2013126135A (ja) | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム | |
JP2008209306A (ja) | カメラ | |
JP2008014825A (ja) | 測定方法及び測定プログラム | |
JP2008026999A (ja) | 障害物検出システム、及び障害物検出方法 | |
JP5727969B2 (ja) | 位置推定装置、方法、及びプログラム | |
EP4246281A1 (en) | Information display system, information display method, and carrier means | |
JP2015156540A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2018007082A (ja) | 画像再生装置およびその制御方法およびプログラム | |
JP2013258583A (ja) | 撮像画像表示装置、撮像画像表示方法、プログラム | |
JP6625654B2 (ja) | 投影装置、投影方法、および、プログラム | |
WO2021149509A1 (ja) | 撮像装置、撮像方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090525 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111025 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120515 |