JP4695615B2 - 映像オブジェクトの軌跡画像合成装置およびそのプログラム - Google Patents
映像オブジェクトの軌跡画像合成装置およびそのプログラム Download PDFInfo
- Publication number
- JP4695615B2 JP4695615B2 JP2007054357A JP2007054357A JP4695615B2 JP 4695615 B2 JP4695615 B2 JP 4695615B2 JP 2007054357 A JP2007054357 A JP 2007054357A JP 2007054357 A JP2007054357 A JP 2007054357A JP 4695615 B2 JP4695615 B2 JP 4695615B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- subject
- video frame
- dimensional
- trajectory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
例えば、特許文献1においては、2台のカメラの位置、光軸方向、および画角値に基づき、三角測量の原理によって、飛行するボールの3次元位置座標を算出する手法が開示されている。
また2台のカメラの位置、光軸方向および画角値から三角測量法的手法でボールの位置座標を計算し、飛行するボールの3次元位置をフレームごとに計測する装置(非特許文献1)などが存在する。
まず、図1を参照して、本発明の第1の実施形態に係る映像オブジェクトの軌跡画像合成装置の構成について説明する。図1は、本発明の第1の実施形態に係る映像オブジェクトの軌跡画像合成装置の全体構成を示すブロック図である。
図1に示すように、映像オブジェクトの軌跡画像合成装置1は、被写体移動開始検出手段2と、被写体上昇判定手段3と、探索位置更新設定手段4と、閾値決定手段5と、オブジェクト領域選定手段6と、予測曲線算出手段7と、着地判定手段8と、2次元予測位置算出手段9と、オブジェクト3次元位置算出手段10と、映像記憶手段11と、カメラパラメータ記憶手段12と、被写体画像特徴記憶手段13と、オブジェクト3次元位置記憶手段14と、軌跡画像生成手段15と、軌跡画像合成手段16とを備えている。
また、輝度閾値設定手段52は、ボール領域の輝度範囲を、低い領域の上限値T1と、高い領域の下限値T2とによって決めるが、これらの値は過去に抽出したボール領域の画像特徴として、対象図形である映像オブジェクトの画像面積を、被写体画像特徴記憶手段13から取出して参照することにより、前記輝度範囲の前記上限値T1と、前記下限値T2とを動的に決定することができる。過去のフレームで抽出したボール領域から現フレームでの面積が概算できるため、閾値決定法としてはPタイル法が有効である。
また、3次元予測位置算出手段71により得られたボール(被写体)の3次元予測位置は、着地判定手段8へ出力される。
次に、図6および図7を参照(適宜図1を参照)して、軌跡画像合成装置1の動作について説明する。
図6は、本発明に係る軌跡画像合成装置1の動作を示すフローチャートである。図7は、本発明に係る映像オブジェクト抽出動作の処理の流れを示すフローチャートである。
図2を参照して、本発明の第2の実施形態に係る映像オブジェクトの軌跡画像合成装置の構成について説明する。図2は、本発明の第2の実施形態に係る映像オブジェクトの軌跡画像合成装置の全体構成を示すブロック図である。
図2に示すように、軌跡画像合成装置1Bは、探索位置更新設定手段4Bと、閾値決定手段5と、オブジェクト領域選定手段6と、予測曲線算出手段7と、着地判定手段8と、2次元予測位置算出手段9と、オブジェクト3次元位置算出手段10と、映像記憶手段11Bと、カメラパラメータ記憶手段12Bと、被写体画像特徴記憶手段13と、オブジェクト3次元位置記憶手段14と、軌跡画像生成手段15と、軌跡画像合成手段16とを備えている。なお、探索位置更新設定手段4Bと、映像記憶手段11Bと、カメラパラメータ記憶手段12Bと以外の構成については、図1で説明した軌跡画像合成装置1と同一のものであるため、同一の符号を付し、説明を省略する。
2 被写体移動開始検出手段
3 被写体上昇判定手段
4、4B 探索位置更新設定手段
5 閾値決定手段
6 オブジェクト領域選定手段
7 予測曲線算出手段
8 着地判定手段
9 2次元予測位置算出手段
10 オブジェクト3次元位置算出手段
11、11B 映像記憶手段
12、12B カメラパラメータ記憶手段
13 被写体画像特徴記憶手段
14 オブジェクト3次元位置記憶手段
15 軌跡画像生成手段
16 軌跡画像合成手段
51 輝度ヒストグラム生成手段
52 輝度閾値設定手段
53 前景・背景分離手段
71 3次元予測位置算出手段
72 スクリーン座標変換手段
73 軌跡曲線補間手段
81 被写体高さ判定手段
82 着地時刻判定手段
83 座標変換手段
Claims (5)
- 移動する被写体をカメラにより撮影した映像と、前記被写体を撮影したときの前記カメラの姿勢および画角に関する情報を含むカメラパラメータとから、前記被写体に対応する映像オブジェクトの移動軌跡を算出し、その算出した映像オブジェクトの移動軌跡を表す軌跡画像と前記カメラによって撮影された映像とを合成する映像オブジェクトの軌跡画像合成装置であって、
前記映像を構成する映像フレーム内における前記映像オブジェクトの探索範囲を設定する探索位置更新設定手段と、
前記映像フレームの輝度のヒストグラムである輝度ヒストグラムを生成し、当該輝度ヒストグラムに基づいて、前記探索位置更新設定手段によって設定された探索範囲から前記映像オブジェクトを抽出するための前記輝度に対する閾値と、当該閾値より輝度の高い領域を抽出するか、もしくは、低い領域を抽出するかを決定し、決定された前記領域の画像を、前記映像オブジェクトを含む前景画像として抽出する閾値決定手段と、
前記閾値決定手段によって抽出された前記前景画像から、前記映像オブジェクトの画像特徴を利用して前記映像オブジェクトを選定するオブジェクト領域選定手段と、
前記オブジェクト領域選定手段によって選定された前記映像オブジェクトの前記映像フレーム内における位置から、当該映像フレームの次の前記映像フレーム内における前記映像オブジェクトの位置を示す2次元予測位置を算出する2次元予測位置算出手段と、
前記オブジェクト領域選定手段によって選定された映像オブジェクトの前記映像フレーム内における位置と前記カメラパラメータとに基づいて、当該映像フレームが撮影された時点の前記被写体の実空間における位置を示す3次元位置を算出するオブジェクト3次元位置算出手段と、
前記オブジェクト3次元位置算出手段によって得られた3次元位置を記憶するオブジェクト3次元位置記憶手段と、
前記オブジェクト3次元位置記憶手段に記憶された3次元位置に基づき、前記軌跡画像を生成する軌跡画像生成手段と、
前記軌跡画像生成手段で生成された前記軌跡画像と前記映像フレームとを合成して出力する軌跡画像合成手段と、を備え、
前記探索位置更新設定手段が、前記2次元予測位置算出手段によって算出された2次元予測位置に基づいて、前記次の映像フレームの前記探索範囲を設定する、ことを特徴とする映像オブジェクトの軌跡画像合成装置。 - 前記オブジェクト領域選定手段によって選定された前記映像オブジェクトの前記映像フレーム内における位置と、前記カメラパラメータとから、当該映像フレームより後に続いて入力される複数の前記映像フレーム内における前記映像オブジェクトに対応する当該被写体の実空間における位置を示す3次元予測位置を逐次予測する3次元予測位置算出手段と、
前記3次元予測位置算出手段によって得られた3次元予測位置を投影変換して、当該被写体に対応する前記映像オブジェクトの前記次の映像フレーム内での位置を算出するスクリーン座標変換手段と、
前記スクリーン座標変換手段によって得られた前記映像フレーム内における前記位置を示す点の列を、曲線を用いて補間する軌跡曲線補間手段と、を備え、
前記オブジェクト領域選定手段が、前記軌跡曲線補間手段によって生成された前記曲線から、前記次の映像フレームの前記前景画像に含まれる前記映像オブジェクトの候補となる各々の領域までの距離に基づいて、前記映像オブジェクトを選定することを特徴とする請求項1に記載の映像オブジェクトの軌跡画像合成装置。 - 前記3次元予測位置算出手段によって得られた3次元予測位置に基づいて、前記被写体の実空間における高さが、予め設定された高さに対して下回るかどうかを判定する被写体高さ判定手段と、を備え、
前記探索位置更新設定手段は、前記被写体高さ判定手段によって下回ると判定された時点の前記映像フレームの次の前記映像フレーム内において、当該映像フレームの前の映像フレームの前記探索範囲より広い前記探索範囲を設定することを特徴とする請求項2に記載の映像オブジェクトの軌跡画像合成装置。 - 前記映像を記憶する映像記憶手段と、
前記カメラパラメータを記憶するカメラパラメータ記憶手段と、を備え、
前記探索位置更新設定手段は、前記映像記憶手段に記憶された前記映像を構成する時系列の前記映像フレームを逆の順番に入力して、前記映像フレームにおける前記探索範囲を設定し、前記オブジェクト3次元位置算出手段が、前記カメラパラメータ記憶手段に記憶された時系列の前記カメラパラメータを逆の順番に入力して、前記3次元位置を算出する、ことを特徴とする請求項1ないし請求項3に記載の映像オブジェクトの軌跡画像合成装置。 - 移動する被写体をカメラにより撮影した映像と、前記被写体を撮影したときの前記カメラの姿勢および画角に関する情報を含むカメラパラメータとから、前記被写体の実空間における位置を示す3次元位置を算出して、外部に接続された記憶装置に記憶し、この3次元位置に基づいて、前記被写体に対応する映像オブジェクトの移動軌跡を表す軌跡画像を生成した当該軌跡画像と前記カメラによって撮影された映像とを合成するために、コンピュータを、
前記映像を構成する映像フレーム内における前記映像オブジェクトの探索範囲を設定する探索位置更新設定手段、
前記映像フレームの輝度のヒストグラムである輝度ヒストグラムを生成し、当該輝度ヒストグラムに基づいて、前記探索位置更新設定手段によって設定された探索範囲から前記映像オブジェクトを抽出するための前記輝度に対する閾値と、当該閾値より輝度の高い領域を抽出するか、もしくは、低い領域を抽出するかを決定し、決定された前記領域の画像を、前記映像オブジェクトを含む前景画像として抽出する閾値決定手段、
前記閾値決定手段によって抽出された前記前景画像から、前記映像オブジェクトの画像特徴を利用して映像オブジェクトを選定するオブジェクト領域選定手段、
前記オブジェクト領域選定手段によって選定された前記映像オブジェクトの前記映像フレーム内における位置から、次の前記映像フレーム内における前記映像オブジェクトの位置を示す2次元予測位置を算出する2次元予測位置算出手段、
前記オブジェクト領域選定手段によって選定された映像オブジェクトの前記映像フレーム内における位置と前記カメラパラメータとに基づいて、当該映像フレームが撮影された時点の前記被写体の実空間における位置を示す3次元位置を算出して前記記憶装置に記憶するオブジェクト3次元位置算出手段、
前記記憶装置に記憶された3次元位置に基づき、前記軌跡画像を生成する軌跡画像生成手段、
前記軌跡画像生成手段で生成された前記軌跡画像と前記映像フレームとを合成して出力する軌跡画像合成手段、として機能させ、
前記探索位置更新設定手段が、前記2次元予測位置算出手段によって算出された2次元予測位置に基づいて、前記映像フレームの前記探索範囲を設定することを特徴とする映像オブジェクトの軌跡画像合成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007054357A JP4695615B2 (ja) | 2007-03-05 | 2007-03-05 | 映像オブジェクトの軌跡画像合成装置およびそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007054357A JP4695615B2 (ja) | 2007-03-05 | 2007-03-05 | 映像オブジェクトの軌跡画像合成装置およびそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008219489A JP2008219489A (ja) | 2008-09-18 |
JP4695615B2 true JP4695615B2 (ja) | 2011-06-08 |
Family
ID=39838991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007054357A Expired - Fee Related JP4695615B2 (ja) | 2007-03-05 | 2007-03-05 | 映像オブジェクトの軌跡画像合成装置およびそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4695615B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4972116B2 (ja) * | 2009-03-30 | 2012-07-11 | 本田技研工業株式会社 | 車両の周辺監視装置 |
WO2016183740A1 (en) * | 2015-05-15 | 2016-11-24 | Chan Lak Wang | Camera, method, and system for filming golf game |
JP6606985B2 (ja) * | 2015-11-06 | 2019-11-20 | 富士通株式会社 | 画像処理方法、画像処理プログラムおよび画像処理装置 |
JP2017173252A (ja) * | 2016-03-25 | 2017-09-28 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US11375249B2 (en) | 2016-08-03 | 2022-06-28 | Dejero Labs Inc. | System and method for controlling data stream modifications |
WO2018105290A1 (ja) * | 2016-12-07 | 2018-06-14 | ソニーセミコンダクタソリューションズ株式会社 | 画像センサ |
JP7067023B2 (ja) * | 2017-11-10 | 2022-05-16 | 富士通株式会社 | 情報処理装置、背景更新方法および背景更新プログラム |
JP7083333B2 (ja) * | 2019-12-27 | 2022-06-10 | 楽天グループ株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN112492209B (zh) * | 2020-11-30 | 2022-04-29 | 维沃移动通信有限公司 | 拍摄方法、拍摄装置和电子设备 |
CN115037992A (zh) * | 2022-06-08 | 2022-09-09 | 中央广播电视总台 | 视频处理方法、装置和存储介质 |
CN115546111B (zh) * | 2022-09-13 | 2023-12-05 | 武汉海微科技有限公司 | 曲面屏检测方法、装置、设备及存储介质 |
KR20240068991A (ko) * | 2022-11-11 | 2024-05-20 | 한국전자기술연구원 | 2d 이미지 기반의 자유시점 3d 콘텐츠 복원 방법 및 시스템 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001273500A (ja) * | 2000-03-23 | 2001-10-05 | Hitachi Ltd | 運動物体計測装置および球技分析システムおよびデータサービスシステム |
JP2005123824A (ja) * | 2003-10-15 | 2005-05-12 | Nippon Hoso Kyokai <Nhk> | 映像オブジェクト軌跡合成装置、その方法及びそのプログラム |
JP2006040199A (ja) * | 2004-07-30 | 2006-02-09 | Nippon Hoso Kyokai <Nhk> | 映像オブジェクト抽出装置、映像オブジェクト軌跡合成装置、その方法及びそのプログラム |
JP2007226761A (ja) * | 2006-01-26 | 2007-09-06 | Nippon Hoso Kyokai <Nhk> | 映像オブジェクトの軌跡画像合成装置、映像オブジェクトの軌跡画像表示装置およびそのプログラム |
-
2007
- 2007-03-05 JP JP2007054357A patent/JP4695615B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001273500A (ja) * | 2000-03-23 | 2001-10-05 | Hitachi Ltd | 運動物体計測装置および球技分析システムおよびデータサービスシステム |
JP2005123824A (ja) * | 2003-10-15 | 2005-05-12 | Nippon Hoso Kyokai <Nhk> | 映像オブジェクト軌跡合成装置、その方法及びそのプログラム |
JP2006040199A (ja) * | 2004-07-30 | 2006-02-09 | Nippon Hoso Kyokai <Nhk> | 映像オブジェクト抽出装置、映像オブジェクト軌跡合成装置、その方法及びそのプログラム |
JP2007226761A (ja) * | 2006-01-26 | 2007-09-06 | Nippon Hoso Kyokai <Nhk> | 映像オブジェクトの軌跡画像合成装置、映像オブジェクトの軌跡画像表示装置およびそのプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2008219489A (ja) | 2008-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4695615B2 (ja) | 映像オブジェクトの軌跡画像合成装置およびそのプログラム | |
JP4758842B2 (ja) | 映像オブジェクトの軌跡画像合成装置、映像オブジェクトの軌跡画像表示装置およびそのプログラム | |
US10628956B2 (en) | Video processing device, video processing method, and program | |
CN106871878B (zh) | 手持测距装置及利用其创建空间模型的方法、存储介质 | |
US10721384B2 (en) | Camera with radar system | |
CN104603796A (zh) | 在图像中交互式调焦的***、方法和媒体 | |
EP2947868B1 (en) | Method for creating panorama | |
CN103533232A (zh) | 图像处理装置以及图像处理方法 | |
JP2005123824A (ja) | 映像オブジェクト軌跡合成装置、その方法及びそのプログラム | |
US10275917B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
KR20090006068A (ko) | 동영상 시퀀스를 수정하는 방법 및 그 장치 | |
JP2023010759A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US10353066B2 (en) | Camera with radar-based autofocus | |
CN107439006A (zh) | 使用激光自动聚焦减少散焦的方法和设备 | |
KR20160034819A (ko) | 화상 처리 장치, 화상 처리 방법 및 프로그램 | |
US20200099854A1 (en) | Image capturing apparatus and image recording method | |
CN113853577A (zh) | 图像的处理方法及装置、可移动平台及其控制终端、计算机可读存储介质 | |
CN113812139A (zh) | 图像处理设备、图像处理方法和程序 | |
JP2006244074A (ja) | 動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体 | |
US11468258B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2006040199A (ja) | 映像オブジェクト抽出装置、映像オブジェクト軌跡合成装置、その方法及びそのプログラム | |
JP6320165B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP4240666B2 (ja) | 画像合成方法および画像表示方法 | |
EP3796260A1 (en) | Information processing apparatus, shape data generation method, and program | |
EP4220556A1 (en) | Image processing apparatus, image processing method, program, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090319 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110201 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110225 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |