JP4608139B2 - 画像合成方法及び画像合成装置 - Google Patents

画像合成方法及び画像合成装置 Download PDF

Info

Publication number
JP4608139B2
JP4608139B2 JP2001198136A JP2001198136A JP4608139B2 JP 4608139 B2 JP4608139 B2 JP 4608139B2 JP 2001198136 A JP2001198136 A JP 2001198136A JP 2001198136 A JP2001198136 A JP 2001198136A JP 4608139 B2 JP4608139 B2 JP 4608139B2
Authority
JP
Japan
Prior art keywords
image
background image
reference area
composite
start time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001198136A
Other languages
English (en)
Other versions
JP2003018461A (ja
Inventor
学 黒毛利
浩幸 岡本
尊人 鈴木
大一郎 加藤
貴生 津田
祐里 畠山
誠喜 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2001198136A priority Critical patent/JP4608139B2/ja
Publication of JP2003018461A publication Critical patent/JP2003018461A/ja
Application granted granted Critical
Publication of JP4608139B2 publication Critical patent/JP4608139B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はテレビジョン番組制作や映画制作などに使用される画像合成方法及び画像合成装置に関し、更に詳しくは、特にスポーツ中継などの場合において、被写体である選手の動作をわかりやすく表現するのに好適な画像合成方法及び画像合成装置に関する。
【0002】
【従来の技術】
従来、スポーツ中継などの番組制作の分野では、被写体である選手の動作をわかりやすく表現するには、スローモーション再生という手法が多用されている。また、他の方法として、例えば、選手の動作をストロボ写真のように表現し、背景画像に合成していくマルチモーションという技術も過去に開発され、実際の番組制作に使用されたことがある。
【0003】
【発明が解決しようとする課題】
しかしながら、上述した従来のスローモーション再生手法は、スポーツ中継などにおいて、被写体である選手の速い動きをゆっくりと表現するのに、非常に分かり易くて効果的ものであるが、一方、その動きがゆっくりになることで動いた軌跡やフォームの移行がとらえにくいという問題点があった。
【0004】
一方、上述した従来のマルチモーション技術は、被写体である選手のみを写した静止画像を背景画像に次々に合成していくため、残像効果で動きの経緯が非常に分かり易く評価が高い。ところが、このマルチモーションでは、背景に対して被写体を切り出すのに、背景差分や動きベクトルなどの画像処理技術を用いなければならない。このような画像処理技術の難易度が高いので、上手に合成するために、屋内のみでの使用や照明条件の固定などの制約があるという問題点があった。
【0005】
本発明は上述のような事情よりなされたものであり、本発明の目的は、視聴者にとって分かり易い番組制作が実現できる画像合成方法及び画像合成装置を提供し、さらに、屋外で行われることの多いスポーツ中継などのような照明条件の不安定な環境下でも、安定で信頼性の高いストロボ合成を可能にする画像合成方法及び画像合成装置を提供することにある。
【0006】
【課題を解決するための手段】
本発明は、被写体の動作をわかりやすく表現するのに好適な画像合成方法及び画像合成装置に関し、本発明の上記目的は、記録媒体に格納しておいた背景画像に輝度又は/及び色情報を参照するための参照エリアを設定すると共に、実際に合成開始時刻の撮影画像にも同じ参照エリアを設定するステップ又は手段と、前記背景画像の前記参照エリア内及び前記合成開始時刻の撮影画像の前記参照エリア内での輝度又は/及び色情報を計測し、前記背景画像が前記合成開始時刻の撮影画像と同等になるように、計測された輝度又は/及び色情報に基く補正を前記背景画像全体に加えるステップ又は手段と、補正後の前記背景画像を合成背景画像とし、合成が開始された時点以降の撮影画像と前記合成背景画像との間に差分演算を行い、それにより切り出された差分画像を前記合成背景画像に次々と重ね合せることによりストロボ写真状の合成画像を生成するステップ又は手段とを有することによって達成される。
【0007】
【発明の実施の形態】
以下、図面に基づいて本発明の実施形態について詳細に説明する。なお、本実施形態では、記録媒体として画像メモリを、色情報として色温度を用いることにより、ゴルフの中継番組の撮影を行う場合を例として説明する。本例の被写体はゴルフのプレイをしているゴルフ選手で、背景画像は例えばゴルフ場である。
【0008】
本実施形態では、画像メモリに予め取り込んでおいた、背景画像(ゴルフ選手のいないゴルフ場)に輝度及び色温度を参照するための参照エリアを設定すると共に、実際に合成開始時刻の撮影画像(ゴルフ選手のいるゴルフ場)にも同じ参照エリアを設定し、前記背景画像の前記参照エリア内及び前記合成開始時刻の前記撮影画像の前記参照エリア内での輝度及び色温度を計測し、前記背景画像が前記合成開始時刻の撮影画像と同等になるように、計測された輝度及び色温度に基く補正を前記背景画像全体に加えてから、補正後の前記背景画像を合成背景画像とし、合成が開始された時点以降の撮影画像と前記合成背景画像との間に差分演算を行い、それにより切り出された差分画像(ゴルフ選手のみが写った画像)を前記合成背景画像に次々と重ね合せることによりストロボ写真状の合成画像を生成するような画像合成方法を採用している。
【0009】
図1は背景画像を撮影するための実施形態の構成を示す模式図である。図1に示すように、撮影用カメラ10を用いて、背景となる風景(合成したい被写体であるゴルフ選手がいないゴルフ場)を撮影し、撮影した画像を撮影用カメラ10に接続されている画像メモリ11に保存しておく。
【0010】
図2はこのように画像メモリ11に保存された背景画像20の一例を示す模式図である。図2に示すように、背景画像20内にある適当な目標物21(例えば本例では白い看板)が映っているエリアを、輝度及び色温度を参照するための参照エリア22と設定しておく。
【0011】
図3は合成したい被写体23が撮影エリアに入ってきた場合の画像撮影の構成を示す模式図である。図3に示すように、被写体23であるゴルフ選手が撮影エリアに入ってきてプレイをし、合成をしたいプレイシーンが現れたら或は合成を行いたい時刻になったら、図1の背景画像20を撮影する際の撮影条件と全く同様な条件で、つまり同じ位置、同じ画角に設置された撮影用カメラ10を用いて、画像を撮影する。
【0012】
図4は、図3に示される構成で、撮影された合成開始時刻の撮影画像24の一例を示す模式図である。図4に示すように、合成開始時刻の撮影画像24内において、図2で設定したのと同様な参照エリア22を設定する。
【0013】
図5は背景画像20を補正する補正処理の手順を示すブロック図である。図5に示すように、まず、画像メモリ11上の背景画像20の参照エリア画像221と合成開始時刻の撮影画像24の参照エリア画像222とを輝度/色温度比較器30に取り込む。次に、輝度/色温度比較器30で求められた輝度及び色温度の各変化量に基いて補正量を演算器31での演算によって算出する。最後に、画像メモリ11上の背景画像20の全画像に対し、算出された補正量を用いて補正処理を施す。このような補正処理によって、合成開始時刻の背景画像に近い画像(補正後の背景画像25)を生成することができる。
【0014】
図6は合成画像27の生成手順を説明するための模式図である。図6に示すように、画像メモリ11上の補正後の背景画像25(合成背景画像)と現在の撮影画像28の間で差分演算を行うことにより、被写体23を切り出した差分画像26を作成する。所定の合成間隔でこのように切り出した差分画像26を合成背景画像25に次々と重ね合せて合成していくことにより、ストロボ写真状の合成画像27を生成する。
【0015】
図7は合成された合成画像27の一例を示す図である。図7は2フレーム毎に差分画像26を切り出し、それらの差分画像26を合成背景画像25に合成した例である。図示されるように、被写体23であるゴルフ選手のフォームが分かり易く得られている。
【0016】
なお、上述した本発明の実施形態においては、ゴルフ中継番組の撮影を例として説明したが、本発明はこれに限られるものではなく、他の色々な番組制作などに適用することができる。
【0017】
【発明の効果】
以上のように、本発明に係る画像合成方法及び画像合成装置によれば、屋外で行われることの多いスポーツ中継などのような照明条件の不安定な環境下でも、安定で信頼性の高いストロボ合成が可能になる。視聴者がスポーツ選手の動きを容易に理解できるような分かり易い番組制作に貢献することができる。
【0018】
つまり、本発明によって、スポーツ中継などの場合において、合成開始直前に被写体もいない背景画像を取り込むことが難しい条件下でも、その合成開始時刻に近い背景画像を生成することが可能であるため、精度の高い差分画像を切り出すことが可能になる。よって、屋外や不安定な照明条件などの悪い環境下でも、安定した高信頼性の合成を容易に実現することができる。マルチモーションと同等の優れた効果が様々なスポーツ中継で得られるようになり、視聴者にとって分かり易い番組制作を実現することができる。
【図面の簡単な説明】
【図1】背景画像を撮影するための実施形態の構成を示す模式図である。
【図2】保存された背景画像の一例を示す模式図である。
【図3】合成したい被写体がいる場合での画像撮影の構成を示す模式図である。
【図4】撮影された合成開始時刻の撮影画像の一例を示す模式図である。
【図5】背景画像を補正する補正処理の手順を示すブロック図である。
【図6】合成画像の生成手順を説明するための模式図である。
【図7】合成された合成画像の一例を示す図である。
【符号の説明】
10 撮影用カメラ
11 画像メモリ
20 背景画像
21 目標物
22 参照エリア
221 画像メモリ11上の背景画像20の参照エリア画像
222 合成開始時刻の撮影画像24の参照エリア画像
23 被写体
24 合成開始時刻の撮影画像
25 補正後の背景画像(合成背景画像)
26 差分画像
27 合成画像
28 現在の撮影画像
30 輝度/色温度比較器
31 演算器

Claims (2)

  1. 記録媒体に格納しておいた背景画像に輝度又は/及び色情報を参照するための参照エリアを設定すると共に、実際に合成開始時刻の撮影画像にも同じ参照エリアを設定するステップと、
    前記背景画像の前記参照エリア内及び前記合成開始時刻の前記撮影画像の前記参照エリア内での輝度又は/及び色情報を計測し、前記背景画像が前記合成開始時刻の前記撮影画像と同等になるように、計測された輝度又は/及び色情報に基く補正を前記背景画像全体に加えるステップと、
    補正後の前記背景画像を合成背景画像とし、合成が開始された時点以降の撮影画像と前記合成背景画像との間に差分演算を行い、それにより切り出された差分画像を前記合成背景画像に次々と重ね合せることによりストロボ写真状の合成画像を生成するステップと、
    を有することを特徴とする画像合成方法。
  2. 記録媒体に格納しておいた背景画像に輝度又は/及び色情報を参照するための参照エリアを設定すると共に、実際に合成開始時刻の撮影画像にも同じ参照エリアを設定する手段と、
    前記背景画像の前記参照エリア内及び前記合成開始時刻の前記撮影画像の前記参照エリア内での輝度又は/及び色情報を計測し、前記背景画像が前記合成開始時刻の前記撮影画像と同等になるように、計測された輝度又は/及び色情報に基く補正を前記背景画像全体に加える手段と、
    補正後の前記背景画像を合成背景画像とし、合成が開始された時点以降の撮影画像と前記合成背景画像との間に差分演算を行い、それにより切り出された差分画像を前記合成背景画像に次々と重ね合せることによりストロボ写真状の合成画像を生成する手段と、
    を備えてなる画像合成装置。
JP2001198136A 2001-06-29 2001-06-29 画像合成方法及び画像合成装置 Expired - Fee Related JP4608139B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001198136A JP4608139B2 (ja) 2001-06-29 2001-06-29 画像合成方法及び画像合成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001198136A JP4608139B2 (ja) 2001-06-29 2001-06-29 画像合成方法及び画像合成装置

Publications (2)

Publication Number Publication Date
JP2003018461A JP2003018461A (ja) 2003-01-17
JP4608139B2 true JP4608139B2 (ja) 2011-01-05

Family

ID=19035629

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001198136A Expired - Fee Related JP4608139B2 (ja) 2001-06-29 2001-06-29 画像合成方法及び画像合成装置

Country Status (1)

Country Link
JP (1) JP4608139B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4293213B2 (ja) 2006-09-11 2009-07-08 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5152233B2 (ja) * 2010-03-17 2013-02-27 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム
JP5621834B2 (ja) * 2012-12-06 2014-11-12 カシオ計算機株式会社 記録制御装置、記録制御方法及びプログラム
WO2014155877A1 (ja) * 2013-03-26 2014-10-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2015114694A (ja) 2013-12-09 2015-06-22 ソニー株式会社 画像処理装置、画像処理方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09102910A (ja) * 1995-10-03 1997-04-15 Nippon Hoso Kyokai <Nhk> 動画像処理装置および方法
JPH11331693A (ja) * 1998-05-20 1999-11-30 Casio Comput Co Ltd 画像処理方法及びその装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09102910A (ja) * 1995-10-03 1997-04-15 Nippon Hoso Kyokai <Nhk> 動画像処理装置および方法
JPH11331693A (ja) * 1998-05-20 1999-11-30 Casio Comput Co Ltd 画像処理方法及びその装置

Also Published As

Publication number Publication date
JP2003018461A (ja) 2003-01-17

Similar Documents

Publication Publication Date Title
CN107852476B (zh) 动画播放装置、动画播放方法、动画播放***以及动画发送装置
KR101626780B1 (ko) 촬상 장치, 화상 처리 방법 및 프로그램
US5737031A (en) System for producing a shadow of an object in a chroma key environment
JP5133816B2 (ja) カメラ、画像合成方法、およびプログラム
US10666861B2 (en) Method and system for producing a video production
US20130242140A1 (en) Photographing apparatus
US7173672B2 (en) System and method for transitioning between real images and virtual images
JP2007142949A (ja) 多焦点カメラの撮影光学系
WO2020195232A1 (ja) 画像処理装置、画像処理方法、プログラム
US20100259627A1 (en) Method and apparatus for photographing and projecting moving images
JP2003199034A (ja) パノラマ画像を形成するための事後的ピクチャスティッチ用スチルピクチャフォーマット
JP2008544604A (ja) 代替画像/映像挿入方法、装置及びシステム
JP2010232814A (ja) 映像編集プログラムおよび映像編集装置
US6731825B1 (en) Apparatus and method for producing images using digitally stored dynamic background sets
JP2006005452A (ja) 画像合成装置及び画像合成システム
JP4608139B2 (ja) 画像合成方法及び画像合成装置
JP5532645B2 (ja) 映像編集プログラムおよび映像編集装置
CN116781958B (zh) 一种基于xr的多机位演播***及方法
WO2023236656A1 (zh) 互动画面的渲染方法、装置、设备、存储介质及程序产品
JP2001028765A (ja) 3次元映像の送受信システム及びその送受信方法
CN112912935A (zh) 虚拟现实实时拍摄监看***及控制方法
KR20160102898A (ko) 렌즈 관련 메타데이터를 생성하기 위한 방법 및 장치
JP5602818B2 (ja) カメラ、画像再生装置、画像合成方法、およびプログラム
JP7513081B2 (ja) 画像処理装置、画像処理方法、プログラム
WO2021181965A1 (ja) 画像処理装置、画像処理方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080407

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080407

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100928

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101008

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141015

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees