JP2003125286A - 映像切出し制御方法および映像切出し制御装置 - Google Patents
映像切出し制御方法および映像切出し制御装置Info
- Publication number
- JP2003125286A JP2003125286A JP2001321065A JP2001321065A JP2003125286A JP 2003125286 A JP2003125286 A JP 2003125286A JP 2001321065 A JP2001321065 A JP 2001321065A JP 2001321065 A JP2001321065 A JP 2001321065A JP 2003125286 A JP2003125286 A JP 2003125286A
- Authority
- JP
- Japan
- Prior art keywords
- cutout
- video
- image
- line
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 映像のうち視聴者が所望する領域を決定する
ことができ、映像から視聴者が所望する領域を自動的に
切り出させることが可能な映像切出し制御方法および映
像切出し制御装置を提供することを目的とする。 【解決手段】 映像の少なくとも一部の領域を切り出す
映像切出し装置４０を制御する映像切出し制御装置１０
であって、撮像される対象物を見ている一人以上の観客
の視線情報を取得し、取得した視線情報を統計的に処理
する統計処理手段１１，１２と、前記統計的に処理した
結果に応じて、撮像された映像から切り出す切出し領域
を決定する切出し領域決定手段１３，１４とを有し、前
記決定した切出し領域に応じて前記映像切出し装置４０
を制御することにより上記課題を解決する。
ことができ、映像から視聴者が所望する領域を自動的に
切り出させることが可能な映像切出し制御方法および映
像切出し制御装置を提供することを目的とする。 【解決手段】 映像の少なくとも一部の領域を切り出す
映像切出し装置４０を制御する映像切出し制御装置１０
であって、撮像される対象物を見ている一人以上の観客
の視線情報を取得し、取得した視線情報を統計的に処理
する統計処理手段１１，１２と、前記統計的に処理した
結果に応じて、撮像された映像から切り出す切出し領域
を決定する切出し領域決定手段１３，１４とを有し、前
記決定した切出し領域に応じて前記映像切出し装置４０
を制御することにより上記課題を解決する。
Description
【０００１】
【発明の属する技術分野】本発明は、映像切出し制御方
法および映像切出し制御装置に係り、特に映像から所望
の領域を切り出す映像切出し処理を制御する映像切出し
制御方法および映像切出し制御装置に関する。
法および映像切出し制御装置に係り、特に映像から所望
の領域を切り出す映像切出し処理を制御する映像切出し
制御方法および映像切出し制御装置に関する。
【０００２】
【従来の技術】例えばスポーツ中継などでは、カメラマ
ン自らの判断または他人からの指示によって，又はリモ
コンカメラなどを用いて操作者の指示によって，又はロ
ボットカメラを用いて予め登録された指示によって、映
像撮像装置（カメラ）の撮影方向および撮影画角が決定
されている。この撮影方向および撮影画角に応じて撮像
された映像は、放送映像として出力されていた。
ン自らの判断または他人からの指示によって，又はリモ
コンカメラなどを用いて操作者の指示によって，又はロ
ボットカメラを用いて予め登録された指示によって、映
像撮像装置（カメラ）の撮影方向および撮影画角が決定
されている。この撮影方向および撮影画角に応じて撮像
された映像は、放送映像として出力されていた。
【０００３】近年、超高精細カメラなどで予め精細度の
高い映像を取得しておき、その映像から一部の領域を切
り出すことにより、電子的にズームした映像を取得する
映像切出し装置が知られるようになった。このような映
像切出し装置の一例が、例えば「島本ほか：“超高精細
動画像からのハイビジョン切り出し映像”、信学技報Ｉ
Ｅ９６−７２」などに記載されている。
高い映像を取得しておき、その映像から一部の領域を切
り出すことにより、電子的にズームした映像を取得する
映像切出し装置が知られるようになった。このような映
像切出し装置の一例が、例えば「島本ほか：“超高精細
動画像からのハイビジョン切り出し映像”、信学技報Ｉ
Ｅ９６−７２」などに記載されている。
【０００４】例えばスポーツ中継などにおいて会場全体
を超高精細カメラで撮像しておくことにより、映像切出
し装置は実時間又は後処理において会場全体の映像から
一部の領域を切出して電子的にズームした映像を取得す
る。なお、会場全体の映像から切り出された切出し領域
は、放送映像の画素数を有するものとする。
を超高精細カメラで撮像しておくことにより、映像切出
し装置は実時間又は後処理において会場全体の映像から
一部の領域を切出して電子的にズームした映像を取得す
る。なお、会場全体の映像から切り出された切出し領域
は、放送映像の画素数を有するものとする。
【０００５】従来、映像切出し装置を利用することによ
り、カメラマン等によるカメラワーク（撮影方向および
撮影画角などの操作）で撮像された映像と同様な映像を
電子的な処理により取得していた。
り、カメラマン等によるカメラワーク（撮影方向および
撮影画角などの操作）で撮像された映像と同様な映像を
電子的な処理により取得していた。
【０００６】
【発明が解決しようとする課題】しかしながら、カメラ
マン自らの判断または他人からの指示によって，又はリ
モコンカメラなどを用いて操作者の指示によって，又は
ロボットカメラを用いて予め登録された指示によって、
カメラの撮影方向および撮影画角を決定する場合には、
人間が撮影方向および撮影画角を決定しなければならな
かった。また、カメラの撮影方向および撮影画角の制御
は機構的な動作が必要であるため、大きな動作に素早く
反応することが困難であった。
マン自らの判断または他人からの指示によって，又はリ
モコンカメラなどを用いて操作者の指示によって，又は
ロボットカメラを用いて予め登録された指示によって、
カメラの撮影方向および撮影画角を決定する場合には、
人間が撮影方向および撮影画角を決定しなければならな
かった。また、カメラの撮影方向および撮影画角の制御
は機構的な動作が必要であるため、大きな動作に素早く
反応することが困難であった。
【０００７】さらに、映像切出し装置を利用すること
で、カメラマン等によるカメラワークにより撮像された
映像と同様な映像を電子的な処理により取得する場合に
は、映像から一部の領域を切出して電子的にズームする
処理を人間が行わなければならなかった。
で、カメラマン等によるカメラワークにより撮像された
映像と同様な映像を電子的な処理により取得する場合に
は、映像から一部の領域を切出して電子的にズームする
処理を人間が行わなければならなかった。
【０００８】本発明は、上記の点に鑑みなされたもの
で、映像のうち視聴者が所望する領域を決定することが
でき、映像から視聴者が所望する領域を自動的に切り出
させることが可能な映像切出し制御方法および映像切出
し制御装置を提供することを目的とする。
で、映像のうち視聴者が所望する領域を決定することが
でき、映像から視聴者が所望する領域を自動的に切り出
させることが可能な映像切出し制御方法および映像切出
し制御装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】そこで、上記課題を解決
するため、本発明は、映像の少なくとも一部の領域を切
り出す映像切出し処理を制御する映像切出し制御方法で
あって、撮像される対象物を見ている一人以上の観客の
視線情報を取得し、取得した視線情報を統計的に処理す
る統計処理段階と、前記統計的に処理した結果に応じ
て、撮像された映像から切り出す切出し領域を決定する
切出し領域決定段階とを有し、前記決定した切出し領域
に応じて前記映像切出し処理を制御することを特徴とす
る。
するため、本発明は、映像の少なくとも一部の領域を切
り出す映像切出し処理を制御する映像切出し制御方法で
あって、撮像される対象物を見ている一人以上の観客の
視線情報を取得し、取得した視線情報を統計的に処理す
る統計処理段階と、前記統計的に処理した結果に応じ
て、撮像された映像から切り出す切出し領域を決定する
切出し領域決定段階とを有し、前記決定した切出し領域
に応じて前記映像切出し処理を制御することを特徴とす
る。
【００１０】このような映像切出し制御方法では、撮像
されている対象物を見ている一人以上の観客の視線情報
を取得し、取得した視線情報を統計的に処理する。視線
情報を統計的に処理した結果は、映像のうち観客の視線
が集まっている領域を表しており、視聴者が所望する可
能性の高い領域であると判断できる。
されている対象物を見ている一人以上の観客の視線情報
を取得し、取得した視線情報を統計的に処理する。視線
情報を統計的に処理した結果は、映像のうち観客の視線
が集まっている領域を表しており、視聴者が所望する可
能性の高い領域であると判断できる。
【００１１】したがって、視線情報を統計的に処理した
結果に応じて、映像から切り出す切出し領域を決定する
ことにより、視聴者が所望する領域を切り出すように映
像切出し処理を制御することが可能となる。なお、映像
は映像切出し処理を行っても十分な画質を保持できる精
細なものを利用する。
結果に応じて、映像から切り出す切出し領域を決定する
ことにより、視聴者が所望する領域を切り出すように映
像切出し処理を制御することが可能となる。なお、映像
は映像切出し処理を行っても十分な画質を保持できる精
細なものを利用する。
【００１２】また、本発明は、映像の少なくとも一部の
領域を切り出す映像切出し装置を制御する映像切出し制
御装置であって、撮像される対象物を見ている一人以上
の観客の視線情報を取得し、取得した視線情報を統計的
に処理する統計処理手段と、前記統計的に処理した結果
に応じて、撮像された映像から切り出す切出し領域を決
定する切出し領域決定手段とを有し、前記決定した切出
し領域に応じて前記映像切出し装置を制御することを特
徴とする。
領域を切り出す映像切出し装置を制御する映像切出し制
御装置であって、撮像される対象物を見ている一人以上
の観客の視線情報を取得し、取得した視線情報を統計的
に処理する統計処理手段と、前記統計的に処理した結果
に応じて、撮像された映像から切り出す切出し領域を決
定する切出し領域決定手段とを有し、前記決定した切出
し領域に応じて前記映像切出し装置を制御することを特
徴とする。
【００１３】このような映像切出し制御装置では、撮像
される対象物を見ている一人以上の観客の視線情報を取
得し、取得した視線情報を統計処理手段により統計的に
処理する。視線情報を統計的に処理した結果は、映像の
うち観客の視線が集まっている領域を表しており、視聴
者が所望する可能性の高い領域であると判断できる。
される対象物を見ている一人以上の観客の視線情報を取
得し、取得した視線情報を統計処理手段により統計的に
処理する。視線情報を統計的に処理した結果は、映像の
うち観客の視線が集まっている領域を表しており、視聴
者が所望する可能性の高い領域であると判断できる。
【００１４】したがって、視線情報を統計的に処理した
結果に応じて、切出し領域決定手段により映像から切り
出す切出し領域を決定することにより、視聴者が所望す
る領域を切り出すように映像切出し装置を制御すること
が可能となる。
結果に応じて、切出し領域決定手段により映像から切り
出す切出し領域を決定することにより、視聴者が所望す
る領域を切り出すように映像切出し装置を制御すること
が可能となる。
【００１５】また、本発明は、前記統計処理手段が、取
得した視線情報に応じて前記一人以上の観客の視線方向
の平均を算出する平均算出手段と、取得した視線情報に
応じて前記一人以上の観客の視線方向のばらつきを算出
するばらつき算出手段とを有することを特徴とする。
得した視線情報に応じて前記一人以上の観客の視線方向
の平均を算出する平均算出手段と、取得した視線情報に
応じて前記一人以上の観客の視線方向のばらつきを算出
するばらつき算出手段とを有することを特徴とする。
【００１６】このような映像切出し制御装置では、統計
処理手段が、取得した視線情報から観客の視線方向の平
均とばらつきとを算出することができる。
処理手段が、取得した視線情報から観客の視線方向の平
均とばらつきとを算出することができる。
【００１７】また、本発明は、前記切出し領域決定手段
が、算出した視線方向の平均に応じて前記映像から切り
出す切出し位置を決定する切出し位置決定手段と、算出
した視線方向のばらつきに応じて前記映像から切り出す
切出し範囲を決定する切出し範囲決定手段とを有するこ
とを特徴とする。
が、算出した視線方向の平均に応じて前記映像から切り
出す切出し位置を決定する切出し位置決定手段と、算出
した視線方向のばらつきに応じて前記映像から切り出す
切出し範囲を決定する切出し範囲決定手段とを有するこ
とを特徴とする。
【００１８】このような映像切出し制御装置では、切出
し領域決定手段が、視線方向の平均に応じて切出し位置
を決定すると共に、視線方向のばらつきに応じて切出し
範囲を決定することができる。
し領域決定手段が、視線方向の平均に応じて切出し位置
を決定すると共に、視線方向のばらつきに応じて切出し
範囲を決定することができる。
【００１９】また、本発明は、前記決定した切出し位置
および切出し範囲に応じて前記映像切出し装置を制御す
ることを特徴とする。
および切出し範囲に応じて前記映像切出し装置を制御す
ることを特徴とする。
【００２０】このような映像切出し制御装置では、算出
した切出し位置および切出し範囲に応じて映像切出し装
置を制御することができる。
した切出し位置および切出し範囲に応じて映像切出し装
置を制御することができる。
【００２１】また、本発明は、前記視線情報の替わり
に、前記観客が選択した前記映像上の位置情報を用いる
ことを特徴とする。
に、前記観客が選択した前記映像上の位置情報を用いる
ことを特徴とする。
【００２２】このような映像切出し制御装置では、視線
情報に限ることなく、映像上の位置情報を用いることも
できる。つまり、視聴者が所望する可能性の高い領域で
あるか否かを判断できる情報を利用することにより、視
聴者が所望すると予測される領域を判断することが可能
である。
情報に限ることなく、映像上の位置情報を用いることも
できる。つまり、視聴者が所望する可能性の高い領域で
あるか否かを判断できる情報を利用することにより、視
聴者が所望すると予測される領域を判断することが可能
である。
【００２３】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面に基づいて説明する。なお、本実施例では、撮像
する映像の一例としてスポーツ中継の例を説明するが、
いかなる映像でもよい。
て図面に基づいて説明する。なお、本実施例では、撮像
する映像の一例としてスポーツ中継の例を説明するが、
いかなる映像でもよい。
【００２４】図１は、本発明の映像切出し制御装置を含
むシステムの一実施例の構成図を示す。図１のシステム
１は、映像切出し制御装置１０，視線入力装置２０ａ〜
２０ｎ，映像撮像装置３０，映像切出し装置４０を含む
ように構成される。また、映像切出し制御装置１０は、
平均値算出回路１１，分散値算出回路１２，切出し位置
決定回路１３および切出し範囲決定回路１４を含む。
むシステムの一実施例の構成図を示す。図１のシステム
１は、映像切出し制御装置１０，視線入力装置２０ａ〜
２０ｎ，映像撮像装置３０，映像切出し装置４０を含む
ように構成される。また、映像切出し制御装置１０は、
平均値算出回路１１，分散値算出回路１２，切出し位置
決定回路１３および切出し範囲決定回路１４を含む。
【００２５】以下、スポーツ中継の一例としてサッカー
の試合を中継する場合について説明する。映像撮像装置
３０は、映像切出し装置４０で映像切出し処理を行って
も放送映像として十分な画質を保持できる詳細な映像を
撮像できる映像撮像装置である。映像撮像装置３０は、
放送映像として利用する例えばサッカー会場の全範囲の
映像を撮像する。映像撮像装置３０により撮像された映
像は、映像切出し装置４０に供給される。
の試合を中継する場合について説明する。映像撮像装置
３０は、映像切出し装置４０で映像切出し処理を行って
も放送映像として十分な画質を保持できる詳細な映像を
撮像できる映像撮像装置である。映像撮像装置３０は、
放送映像として利用する例えばサッカー会場の全範囲の
映像を撮像する。映像撮像装置３０により撮像された映
像は、映像切出し装置４０に供給される。
【００２６】映像切出し装置４０は、映像撮像装置３０
から供給される映像の一部を映像切出し制御装置１０か
らの制御に応じて切出し、切出した映像を切出し映像と
して出力する。なお、切出し映像は、放送映像の画素数
を有している。
から供給される映像の一部を映像切出し制御装置１０か
らの制御に応じて切出し、切出した映像を切出し映像と
して出力する。なお、切出し映像は、放送映像の画素数
を有している。
【００２７】視線入力装置２０ａ〜２０ｎは、サッカー
会場に来ている観客の一部又は全部に一つずつ取り付け
られる。視線入力装置２０ａ〜２０ｎは、取り付けてい
る観客の視線位置を検出し、検出した観客の視線位置を
映像切出し制御装置１０に供給する。
会場に来ている観客の一部又は全部に一つずつ取り付け
られる。視線入力装置２０ａ〜２０ｎは、取り付けてい
る観客の視線位置を検出し、検出した観客の視線位置を
映像切出し制御装置１０に供給する。
【００２８】映像切出し制御装置１０は、視線入力装置
２０ａ〜２０ｎから夫々供給された視線位置を統計的に
処理する。具体的に説明すると、平均値算出回路１１は
供給された視線位置の平均を算出する。平均値算出回路
１１は、算出した視線位置の平均を切出し位置決定回路
１３に供給する。例えばｎ人の観客の視線位置を二次元
平面上に投影したときの空間的な位置をＥｉ（ｘ，ｙ）
とすると、観客の視線位置の平均的な位置（重心）は、
以下の式（１）から算出される。
２０ａ〜２０ｎから夫々供給された視線位置を統計的に
処理する。具体的に説明すると、平均値算出回路１１は
供給された視線位置の平均を算出する。平均値算出回路
１１は、算出した視線位置の平均を切出し位置決定回路
１３に供給する。例えばｎ人の観客の視線位置を二次元
平面上に投影したときの空間的な位置をＥｉ（ｘ，ｙ）
とすると、観客の視線位置の平均的な位置（重心）は、
以下の式（１）から算出される。
【００２９】
【数１】
分散値算出回路１２は供給された視線位置のばらつきと
して標準偏差又は分散を算出する。分散値算出回路１２
は、算出した視線位置の標準偏差又は分散を切出し範囲
決定回路１４に供給する。例えば観客の視線位置の標準
偏差は、以下の式（２）から算出される。また、観客の
視線位置の分散は、以下の式（３）から算出される。
して標準偏差又は分散を算出する。分散値算出回路１２
は、算出した視線位置の標準偏差又は分散を切出し範囲
決定回路１４に供給する。例えば観客の視線位置の標準
偏差は、以下の式（２）から算出される。また、観客の
視線位置の分散は、以下の式（３）から算出される。
【００３０】
【数２】
切出し位置決定回路１３は、供給された視線位置の平均
に基づき映像の切出し位置を決定する。ここで、視線位
置の平均はサッカー会場の内で観客の視線が集まってい
る位置を表している。つまり、視線位置の平均は、その
サッカー中継を放送した場合に、放送映像の視聴者が視
聴を所望する可能性の高い位置（撮影方向）であると判
断できる。切出し位置決定回路１３は、決定した映像の
切出し位置を映像切出し装置４０に供給する。
に基づき映像の切出し位置を決定する。ここで、視線位
置の平均はサッカー会場の内で観客の視線が集まってい
る位置を表している。つまり、視線位置の平均は、その
サッカー中継を放送した場合に、放送映像の視聴者が視
聴を所望する可能性の高い位置（撮影方向）であると判
断できる。切出し位置決定回路１３は、決定した映像の
切出し位置を映像切出し装置４０に供給する。
【００３１】切出し範囲決定回路１４は、供給された標
準偏差又は分散に基づき映像の切出し範囲を決定する。
ここで、視線位置の標準偏差又は分散はサッカー会場の
内で観客の視線がばらついている範囲を表している。つ
まり、視線位置の標準偏差又は分散は、そのスポーツ中
継を放送した場合に、放送映像の視聴者が視聴を所望す
る可能性の高い範囲（撮影画角）であると判断できる。
切出し範囲決定回路１４は、決定した映像の切出し範囲
を映像切出し装置４０に供給する。
準偏差又は分散に基づき映像の切出し範囲を決定する。
ここで、視線位置の標準偏差又は分散はサッカー会場の
内で観客の視線がばらついている範囲を表している。つ
まり、視線位置の標準偏差又は分散は、そのスポーツ中
継を放送した場合に、放送映像の視聴者が視聴を所望す
る可能性の高い範囲（撮影画角）であると判断できる。
切出し範囲決定回路１４は、決定した映像の切出し範囲
を映像切出し装置４０に供給する。
【００３２】例えば映像撮像装置３０でサッカー会場の
全体映像を、映像切出し処理を行っても放送映像として
十分な画質を保持できる高精細な映像で撮像し、撮像し
た全体映像の一部を映像切出し装置４０で切り出すとき
の切出し範囲（領域）の大きさは、以下の式（４）から
算出される。
全体映像を、映像切出し処理を行っても放送映像として
十分な画質を保持できる高精細な映像で撮像し、撮像し
た全体映像の一部を映像切出し装置４０で切り出すとき
の切出し範囲（領域）の大きさは、以下の式（４）から
算出される。
【００３３】
【数３】
以上のように、映像切出し制御装置１０は、決定した切
出し位置および切出し範囲を映像切出し装置４０に供給
することで、映像切出し装置４０で行う映像切出し処理
を制御する。したがって、映像切出し装置４０から出力
される切出し映像は、サッカー中継の視聴者が所望する
と予測される領域のものとなる。
出し位置および切出し範囲を映像切出し装置４０に供給
することで、映像切出し装置４０で行う映像切出し処理
を制御する。したがって、映像切出し装置４０から出力
される切出し映像は、サッカー中継の視聴者が所望する
と予測される領域のものとなる。
【００３４】なお、視線入力装置２０ａ〜２０ｎは、サ
ッカー会場に来ている観客に限ることなく、映像撮像装
置３０により撮像された全画面を視聴する視聴者に取り
付けてもよい。また、視線入力装置２０ａ〜２０ｎは、
取り付けている観客の視線位置が取得できるのであれ
ば、観客の視線位置を自動検出するものに限らず、手動
入力するものであってもよい。
ッカー会場に来ている観客に限ることなく、映像撮像装
置３０により撮像された全画面を視聴する視聴者に取り
付けてもよい。また、視線入力装置２０ａ〜２０ｎは、
取り付けている観客の視線位置が取得できるのであれ
ば、観客の視線位置を自動検出するものに限らず、手動
入力するものであってもよい。
【００３５】すなわち、視線入力装置２０ａ〜２０ｎを
手動入力装置とし、その手動入力装置はサッカー会場に
来ている観客の一部又は全部に配布され、観客の意志に
よる希望切出し位置が入力される。手動入力装置は、視
線情報の替わりに、観客の興味が高い領域を判断できる
情報が入力されるものであればよく、例えばジョイステ
ィックや音声入力装置などで構成される。手動入力装置
は、入力された希望切出し位置を映像切出し制御装置１
０に供給する。
手動入力装置とし、その手動入力装置はサッカー会場に
来ている観客の一部又は全部に配布され、観客の意志に
よる希望切出し位置が入力される。手動入力装置は、視
線情報の替わりに、観客の興味が高い領域を判断できる
情報が入力されるものであればよく、例えばジョイステ
ィックや音声入力装置などで構成される。手動入力装置
は、入力された希望切出し位置を映像切出し制御装置１
０に供給する。
【００３６】更に、図１のシステム１の処理について、
具体的な数値を用いて説明する。例えば、６人の観客ａ
〜ｆに視線入力装置２０ａ，２０ｂ，２０ｃ，２０ｄ，
２０ｅおよび２０ｆが一つずつ取り付けられているとす
る。また、観客ａ〜ｆの二次元空間上の視線位置を水平
方向ｘ，垂直方向ｙとする。
具体的な数値を用いて説明する。例えば、６人の観客ａ
〜ｆに視線入力装置２０ａ，２０ｂ，２０ｃ，２０ｄ，
２０ｅおよび２０ｆが一つずつ取り付けられているとす
る。また、観客ａ〜ｆの二次元空間上の視線位置を水平
方向ｘ，垂直方向ｙとする。
【００３７】視線入力装置２０ａ〜２０ｆは、観客ａ〜
ｆの視線位置Ｅｉ（ｘ，ｙ）を検出し、検出した視線位
置Ｅｉを映像切出し制御装置１０に供給する。例えば視
線位置の空間範囲を正規化（０≦ｘ≦１，０≦ｙ≦１）
したとき、映像切出し制御装置１０は以下の表１のよう
な視線位置Ｅｉ（ｘ，ｙ）が供給される。
ｆの視線位置Ｅｉ（ｘ，ｙ）を検出し、検出した視線位
置Ｅｉを映像切出し制御装置１０に供給する。例えば視
線位置の空間範囲を正規化（０≦ｘ≦１，０≦ｙ≦１）
したとき、映像切出し制御装置１０は以下の表１のよう
な視線位置Ｅｉ（ｘ，ｙ）が供給される。
【００３８】
【表１】
映像切出し制御装置１０は上記の式（１）を利用するこ
とで、以下の式（５）のような観客ａ〜ｆの平均的な視
線位置を算出する。映像切出し制御装置１０は上記の式
（２）を利用することで、以下の式（６）のような観客
ａ〜ｆの視線位置の標準偏差を算出する。また、映像切
出し制御装置１０は上記の式（４）を利用することで、
以下の式（７）のような映像切出し装置４０で切り出す
切出し領域の大きさを算出する。
とで、以下の式（５）のような観客ａ〜ｆの平均的な視
線位置を算出する。映像切出し制御装置１０は上記の式
（２）を利用することで、以下の式（６）のような観客
ａ〜ｆの視線位置の標準偏差を算出する。また、映像切
出し制御装置１０は上記の式（４）を利用することで、
以下の式（７）のような映像切出し装置４０で切り出す
切出し領域の大きさを算出する。
【００３９】
【数４】
したがって、映像切出し制御装置１０は、映像切出し装
置４０で切り出す切出し範囲の中心を（０．４６，０．
５４）、切出し範囲を（０．４４,０．４０）と決定す
ることができる。なお、切出し範囲は、視線位置の標準
偏差をベクトルで求め、そのベクトル長を所定の縦横
比，例えば１６：９の比率でそれぞれ横方向および縦方
向の大きさを求めて算出してもよい。また、切出し範囲
の中心位置や大きさを決定する手段として、観客の平均
的な視線位置や視線位置の標準偏差を用いると共に、所
定の重み付けや非線形処理などを施してもよい。
置４０で切り出す切出し範囲の中心を（０．４６，０．
５４）、切出し範囲を（０．４４,０．４０）と決定す
ることができる。なお、切出し範囲は、視線位置の標準
偏差をベクトルで求め、そのベクトル長を所定の縦横
比，例えば１６：９の比率でそれぞれ横方向および縦方
向の大きさを求めて算出してもよい。また、切出し範囲
の中心位置や大きさを決定する手段として、観客の平均
的な視線位置や視線位置の標準偏差を用いると共に、所
定の重み付けや非線形処理などを施してもよい。
【００４０】図２は、本発明の映像切出し制御装置を含
むシステムの他の実施例の構成図を示す。図２のシステ
ム２は、映像切出し制御装置１０，映像撮像装置３０，
切出し位置希望入力装置５０ａ〜５０ｎ，カメラ撮像位
置制御装置６０を含むように構成される。なお、図２の
システム２は、図１のシステム１と同様な構成部分を有
しているため、同一な構成部分に同一符号を付して説明
を省略する。
むシステムの他の実施例の構成図を示す。図２のシステ
ム２は、映像切出し制御装置１０，映像撮像装置３０，
切出し位置希望入力装置５０ａ〜５０ｎ，カメラ撮像位
置制御装置６０を含むように構成される。なお、図２の
システム２は、図１のシステム１と同様な構成部分を有
しているため、同一な構成部分に同一符号を付して説明
を省略する。
【００４１】切出し位置希望入力装置５０ａ〜５０ｎ
は、サッカー会場に来ている観客の一部又は全部に配布
され、観客の意志による希望切出し位置が入力される。
切出し位置希望入力装置５０ａ〜５０ｎは、視線情報の
替わりに、観客の興味が高い領域を判断できる情報が入
力されるものであればよい。切出し位置希望入力装置５
０ａ〜５０ｎは、例えばジョイスティックや音声入力装
置などで構成される。切出し位置希望入力装置５０ａ〜
５０ｎは、入力された希望切出し位置を映像切出し制御
装置１０に供給する。
は、サッカー会場に来ている観客の一部又は全部に配布
され、観客の意志による希望切出し位置が入力される。
切出し位置希望入力装置５０ａ〜５０ｎは、視線情報の
替わりに、観客の興味が高い領域を判断できる情報が入
力されるものであればよい。切出し位置希望入力装置５
０ａ〜５０ｎは、例えばジョイスティックや音声入力装
置などで構成される。切出し位置希望入力装置５０ａ〜
５０ｎは、入力された希望切出し位置を映像切出し制御
装置１０に供給する。
【００４２】映像切出し制御装置１０は、切出し位置希
望入力装置５０ａ〜５０ｎから夫々供給された希望切出
し位置を前述した視線位置と同様、統計的に処理する。
映像切出し制御装置１０は、統計的に処理した結果とし
て、切出し位置および切出し範囲をカメラ撮像位置制御
装置６０に供給する。
望入力装置５０ａ〜５０ｎから夫々供給された希望切出
し位置を前述した視線位置と同様、統計的に処理する。
映像切出し制御装置１０は、統計的に処理した結果とし
て、切出し位置および切出し範囲をカメラ撮像位置制御
装置６０に供給する。
【００４３】カメラ撮像位置制御装置６０は、映像切出
し制御装置１０から供給された切出し位置および切出し
範囲に応じて、映像撮像装置３０の撮影方向および撮影
画角を制御する。映像撮像装置３０は、カメラ撮像位置
制御装置６０からの制御に応じて撮影方向および撮影画
角を決定する。映像撮像装置３０は、例えばカメラ三脚
に取り付けられた電動パン・チルト駆動装置および電動
ズーム装置などで撮影方向および撮影画角を制御するこ
とが考えられる。このように、図２のシステムでは、映
像切出し制御装置１０を使わない場合に、ズーム，パン
・チルトで対応することを特徴としている。
し制御装置１０から供給された切出し位置および切出し
範囲に応じて、映像撮像装置３０の撮影方向および撮影
画角を制御する。映像撮像装置３０は、カメラ撮像位置
制御装置６０からの制御に応じて撮影方向および撮影画
角を決定する。映像撮像装置３０は、例えばカメラ三脚
に取り付けられた電動パン・チルト駆動装置および電動
ズーム装置などで撮影方向および撮影画角を制御するこ
とが考えられる。このように、図２のシステムでは、映
像切出し制御装置１０を使わない場合に、ズーム，パン
・チルトで対応することを特徴としている。
【００４４】以上のように、映像切出し制御装置１０
は、決定した切出し位置および切出し範囲をカメラ撮像
位置制御装置６０に供給することで、映像撮像装置３０
の撮影方向および撮影画角を制御する。したがって、映
像撮像装置３０から出力される映像は、サッカー中継の
視聴者が所望すると予測される領域のものとなる。
は、決定した切出し位置および切出し範囲をカメラ撮像
位置制御装置６０に供給することで、映像撮像装置３０
の撮影方向および撮影画角を制御する。したがって、映
像撮像装置３０から出力される映像は、サッカー中継の
視聴者が所望すると予測される領域のものとなる。
【００４５】
【発明の効果】上述の如く、本発明によれば、視線情報
を統計的に処理した結果に応じて、映像から切り出す切
出し領域を決定することにより、視聴者が所望する領域
を切り出すように映像切出し処理を制御することが可能
となる。
を統計的に処理した結果に応じて、映像から切り出す切
出し領域を決定することにより、視聴者が所望する領域
を切り出すように映像切出し処理を制御することが可能
となる。
【００４６】また、本発明によれば、視線情報に限るこ
となく、視聴者が所望する可能性の高い領域であるか否
かを判断できる情報を利用することにより、視聴者が所
望すると予測される領域を判断することが可能となる。
となく、視聴者が所望する可能性の高い領域であるか否
かを判断できる情報を利用することにより、視聴者が所
望すると予測される領域を判断することが可能となる。
【００４７】
【図１】本発明の映像切出し制御装置を含むシステムの
一実施例の構成図である。
一実施例の構成図である。
【図２】本発明の映像切出し制御装置を含むシステムの
他の実施例の構成図である。
他の実施例の構成図である。
【符号の説明】
１，２ システム
１０ 映像切出し制御装置
１１ 平均値算出回路
１２ 分散値算出回路
１３ 切出し位置決定回路
１４ 切出し範囲決定回路
２０ａ〜２０ｎ 視線入力装置
３０ 映像撮像装置
４０ 映像切出し装置
５０ａ〜５０ｎ 切出し位置希望入力装置
６０ カメラ撮像位置制御装置
Claims (6)
- 【請求項１】 映像の少なくとも一部の領域を切り出す
映像切出し処理を制御する映像切出し制御方法であっ
て、 撮像される対象物を見ている一人以上の観客の視線情報
を取得し、取得した視線情報を統計的に処理する統計処
理段階と、 前記統計的に処理した結果に応じて、撮像された映像か
ら切り出す切出し領域を決定する切出し領域決定段階と
を有し、 前記決定した切出し領域に応じて前記映像切出し処理を
制御することを特徴とする映像切出し制御方法。 - 【請求項２】 映像の少なくとも一部の領域を切り出す
映像切出し装置を制御する映像切出し制御装置であっ
て、 撮像される対象物を見ている一人以上の観客の視線情報
を取得し、取得した視線情報を統計的に処理する統計処
理手段と、 前記統計的に処理した結果に応じて、撮像された映像か
ら切り出す切出し領域を決定する切出し領域決定手段と
を有し、 前記決定した切出し領域に応じて前記映像切出し装置を
制御することを特徴とする映像切出し制御装置。 - 【請求項３】 前記統計処理手段は、取得した視線情報
に応じて前記一人以上の観客の視線方向の平均を算出す
る平均算出手段と、 取得した視線情報に応じて前記一人以上の観客の視線方
向のばらつきを算出するばらつき算出手段とを有するこ
とを特徴とする請求項２記載の映像切出し制御装置。 - 【請求項４】 前記切出し領域決定手段は、算出した視
線方向の平均に応じて前記映像から切り出す切出し位置
を決定する切出し位置決定手段と、 算出した視線方向のばらつきに応じて前記映像から切り
出す切出し範囲を決定する切出し範囲決定手段とを有す
ることを特徴とする請求項３記載の映像切出し制御装
置。 - 【請求項５】 前記決定した切出し位置および切出し範
囲に応じて前記映像切出し装置を制御することを特徴と
する請求項４記載の映像切出し制御装置。 - 【請求項６】 前記視線情報の替わりに、前記観客が選
択した前記映像上の位置情報を用いることを特徴とする
請求項２乃至５何れか一項記載の映像切出し制御装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001321065A JP3891402B2 (ja) | 2001-10-18 | 2001-10-18 | 映像切出し制御装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001321065A JP3891402B2 (ja) | 2001-10-18 | 2001-10-18 | 映像切出し制御装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003125286A true JP2003125286A (ja) | 2003-04-25 |
| JP3891402B2 JP3891402B2 (ja) | 2007-03-14 |
Family
ID=19138352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001321065A Expired - Fee Related JP3891402B2 (ja) | 2001-10-18 | 2001-10-18 | 映像切出し制御装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3891402B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004056335A (ja) * | 2002-07-18 | 2004-02-19 | Sony Corp | 情報処理装置および方法、表示装置および方法、並びにプログラム |
| JP2005100367A (ja) * | 2003-09-02 | 2005-04-14 | Fuji Photo Film Co Ltd | 画像生成装置、画像生成方法、及び画像生成プログラム |
| JP2005109814A (ja) * | 2003-09-30 | 2005-04-21 | Casio Comput Co Ltd | 画像撮影装置およびプログラム |
| JP2007006111A (ja) * | 2005-06-23 | 2007-01-11 | Nippon Hoso Kyokai <Nhk> | トリミング制御装置及びトリミング制御プログラム |
| JP2016046730A (ja) * | 2014-08-25 | 2016-04-04 | 学校法人早稲田大学 | 視聴者注目情報提供システム、時空間マーカ設定装置及びそのプログラム、並びに、情報提供装置及びそのプログラム |
| US11463620B2 (en) | 2016-04-15 | 2022-10-04 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus and image capturing apparatus |
-
2001
- 2001-10-18 JP JP2001321065A patent/JP3891402B2/ja not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004056335A (ja) * | 2002-07-18 | 2004-02-19 | Sony Corp | 情報処理装置および方法、表示装置および方法、並びにプログラム |
| JP2005100367A (ja) * | 2003-09-02 | 2005-04-14 | Fuji Photo Film Co Ltd | 画像生成装置、画像生成方法、及び画像生成プログラム |
| JP2005109814A (ja) * | 2003-09-30 | 2005-04-21 | Casio Comput Co Ltd | 画像撮影装置およびプログラム |
| JP2007006111A (ja) * | 2005-06-23 | 2007-01-11 | Nippon Hoso Kyokai <Nhk> | トリミング制御装置及びトリミング制御プログラム |
| JP4528212B2 (ja) * | 2005-06-23 | 2010-08-18 | 日本放送協会 | トリミング制御装置及びトリミング制御プログラム |
| JP2016046730A (ja) * | 2014-08-25 | 2016-04-04 | 学校法人早稲田大学 | 視聴者注目情報提供システム、時空間マーカ設定装置及びそのプログラム、並びに、情報提供装置及びそのプログラム |
| US11463620B2 (en) | 2016-04-15 | 2022-10-04 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus and image capturing apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3891402B2 (ja) | 2007-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7015954B1 (en) | Automatic video system using multiple cameras | |
| JP4539048B2 (ja) | 動画像表示システム及びプログラム | |
| US7548269B2 (en) | System for autofocusing a moving object | |
| KR20160093759A (ko) | 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법 | |
| JP2007158860A (ja) | 撮影システム、撮影装置、画像切替装置、およびデータ保持装置 | |
| GB2440376A (en) | Wide angle video conference imaging | |
| EP1358758A1 (en) | Camera system and method for operating same | |
| JP2006229322A (ja) | 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム | |
| JP4581210B2 (ja) | テレビ会議システム | |
| JP2010124120A (ja) | オートフォーカスシステム | |
| JP2005117163A (ja) | カメラサーバ装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
| JP5340772B2 (ja) | 画像通信システム | |
| JP2010117663A (ja) | オートフォーカスシステム | |
| JP2003125286A (ja) | 映像切出し制御方法および映像切出し制御装置 | |
| JP2007067510A (ja) | 映像撮影システム | |
| JP2003111041A (ja) | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム | |
| CN115315939A (zh) | 信息处理装置、信息处理方法和程序 | |
| JP2001036898A (ja) | パノラマ映像生成用カメラシステム | |
| JP5960996B2 (ja) | 撮影制御装置、撮影制御装置の画像配信方法およびプログラム | |
| JP7301521B2 (ja) | 画像処理装置 | |
| JP2000099691A (ja) | 人物撮影装置 | |
| CN112887620A (zh) | 视频拍摄方法、装置及电子设备 | |
| CN112804455A (zh) | 远程交互方法、装置、视频设备和计算机可读存储介质 | |
| JP6936483B2 (ja) | Ｈｄｒ映像のためのレベル適応映像切り替え処理方法及び処理装置 | |
| KR20170011928A (ko) | 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040405 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060619 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060822 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061019 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061130 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121215 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131215 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |