JP2008271149A - 動画撮影装置、動画再生装置、動画配信システム、制御方法、制御プログラム、および、記録媒体 - Google Patents

動画撮影装置、動画再生装置、動画配信システム、制御方法、制御プログラム、および、記録媒体 Download PDF

Info

Publication number
JP2008271149A
JP2008271149A JP2007111006A JP2007111006A JP2008271149A JP 2008271149 A JP2008271149 A JP 2008271149A JP 2007111006 A JP2007111006 A JP 2007111006A JP 2007111006 A JP2007111006 A JP 2007111006A JP 2008271149 A JP2008271149 A JP 2008271149A
Authority
JP
Japan
Prior art keywords
moving image
unit
video
information
viewer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007111006A
Other languages
English (en)
Other versions
JP4933337B2 (ja
Inventor
Hirotoshi Yamamoto
博俊 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2007111006A priority Critical patent/JP4933337B2/ja
Publication of JP2008271149A publication Critical patent/JP2008271149A/ja
Application granted granted Critical
Publication of JP4933337B2 publication Critical patent/JP4933337B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】閲覧者の意図を撮影者が操作する撮影装置を介して該撮影者に伝達することを可能にする。
【解決手段】本発明の携帯電話1は、動画再生装置としての携帯電話3にて動画を閲覧する閲覧者Rが上記動画の中で着目する対象物を示す対象物指定情報を携帯電話3から取得する対象物指定情報取得部30と、上記動画において上記対象物指定情報が示す対象物を強調して表示部18に表示する操作指示出力部32とを備えている。
【選択図】図1

Description

本発明は、撮影装置で撮影した動画を、通信網を介して動画再生装置に配信する動画配信システムに関するものである。
従来、情報通信技術の発展に伴って、双方向通信が可能なシステムを用いたさまざまな情報提供サービスが普及している。これにより、情報提供者が通信端末装置(撮影装置)を用いてアップロードした種々の情報を、閲覧者はインターネットを介して自身の通信端末装置(動画再生装置)から簡単に入手できる(例えば、特許文献1、2参照)。
さらに、近年、高速・大容量のデータ通信が可能となり、動画などの大容量のデジタルコンテンツを配信する動画配信システムを実現できるようになった。そして、動画撮影装置が撮影中の動画(ライブ映像)をストリーミング配信し、そのライブ映像を閲覧者の動画再生装置でリアルタイムに再生できる動画配信システムが普及してきている(例えば、特許文献3〜5参照)。
また、携帯電話などように携帯可能な通信端末装置の高性能小型化・多機能化が進んでおり、これらの通信端末装置を、ライブ映像を撮影し配信する動画撮影装置や、それを受信し再生する動画再生装置として利用することが可能になってきた。例えば、特許文献1に記載の情報配信システムでは、情報提供(撮影)者側および閲覧者側の通信端末装置に携帯電話を採用することが記載されている。
特開2003−036365(2003年2月7日公開) 特開2003−203035(2003年7月18日公開) 特開2005−012393(2005年1月13日公開) 特開2005−184536(2005年7月7日公開) 特開2006−314073(2006年11月16日公開)
しかしながら、上記従来の構成では、以下の問題が生じる。
従来、ライブ映像を配信する画像配信システムにおいて、ライブ映像を撮影する撮影装置の制御を、インターネットや携帯電話網などの通信網を介して、閲覧者の通信端末装置から行うことが可能である。具体的には、閲覧者に指定された駆動量、駆動方向に応じて撮影装置を回動させることなどにより、閲覧者は、自身の意図するライブ映像を取得することができる。
しかし、上記技術は、撮影装置が固定されているシステムにのみ適用可能であって、上述したとおり、撮影者の撮影装置が携帯電話などの携帯可能な通信端末装置である場合には適用できないという問題がある。具体的には、撮影者が携帯電話に内蔵された撮影装置を手に持って操作するので、撮影装置が固定されていない。そのため、閲覧者は上記撮影装置を遠隔操作で直接制御することができず、閲覧者の意図を撮影者が使用する撮影装置に伝達することができないという問題を生じる。
またこのような問題は、動画配信システムに携帯電話を採用する場合に限らず、配信するライブ映像を撮影するための撮影装置が手動で操作されるような動画配信システムにおいて、同様に生じるものである。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、閲覧者の意図を撮影者が操作する撮影装置を介して該撮影者に伝達することが可能な動画撮影装置、動画再生装置、動画配信システム、制御方法、制御プログラム、および、記録媒体を実現することにある。
本発明にかかる動画撮影装置は、上記課題を解決するために、撮影者が表示部に表示された動画を確認して撮影部の位置を手動で調節することにより動画を撮影し、通信網を介して該動画を動画再生装置に送信する動画撮影装置において、上記動画再生装置にて上記動画を閲覧する閲覧者が上記動画の中で着目する対象物を示す対象物指定情報を上記動画再生装置から取得する対象物指定情報取得手段と、上記動画において上記対象物指定情報取得手段が取得した対象物指定情報が示す対象物を強調して上記表示部に表示する操作指示出力手段とを備えていることを特徴としている。
上記構成によれば、まず、対象物指定情報取得手段は、上記動画再生装置から、対象物指定情報を取得する。対象物指定情報とは、上記動画再生装置にて上記動画を閲覧する閲覧者が上記動画の中で着目する対象物を示す情報のことである。
続いて、操作指示出力手段は、上記動画を表示する際に、取得された上記対象物指定情報が示す対象物を強調して、上記表示部に表示する。
これにより、撮影者は、上記撮影部の位置を手動で調節して撮影を行う際、撮影中の動画を、該動画が含む上記対象物が強調表示された状態で確認することが可能となる。
したがって、撮影者は、動画の撮影中に、該動画の閲覧者が動画のどの部分に着目しているのかを知ることが可能となる。
結果として、閲覧者の意図を撮影者が操作する撮影装置を介して該撮影者に伝達することが可能となるという効果を奏する。
撮影者が上述のように閲覧者が着目している対象物を知ることができると、例えば、該対象物を基準にして以下のように撮影部を操作して撮影を行うことができる。
撮影者は、閲覧者が着目する対象物が画面の所定の位置(例えば、画面中央)にくるように撮影部の位置を手動で調整することができる。つまり、対象物を画面中央に捕捉するように撮影部の向きを変更することができる。あるいは、撮影者は、上記対象物が拡大されるよう撮影部のズーム率を変更することができる。さらに、撮影者は、上記対象物がフレームアウトするように撮影部の向きを変更することができる。
上記対象物指定情報は、上記動画における上記対象物を含む領域である対象物領域を特定する座標情報を含み、上記操作指示出力手段は、上記座標情報によって特定された対象物領域を強調して上記表示部に表示してもよい。
これにより、上記操作指示出力手段がどの対象物を強調表示すればよいのかが、動画における座標情報によって特定される。
座標情報とは、例えば、矩形の始点および終点のXY座標、または、円形の中心のXY座標および半径などの情報を含む。
あるいは、上記対象物指定情報は、上記動画の1フレームに対し、上記対象物を含む領域である対象物領域を示す情報を追加した静止画であり、上記操作指示出力手段は、上記静止画に含まれる対象物領域を示す情報に基づいて特定された対象物領域を強調して上記表示部に表示してもよい。
上記構成によれば、上記操作指示出力手段がどの対象物を強調表示すればよいのかが、上記静止画に含まれる対象物領域を示す情報によって特定される。
対象物領域を示す情報を静止画に追加する方法の具体例としては、例えば、上記静止画に以下のような画像処理を施すことが挙げられる。すなわち、対象物領域を囲う枠を重畳したり、対象物領域の色調を変化させたり、対象物領域の色を反転させたり、対象物を矢印で指し示したりすることなどである。
あるいは、上記対象物指定情報は、上記動画における上記対象物を含む領域をトリミングしたトリミング画像であり、上記操作指示出力手段は、上記動画において上記トリミング画像と一致する領域を強調して上記表示部に表示してもよい。
上記構成によれば、上記操作指示出力手段がどの対象物を強調表示すればよいのかが、上記トリミング画像によって特定される。より詳細には、上記表示部に表示されている撮影中の動画の中で、上記トリミング画像と一致する領域が特定される。
上記動画撮影装置は、さらに、上記動画における、上記対象物指定情報により特定された対象物の位置を追跡する対象物追跡手段を備え、上記操作指示出力手段は、上記対象物追跡手段が追跡する対象物の移動に合わせて強調表示を行うことが好ましい。
上記構成によれば、上記操作指示出力手段が、対象物指定情報によって特定された対象物を強調表示したのちに、撮影者が撮影部の位置を動かすことによって、表示部に表示されている動画中の対象物が移動しても、対象物の移動に追尾して強調表示が行われる。
これにより、撮影部を動かしても、撮影者は、閲覧者が着目している対象物がどこに写っているのかを見失うことがなくなる。
また、上記対象物の画面の所定位置(例えば、中央)に捕捉したいと考える場合に、上記強調表示部分が中央にくるように撮影部を動かしつつ撮影を行うことが可能となる。
上記動画撮影装置は、さらに、上記対象物追跡手段が追跡する対象物を、上記動画の所定の位置に捕捉するために上記撮影部を動かす方向を決定する方向指示手段を備え、上記操作指示出力手段は、方向指示手段が決定した方向を示す情報を上記表示部に表示することが好ましい。
上記構成によれば、方向指示手段は、現在撮影中の動画において写っている対象物の位置を把握して、該対象物を所定の目的の位置(例えば、中央)に捕捉するためには、撮影部をどの方向に動かす必要があるのかを求め決定する。そして、操作指示出力手段は、方向指示手段が決定した方向を示す情報(例えば、矢印など)を上記表示部に表示する。
これにより、閲覧者により指定された対象物を所定の位置(例えば、中央)に捕捉するために、操作部をどの方向に動かせばよいかを撮影者が知ることができる。したがって、閲覧者が意図する動画をより容易に撮影することが可能となる。
上記動画撮影装置は、さらに、上記対象物追跡手段が追跡する対象物が上記動画の所定の位置に捕捉されたことを検知する検知手段と、上記検知手段が上記対象物が上記所定の位置に捕捉されたことを検知したことを上記動画再生装置に通知する通知手段とを備えていることが好ましい。
上記構成によれば、撮影者が撮影部を動かして撮影を続行したのちに、閲覧者が指定する対象物が所定の位置(例えば、中央)に捕捉されたときに、検知手段がそのことを検知する。そして、上記検知手段が上記内容を検知したとき、通知手段は、上記対象物が、画面中央に捕捉されたことを検知手段が検知した旨を、閲覧者の動画再生装置に通知する。
これにより、閲覧者の動画再生装置側では、指定した対象物が所定の位置に捕捉されたことを知ることが可能となる。したがって、閲覧者は、意図どおりの動画が得られたことを認識することができる。
ここで、さらに、閲覧者は、自身が指定したとおりの動画が得られたことによって、該動画が、ライブ映像であると認識することができる。
上記対象物指定情報は、上記座標情報に加えて上記動画のうちの1フレームを特定するためのタイムコードを含み、上記動画撮影装置は、さらに、上記動画のうち、上記対象物指定情報取得手段が取得したタイムコードにより特定されるフレームと最新のフレームとを比較して、両フレーム間の変化の度合いを算出する変化量算出手段を備え、上記対象物指定情報取得手段は、上記変化量算出手段により算出された変化の度合いが所定の値よりも大きい場合に、上記最新のフレームにおける対象物の座標情報の再送を上記動画再生装置に要求してもよい。
上記構成によれば、対象物指定情報取得手段は、上記座標情報と、動画を構成する個々のフレームを特定するためのタイムコードとを対象物指定情報として取得する。そして、変化量算出手段は、自装置が撮影している動画において、上記タイムコードによって特定されるフレームと最新のフレームとを比較して、両フレーム間の変化の度合いを算出する。両フレーム間の変化の度合いが所定の値よりも大きい場合には、上記対象物指定情報取得手段は、上記最新のフレームにおける対象物の座標情報の再送を上記動画再生装置に要求する。
両フレーム間の変化の度合いが大きいということは、閲覧者が対象物領域を指定した時点の動画と、動画撮影装置が上記対象物領域から閲覧者が着目する対象物を特定する時点の動画とでは、内容が大きく異なっていることを示す。したがって、このような場合には、閲覧者側で、座標情報で対象物領域が指定されたとしても、動画撮影装置で特定されるときには、上記座標情報が正しく対象物を捉えていない虞がある。
そこで、両フレーム間の変化の度合いが大きい場合には、最新のフレームにて対象物領域を指定するように、動画撮影装置から再度要求することで、最新のフレームにて正しい座標情報を含む対象物指定情報を動画再生装置から取得することができる。
以上のことからより正確に対象物を特定し、閲覧者の意図を正しく撮影者に伝達することが可能となる。
なお、上記所定の値としては、対象物を捉えるための座標情報の信頼性が失われる程度にフレームの内容が変化したときの変化量の最低値を予め設定しておけばよい。
本発明にかかる動画再生装置は、上記課題を解決するために、撮影者が表示部に表示された動画を確認して撮影部の位置を手動で調節することにより動画を撮影する動画撮影装置から、通信網を介して該動画を受信し再生する動画再生装置において、上記動画を閲覧する閲覧者によって操作部を介して入力された、該閲覧者が上記動画の中で着目する対象物の指定を受け付ける対象物受付手段と、上記対象物受付手段が受け付けた対象物を特定する対象物指定情報を生成する対象物指定情報生成手段と、上記対象物指定情報生成手段が生成した対象物指定情報を上記動画撮影装置に送信する送信手段とを備えていることを特徴としている。
上記構成によれば、対象物受付手段は、上記動画を閲覧する閲覧者から、該閲覧者が上記動画の中で着目する対象物の指定を受け付ける。続いて、対象物指定情報生成手段は、受け付けた対象物を特定するための対象物指定情報を生成する。最後に、送信手段が、生成された対象物指定情報を、上述した動画撮影装置に送信する。
これにより、閲覧者の意図を撮影者が操作する動画撮影装置を介して該撮影者に伝達することが可能となる。
上記対象物指定情報生成手段は、上記閲覧者によって操作部を介して入力された、上記動画における上記対象物を含む領域の指定にしたがって、当該領域を特定する座標情報を生成してもよい。
これにより、動画撮影装置において、どの対象物を撮影者に伝達すればよいのかが、動画における座標情報によって特定される。
上記動画再生装置は、さらに、上記対象物指定情報生成手段が生成した対象物指定情報によって特定された対象物が上記動画の所定の位置に捕捉されたことを検知する検知手段と、上記検知手段が上記対象物が上記所定の位置に捕捉されたことを検知したときに、所定のメッセージを自装置の表示部に表示する通知手段とを備えていることが好ましい。
これにより、閲覧者は、指定した対象物が所定の位置に捕捉されたことを知ることが可能となる。したがって、閲覧者は、意図どおりの動画が得られたことを認識することができる。
上記所定のメッセージの内容は特に限定されないが、例えば、ライブ映像である旨のメッセージを表示することが挙げられる。これにより、閲覧者は、自身が指定したとおりの動画が得られたことによって、該動画が、ライブ映像であると認識することができる。
上述の動画撮影装置が撮影した動画を、上述の動画再生装置に送信する動画配信システムも本発明の範疇に入る。
本発明にかかる動画撮影装置は、上記課題を解決するために、撮影者が表示部に表示された動画を確認して撮影部の位置を手動で調節することにより動画を撮影し、通信網を介して該動画を動画再生装置に送信する動画撮影装置において、上記動画再生装置にて上記動画を閲覧する閲覧者が所望する、上記撮影部を動かす方向を示す方向制御情報を上記動画再生装置から取得する方向制御情報取得手段と、上記方向制御情報取得手段が取得した方向制御情報に基づいて、上記撮影部を動かすべき方向を特定する方向特定手段と、上記動画において上記方向特定手段が特定した方向に上記撮影部を動かすように撮影者に指示する操作指示情報を上記表示部に表示する操作指示出力手段とを備えていることを特徴としている。
上記構成によれば、まず、方向制御情報取得手段は、上記動画再生装置から、方向制御情報を取得する。方向制御情報とは、上記動画を閲覧する閲覧者が所望する上記撮影部を動かす方向を示す情報のことである。
次に、方向特定手段は、上記方向制御情報に基づいて、上記撮影部を動かすべき方向を特定する。続いて、操作指示出力手段は、上記動画を表示する際に、特定された方向を示す情報(例えば、矢印など)を上記表示部に表示する。
これにより、撮影者は、上記撮影部の位置を手動で調節して撮影を行う際、撮影部をどの方向に動かせばよいのか(閲覧者が望んでいるのか)を知ることが可能となる。
結果として、閲覧者の意図を撮影者が操作する撮影装置を介して該撮影者に伝達することが可能となるという効果を奏する。
本発明にかかる動画再生装置は、上記課題を解決するために、撮影者が表示部に表示された動画を確認して撮影部の位置を手動で調節することにより動画を撮影する動画撮影装置から、通信網を介して該動画を受信し再生する動画再生装置において、上記動画を閲覧する閲覧者によって操作部を介して入力された、該閲覧者が所望する上記撮影部を動かす方向の指定を受け付ける方向指示受付手段と、上記方向指示受付手段が受け付けた方向を特定する方向制御情報を生成する方向制御情報生成手段と、上記方向制御情報生成手段が生成した方向制御情報を上記動画撮影装置に送信する送信手段とを備えていることを特徴としている。
上記構成によれば、方向指示受付手段は、上記動画を閲覧する閲覧者から、該閲覧者が所望する上記撮影部を動かす方向の指定を受け付ける。続いて、方向制御情報生成手段は、受け付けた方向を特定するための方向制御情報を生成する。最後に、送信手段が、生成された方向制御情報を、上述した動画撮影装置に送信する。
これにより、閲覧者の意図を撮影者が操作する動画撮影装置を介して該撮影者に伝達することが可能となる。
上記動画撮影装置が撮影した動画を、上記動画再生装置に送信する動画配信システムも本発明の範疇に入る。
本発明にかかる動画撮影装置の制御方法は、上記課題を解決するために、撮影者が表示部に表示された動画を確認して撮影部の位置を手動で調節することにより動画を撮影し、通信網を介して該動画を動画再生装置に送信する動画撮影装置の制御方法であって、上記動画再生装置にて上記動画を閲覧する閲覧者が上記動画の中で着目する対象物を示す対象物指定情報を上記動画再生装置から取得する取得ステップと、上記動画において上記取得ステップにて取得された対象物指定情報が示す対象物を強調して上記表示部に表示する表示ステップとを含むことを特徴としている。
上記方法によれば、表示ステップにて、上記動画を表示する際に、取得された上記対象物指定情報が示す対象物を強調して、上記表示部に表示されるので、撮影者は、上記撮影部の位置を手動で調節して撮影を行う際、撮影中の動画を、該動画が含む上記対象物が強調表示された状態で確認することが可能となる。
したがって、撮影者は、動画の撮影中に、該動画の閲覧者が動画のどの部分に着目しているのかを知ることが可能となる。結果として、閲覧者の意図を撮影者が操作する撮影装置を介して該撮影者に伝達することが可能となるという効果を奏する。
本発明にかかる動画撮影装置の制御方法は、上記課題を解決するために、撮影者が表示部に表示された動画を確認して撮影部の位置を手動で調節することにより動画を撮影し、通信網を介して該動画を動画再生装置に送信する動画撮影装置の制御方法であって、上記動画再生装置にて上記動画を閲覧する閲覧者が所望する、上記撮影部を動かす方向を示す方向制御情報を上記動画再生装置から取得する取得ステップと、上記取得ステップにて取得した方向制御情報に基づいて、上記撮影部を動かすべき方向を特定する方向特定ステップと、上記動画において上記方向特定ステップにて特定された方向に上記撮影部を動かすように撮影者に指示する操作指示情報を上記表示部に表示する表示ステップとを含むことを特徴としている。
これにより、撮影者は、上記撮影部の位置を手動で調節して撮影を行う際、撮影部をどの方向に動かせばよいのか(閲覧者が望んでいるのか)を知ることが可能となる。
結果として、閲覧者の意図を撮影者が操作する撮影装置を介して該撮影者に伝達することが可能となるという効果を奏する。
本発明にかかる動画再生装置の制御方法は、上記課題を解決するために、撮影者が表示部に表示された動画を確認して撮影部の位置を手動で調節することにより動画を撮影する動画撮影装置から、通信網を介して該動画を受信し再生する動画再生装置の制御方法であって、上記動画を閲覧する閲覧者によって操作部を介して入力された、該閲覧者が上記動画の中で着目する対象物の指定を受け付ける受付ステップと、上記受付ステップにて受け付けられた対象物を特定する対象物指定情報を生成する生成ステップと、上記生成ステップにて生成された対象物指定情報を上記動画撮影装置に送信する送信ステップとを含むことを特徴としている。
これにより、閲覧者の意図を撮影者が操作する動画撮影装置を介して該撮影者に伝達することが可能となる。
本発明にかかる動画再生装置の制御方法は、上記課題を解決するために、撮影者が表示部に表示された動画を確認して撮影部の位置を手動で調節することにより動画を撮影する動画撮影装置から、通信網を介して該動画を受信し再生する動画再生装置の制御方法であって、上記動画を閲覧する閲覧者によって操作部を介して入力された、該閲覧者が所望する上記撮影部を動かす方向の指定を受け付ける受付ステップと、上記受付ステップにて受け付けられた方向を特定する方向制御情報を生成する生成ステップと、上記生成ステップにて生成された方向制御情報を上記動画撮影装置に送信する送信ステップとを含むことを特徴としている。
これにより、閲覧者の意図を撮影者が操作する動画撮影装置を介して該撮影者に伝達することが可能となる。
なお、上記動画撮影装置および上記動画再生装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記動画撮影装置または上記動画再生装置をコンピュータにて実現させる上記動画撮影装置または上記動画再生装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明にかかる動画撮影装置は、以上のように、上記動画再生装置にて上記動画を閲覧する閲覧者が上記動画の中で着目する対象物を示す対象物指定情報を上記動画再生装置から取得する対象物指定情報取得手段と、上記動画において上記対象物指定情報取得手段が取得した対象物指定情報が示す対象物を強調して上記表示部に表示する操作指示出力手段とを備えている。
あるいは、上記動画再生装置にて上記動画を閲覧する閲覧者が所望する、上記撮影部を動かす方向を示す方向制御情報を上記動画再生装置から取得する方向制御情報取得手段と、上記方向制御情報取得手段が取得した方向制御情報に基づいて、上記撮影部を動かすべき方向を特定する方向特定手段と、上記動画において上記方向特定手段が特定した方向に上記撮影部を動かすように撮影者に指示する操作指示情報を上記表示部に表示する操作指示出力手段とを備えている。
本発明にかかる動画再生装置は、以上のように、上記動画を閲覧する閲覧者によって操作部を介して入力された、該閲覧者が上記動画の中で着目する対象物の指定を受け付ける対象物受付手段と、上記対象物受付手段が受け付けた対象物を特定する対象物指定情報を生成する対象物指定情報生成手段と、上記対象物指定情報生成手段が生成した対象物指定情報を上記動画撮影装置に送信する送信手段とを備えている。
あるいは、上記動画を閲覧する閲覧者によって操作部を介して入力された、該閲覧者が所望する上記撮影部を動かす方向の指定を受け付ける方向指示受付手段と、上記方向指示受付手段が受け付けた方向を特定する方向制御情報を生成する方向制御情報生成手段と、上記方向制御情報生成手段が生成した方向制御情報を上記動画撮影装置に送信する送信手段とを備えている。
これにより、閲覧者の意図を撮影者が操作する撮影装置を介して該撮影者に伝達することが可能となるという効果を奏する。
〔実施形態1〕
本発明の一実施形態について図面に基づいて説明すると以下の通りである。本実施形態では、一例として、本発明の動画撮影装置、および、動画再生装置をそれぞれ携帯電話に適用し、撮影者の携帯電話が撮影した動画を、動画配信サーバを介して、閲覧者の携帯電話に配信する動画配信システムについて説明する。
〔動画配信システムの概略〕
図2は、本発明の実施形態にかかる動画配信システム100の概略構成を示す図である。図2に示すとおり、本発明の動画配信システム100は、撮影者Sの携帯電話(動画撮影装置)1、閲覧者Rの携帯電話(動画再生装置)3、動画配信サーバ2、および、これらを通信可能の接続する通信網Wとを含む構成となっている。
通信網Wは、基地局を含む携帯電話網、インターネットなどとして実現されており、各携帯電話が通話やメール交換を行ったり、動画配信サーバ2との間で動画を送受信したりできるようになっている。
動画配信サーバ2は、携帯電話サービスの利用契約を結んだ各利用者の携帯電話との間で携帯電話により撮影された動画の送受信をストリーミング方式で行い、ライブ映像をリアルタイムで配信する動画配信サービスを提供するものである。例えば、撮影現場にいる撮影者Sが自身の携帯電話1を操作してライブ映像を取得すると、携帯電話1は、そのライブ映像を通信網Wを介して動画配信サーバ2に送信する。
動画配信サーバ2は、携帯電話1から受信したライブ映像を、当該ライブ映像の宛先である携帯電話3・・・に送信する。ライブ映像の宛先は、撮影者Sの携帯電話1から指定されても構わないし、動画配信サーバ2にあらかじめ設定されていてもよい。動画配信サーバ2は、携帯電話3から受け取ったライブ映像を、不特定多数の利用者の携帯電話に一斉に配信したり、特定の利用者の携帯電話にのみ上記ライブ映像を配信したりできる。
携帯電話3は、動画配信サーバ2から携帯電話1が撮影したライブ映像を受信し、再生する。これにより、閲覧者Rは、撮影者Sが携帯電話1を用いて撮影した動画をリアルタイムで閲覧することが可能となる。
さらに、本発明の動画配信システム100では、閲覧者Rが、上記ライブ映像に含まれる目印となる対象物を指定することにより、閲覧者Rの意図を撮影者Sに伝達することができる。具体的には、閲覧者Rは、携帯電話3を操作して、再生されているライブ映像に含まれる対象物を指定する。そして、携帯電話3は、その指定した対象物を示す情報(以下、対象物指定情報)を、動画配信サーバ2を介して携帯電話1に送信する。これにより、ライブ映像中に、閲覧者Rが着目している対象物が何であるのかを、携帯電話1の操作者である撮影者Sに伝達することができる。撮影者Sは、受信した対象物指定情報に基づいて、閲覧者Rの見たい映像が得られるように携帯電話1を操作し撮影を続ければよい。
以下、閲覧者の意図を撮影者の携帯電話に伝達することが可能な動画配信システム100の各装置についてより詳細に説明する。
〔携帯電話の概略構成〕
まず、撮影者Sや閲覧者Rが利用する携帯電話の概略構成について説明する。図3は、本発明の実施形態にかかる携帯電話1・携帯電話3の概略構成を示す図である。以下の説明では、携帯電話1の構成について説明するが、携帯電話3についても同様の構成を有するものとし、同じ説明は繰り返さない。
図3に示すとおり、携帯電話1は、アンテナ部10、無線処理部11、音声処理部12、音声入力部13、音声出力部14、データ処理部15、操作部16、記憶部17、表示部18、動画撮影部19、電源部20、および、制御部21(携帯電話3は制御部24)を備える構成である。なお、携帯電話3は、専ら動画再生装置として機能し、動画撮影装置として機能しない場合には、動画撮影部19を必ずしも備えていなくてもよい。
アンテナ部10は、電波を外部に送り出すとともに外部から電波を受け取るためのものである。
無線処理部11は、音声処理部12またはデータ処理部15から受信したデータを無線送信に適した形式に変換し、変換した無線信号をアンテナ部10を介して外部に送信するものである。また、無線処理部11は、外部からアンテナ部10を介して受信した無線信号を元の形式に変換し、変換したデータを音声処理部12またはデータ処理部15に送信するものである。具体的には、無線処理部11では、チャネルコーデック処理、ベースバンド信号処理、データの変復調処理、RF(Radio Frequency)処理などが行われる。
音声処理部12は、音声入力部13からの音声信号を所定の音声データに変換して無線処理部11に送信するとともに、無線処理部11からの音声データを音声信号に変換して音声出力部14に送信するものである。具体的には、音声処理部12は、A/D変換器、D/A変換器、アンプ、音声コーデック回路を備える構成である。
音声入力部13は、外部から入力された音波を、電気信号である音声信号に変換して音声処理部12に送信するものである。具体的には、音声入力部13はマイクロホンを備える構成である。
音声出力部14は、音声処理部12からの音声信号を音波に変換して外部に出力するものである。具体的には、音声出力部14は、スピーカ、イヤホン、音声出力用コネクタなどを備える構成である。
データ処理部15は、制御部21からのデータを所定形式のデータに符号化して無線処理部11に送信するとともに、無線処理部11からのデータを復号化して制御部21に送信するものである。データ処理部15で行われるデータの符号化/復号化(コーデック)方式の例としては、MPEG(Moving Picture Experts Group)−4、およびITU−T勧告H.263が挙げられる。
操作部16は、携帯電話1の表面に設けられた十字キー、テンキーなどの入力デバイスをユーザが操作することにより、操作データを作成して制御部21に送信するものである。入力デバイスとしては、ボタンスイッチの他にタッチパネルなどが挙げられる。
撮影者Sは、操作部16の所定の操作ボタンを操作することにより、動画撮影部19を起動して動画を撮影したり、その動画を送信したりすることができる。
一方、閲覧者Rは、操作部16の所定の操作ボタンを操作することにより、再生中のライブ映像に関しての撮影意図を伝達するための情報を生成し、送信することができる。
記憶部17は、各種データおよびプログラムを記憶するものである。記憶部17の例としては、制御部21が動作する際に必要なプログラム、通信制御データ等の固定データを記憶する読出し専用の半導体メモリであるROM(Read Only Memory)と、バーコード認識や通信に関するデータ、ストリーミング配信されたライブ映像のデータ、演算に使用するデータ及び演算結果等を一時的に記憶するいわゆるワーキングメモリとしてのRAM(Random Access Memory)とが挙げられる。さらに、記憶部17は、フラッシュメモリやEEPROMなどのように書き換え可能な不揮発性メモリで実現される。そして、携帯電話1が備えるカメラにより撮像された写真データや、動画撮影部19により撮影された動画、あるいは、動画配信サーバ2から配信された動画を録画した録画データを記憶しておいてもよい。
表示部18は、記憶部17に記憶される静止画、テキスト、動画などの各種データを表示するものである。例えば、表示部18は、LCDの表示素子と表示すべきデータに基づいて表示素子を駆動するドライバ回路とを備えた表示パネルで構成される。
動画撮影部19は、被写体の撮影を行って動画データを生成するものである。具体的には、動画撮影部19は、被写体からの光を電気信号に変換するCCD(Charge Coupled Device)、CMOS(Complementary Metal-oxide Semiconductor)などの撮像素子と、撮像素子からの電気信号をRGB各色のデジタルデータに変換する映像処理回路とを備える構成が挙げられる。動画撮影部19は、生成したデータを制御部21に送信する。
電源部20は、携帯電話1内の各種構成に適当な電力を供給するものである。電源部20は、例えば、リチウムイオン電池などの充電可能な2次電池、電源回路などによって構成される。
制御部21(制御部24)は、携帯電話1(携帯電話3)内の各種構成を統括的に制御するものである。後述する各制御部の機能は、機能ブロックとして説明および図示されており、これらの機能ブロックは、例えばRAMやフラッシュメモリなどの記憶装置に記憶されたプログラムをCPU(Central Processing Unit)が実行することによって実現される。
〔携帯電話の要部構成〕
まず、撮影者Sの携帯電話1の構成について説明する。図1は、本実施形態にかかる撮影者Sの携帯電話1の要部構成を示す図である。図1に示すとおり、携帯電話1の制御部21は、機能ブロックとしての、対象物指定情報取得部30、対象物特定部31、操作指示出力部32、および、動画取得部34を備える構成となっている。さらに、対象物追跡部33、方向指示部35および変化量算出部36を備えていてもよい。記憶部17は、対象物記憶部40および動画記憶部41を含む構成である。
動画取得部34は、動画撮影部19が撮影して得た動画を取得するものである。動画取得部34は、取得した動画をただちに表示部18に出力し、ライブ映像として撮影者S自身が確認できるようになっている。一方、上記動画は、データ処理部15にも伝達され、データ処理部15によって適切な符号化が施されて、動画配信サーバ2に送信される。
なお、撮影した動画をあとからでも再生できるように録画しておく場合には、動画取得部34は、上記動画の録画データをタイムコードとともに動画記憶部41に記憶してもよい。
対象物指定情報取得部30は、閲覧者Rの携帯電話3が送信した対象物指定情報を取得するものである。具体的には、動画配信サーバ2を介して上記対象物指定情報が携帯電話1に送信され、データ処理部15が適切な復号を行ったのち、対象物指定情報を対象物指定情報取得部30が取得する。
対象物指定情報とは、ライブ映像に写っている目印となる特定の対象物を指定する情報であり、ライブ映像に関する閲覧者Rの意図を伝達するためのものである。対象物指定情報には、閲覧者Rがライブ映像の中で着目している対象物を特定するための情報が含まれている。
本実施形態では、ライブ映像中で対象物を含む領域である対象物領域を特定するための座標情報を対象物指定情報として用いる。
対象物特定部31は、対象物指定情報取得部30が取得した対象物指定情報に基づいて、ライブ映像中の対象物を特定するものである。
具体的には、本実施形態では、上記ライブ映像における、上記座標情報が指定する領域を特定し、最新のフレームから上記領域の画像を切り出してそれを対象物として特定する。これにより、携帯電話1は、閲覧者Rがライブ映像中のどの対象物(領域)に着目しているのかを認識することが可能となる。
対象物特定部31が特定した対象物は、対象物記憶部40に記憶される。
操作指示出力部32は、対象物特定部31が特定した対象物(対象物領域)を指し示す情報を、上記ライブ映像とともに出力し、対象物を強調表示するものである。操作指示出力部32は、対象物記憶部40に記憶されている対象物が何であるかを撮影者Sが目視確認できるよう、該対象物を指し示す情報を上記ライブ映像とともに表示部18に出力する。対象物を強調して表示する具体的な方法としては、対象物領域を囲う枠を表示したり、対象物領域を点滅表示させたり、対象物領域の色調を変化させたり、対象物領域の色を反転させたり、対象物を矢印で指し示したりすることなどが挙げられる。
これにより撮影者Sは、表示部18に表示された情報から、上記ライブ映像中のどの対象物に閲覧者Rが着目しているのかを知ることができ、撮影者Sは、着目されている対象物を基準にして閲覧者Rが希望する映像が得られるように、携帯電話1を操作して動画を撮影することが可能となる。つまり、対象物を指し示す情報とは、撮影者Sに対してどのように携帯電話1を操作して撮影を行うのかを指示する操作指示情報である。
具体的には、対象物が指定されると該対象物がライブ映像の画面中央にくるように携帯電話1の向きを変更するというルールがあらかじめ閲覧者R−撮影者S間で定められているとする。
操作指示出力部32が表示部18に対象物を指し示す情報(操作指示情報)を出力すると、撮影者Sはそれを確認し、ライブ映像中のどの対象物に閲覧者Rが着目しているのかを知ることができる。これにより、撮影者Sは、上記対象物が写る領域が画面中央にくるように携帯電話1の向きを変更することが可能となる。
一方、閲覧者Rは、自身が指定した対象物が画面中央に写った状態のライブ映像を動画配信サーバ2を介して携帯電話1から取得することができ、結果として、携帯電話1を直接操作できない場合でも、撮影者Sに意図を伝達して所望のライブ映像を得ることが可能となる。
対象物追跡部33は、対象物特定部31によって特定された対象物を、ライブ映像中にて追跡し、ライブ映像における対象物の座標位置を取得するものである。具体的には、対象物追跡部33は、対象物記憶部40に記憶されている対象物の画像と、上記ライブ映像とでマッチングを行い、一致する(類似度の高い)領域の座標位置を、上記対象物の現在位置として取得する。
これにより、携帯電話1は、指定された対象物が、ライブ映像のどの位置に写っているのかを常に認識することが可能となる。具体的には、対象物追跡部33が出力する対象物の座標位置に基づいて、操作指示出力部32が、上記対象物を囲う枠や対象物を指し示す矢印などを操作指示情報として表示させる場合が挙げられる。操作指示出力部32は、撮影者Sが変更する携帯電話1の向きに合わせて画面内で移動する対象物に追尾して、上記枠や矢印などを表示部18に表示させることが可能となる。これにより、撮影者Sは、指定された対象物の位置を撮影中に見失うことがなくなる。
さらに、対象物追跡部33は、取得した対象物の座標位置を、動画取得部34が取得した動画とともに携帯電話3に送信してもよい。これにより、閲覧者Rの携帯電話3においても対象物の座標位置を常に認識することが可能となる。
〔座標情報〕
次に、対象物指定情報取得部30が取得する座標情報について説明する。図4は、携帯電話3から送信される対象物指定情報としての座標情報の例を示す図である。図4に示すとおり、本実施形態では、座標情報は、表示部18に表示されるライブ映像の表示サイズを特定する情報と、該ライブ映像における対象物領域を特定する情報とを含んでいる。
具体的には、対象物領域を矩形で指定する場合には、表示サイズと、矩形の始点(矩形の左上端)、および、終点(矩形の右下端)の各XY座標とを含む座標情報C1が、対象物指定情報取得部30によって取得される。
あるいは、対象物領域を円形で指定する場合には、表示サイズ、円の中心のXY座標、および、円の半径rを含む座標情報C2が、対象物指定情報取得部30によって取得される。
図4に示す座標情報C1(C2)が取得されると、対象物特定部31は、図5に示すとおり、動画取得部34が撮影する動画のうち最新のフレームF(静止画)を取得して、該フレームFにおける、座標情報C1(C2)が示す領域を対象物領域A1(A2)として特定する。そして、対象物領域A1(A2)の画像を対象物記憶部40に保存する。
これにより、閲覧者Rが着目する対象物が特定される。
なお、本実施形態では、上記座標情報にライブ映像の表示サイズが含まれているので、携帯電話1と携帯電話3とで異なる解像度でライブ映像が表示されているとしても、あるいは、各表示部18が異なる解像度を有していても、表示サイズと、指定されたXY座標との比率から常に正しい位置にて対象物領域が求まる。
続いて、本実施形態における閲覧者Rの携帯電話3の要部構成を図13に基づき説明する。なお、図13において図1および図3と同じ符号が付されているブロックは、図1および図3にて説明したとおりであるのでここでは説明を繰り返さない。
本実施形態にかかる携帯電話3において、制御部24は、機能ブロックとしての動画再生部54と、対象物指定情報生成部56とを備える構成となっている。
動画再生部54は、データ処理部15を介して、動画配信サーバ2から配信される携帯電話1によって撮影された動画を取得して、ライブ映像としてリアルタイムで再生するものである。なお、取得した動画を録画しておきたい場合には、動画再生部54は、取得した動画を録画データとして動画記憶部41に保存してもよい。
対象物指定情報生成部56は、操作部16から入力される閲覧者Rの指示に応じて、対象物指定情報を生成するものである。
より具体的には、表示部18に表示されたライブ映像の1フレームから、閲覧者Rが操作部16を操作して自身が着目する対象物を含むようにある領域を指定する。対象物指定情報生成部56は、操作部16から入力された、閲覧者Rが指定した領域を特定するための座標情報を生成する(例えば、図4の座標情報C1、C2など)。対象物指定情報生成部56は、生成した対象物指定情報を、対象物指定情報記憶部44に記憶するとともに、データ処理部15を介して、動画配信サーバ2、携帯電話1へと送信する。
これにより、閲覧者Rは、撮影者Sに対して上記ライブ映像に関する閲覧者Rの意図を伝達することが可能となる。
〔動画配信サーバの要部構成〕
図6は、本実施形態にかかる動画配信サーバ2の要部構成を示すブロック図である。図6に示すとおり、動画配信サーバ2は、受信部22、送信部23、制御部28、対象物指定情報記憶部42、および、動画記憶部43を備える構成となっている。
受信部22は、通信網Wを介して、撮影者Sの携帯電話1が撮影した動画を受信するとともに、閲覧者Rの携帯電話3から送信される対象物指定情報を受信するものである。
送信部23は、通信網Wを介して、上記動画を指定の宛先(例えば、閲覧者Rの携帯電話3)に送信するものである。また、対象物指定情報決定部51が決定した対象物指定情報を携帯電話1に対して送信するものである。
制御部28は、動画配信サーバ2内の各種構成を統括的に制御するものであり、機能ブロックとしての対象物指定情報収集部50、対象物指定情報決定部51、および、動画配信部52を備えている。さらに、ライブ認定部53を備えていてもよい。
対象物指定情報収集部50は、携帯電話1から配信されたライブ映像の各閲覧者Rが所有する携帯電話3・・・から送信される各対象物指定情報を取得するものである。上記ライブ映像の閲覧者Rが、複数(不特定多数、あるいは、特定の閲覧者グループの数人)の場合、異なる閲覧者Rのさまざまな意図を反映した対象物指定情報が動画配信サーバ2に送信される。対象物指定情報収集部50は、これらの対象物指定情報を集約し、送信元の携帯電話3ごとに対象物指定情報記憶部42に保存する。
対象物指定情報決定部51は、対象物指定情報記憶部42に集められた対象物指定情報から、所定の規則に基づいて、携帯電話1に送るべき一つの対象物指定情報を決定するものである。
例えば、特定の閲覧者Rのみが対象物指定情報を決定するという規則が定められている場合には、対象物指定情報決定部51は、その特定の閲覧者Rの携帯電話3から送信された対象物指定情報を、携帯電話1に送信すべき対象物指定情報として決定する。対象物指定情報決定部51は、最終的に1つに決定した対象物指定情報を、送信部23を介して携帯電話1に送信する。
あるいは、ライブ映像を特定の閲覧者グループの数人(例えば、2〜3人程度)に配信するような動画配信システムの場合には、閲覧者Rごとに指定された対象物指定情報を受け付け、その複数の対象物指定情報を携帯電話1に送信すべき対象物指定情報として決定してもよい。
決定した上記複数の対象物指定情報を、各閲覧者Rを識別する情報と関連付けて携帯電話1に送信すれば、携帯電話1は、閲覧者Rごとに対象物領域を特定することが可能となる。これにより、携帯電話1は、どの閲覧者Rが指定した対象物領域であるのかを分かるように、閲覧者Rの情報と合わせて複数の対象物領域を、表示部18に表示することができる。
あるいは、不特定多数の閲覧者Rからの各対象物指定情報に基づいて、統計的に一つの対象物指定情報を決定してもよい。例えば、各対象物指定情報にて最も重複の多かった領域を対象物領域として指定する対象物指定情報を新たに生成し、携帯電話1に送信してもよい。
これにより、閲覧者Rが不特定多数の場合に、さまざまな対象物指定情報が各携帯電話3から送信される場合でも、適切に一つの対象物指定情報を決定して携帯電話1に伝達することができる。したがって、携帯電話1の撮影者Sは、あらゆる対象物指定情報に対してどのように撮影をおこなったらよいのか混乱することを防ぐことができる。
動画配信部52は、撮影者Sの携帯電話1から送信された動画をリアルタイムで取得して、指定された宛先の携帯電話3に該動画をストリーミング配信するものである。なお、後の配信要求に応えるために、取得した動画を動画記憶部43に記憶してもよい。
〔ライブ認定〕
動画配信サーバ2は、図6に示すとおり、さらに、ライブ認定部53を備えていることが好ましい。
ライブ認定部53は、携帯電話1から提供された動画が、リアルタイムで配信されている動画、すなわちライブ映像であるか否かを判定し、閲覧者Rの携帯電話3に通知するものである。ライブ認定部53は、対象物指定情報決定部51が、携帯電話1に対して送信した、操作指示情報(対象物指定情報)の指示内容に合致した(=閲覧者Rの所望する)動画が携帯電話1から得られたことを検知することによって、当該動画をライブ映像であると認定する。
具体的に説明すると以下のとおりである。対象物が動画配信サーバ2により決定されると該対象物がライブ映像の中央にくるように携帯電話1の向きを変更するというルールがあらかじめ閲覧者R−動画配信サーバ2−撮影者S間で定められているとする。
動画配信サーバ2が、図5に示す対象物領域A2を指定する対象物指定情報を携帯電話1に送信したとする。携帯電話1の対象物追跡部33は、上記対象物領域A2を対象物として捉え、撮影者Sの動画撮影部19の操作によってライブ映像内で移動する上記対象物を追尾する。携帯電話1は、ライブ映像とともに、対象物追跡部33から得られた上記対象物の座標位置を動画配信サーバ2に送信する。
動画配信サーバ2のライブ認定部53は、対象物指定情報決定部51が決定した対象物領域が中央(および中央付近)にきた場合の座標位置と、上記対象物追跡部33から得られた対象物の座標位置とを比較する。これらの座標位置が一致(あるいは、所定範囲内で類似)していれば、上述のルールどおり、閲覧者Rが指定した対象物が画面中央にくるように撮影者Sが携帯電話1の向きを変えて撮影を行い、閲覧者Rが意図したライブ映像が得られたことになる。
よって、ライブ認定部53は、対象物指定情報決定部51が決定した対象物が画面中央に捕捉されたことを検知して、配信中の当該動画がライブ映像であると判定する。ライブ認定部53は、当該動画がライブ映像である旨の通知を、配信する動画とともに携帯電話3に対して送信する。
これにより、携帯電話3は、動画配信サーバ2からストリーミング方式で受信し再生している動画がライブ映像であることを認識し、その通知を閲覧者Rに対して出力することが可能となる。
従来、閲覧者から離れたところにある固定カメラに対して、閲覧者は、直接遠隔操作にて方向などを制御することができたので、操作したとおりの動画が即座に得られることにより、それがライブ映像であることを確認できた。
しかし、本実施形態のように、撮影者Sが動画撮影部19(カメラ)を備える携帯電話1を手に持って撮影する場合には、固定カメラのように閲覧者が直接制御することができないために、上述のような方法で現在再生中の動画がライブ映像であると確認することができなかった。
上記構成によれば、閲覧者Rの意図を反映した対象物指定情報を携帯電話1に送信し、携帯電話1から閲覧者Rの意図に即した動画を取得したことを検知して、ライブ認定を行うことが可能となる。
なお、ライブ認定を行うため構成は、上述したものに限定されない。例えば、携帯電話1の対象物追跡部33を、動画配信サーバ2が備える構成としてもよいし、対象物追跡部33および動画配信サーバ2のライブ認定部53を携帯電話3が備える構成としてもよい。あるいは、ライブ認定部53を携帯電話1が備える構成としてもよい。
〔動画配信フロー1〕
図7は、動画配信システム100における各装置の処理の流れを示すシーケンス図である。図8(a)〜(d)は、携帯電話1または携帯電話3の表示部18にライブ映像を表示するときの画面表示例を示す図である。各装置とは、動画撮影装置としての携帯電話1(図1)、動画配信サーバ2(図6)、および、動画再生装置としての携帯電話3(図13)を指す。
はじめに、撮影者Sが動画撮影部19を起動し、動画撮影を開始すると、携帯電話1は動画取得部34が取得した動画をリアルタイムで動画配信サーバ2に送信する(S1)。動画配信サーバ2の動画配信部52は、携帯電話1から取得した動画を所定の宛先(ここでは、携帯電話3)に配信する(S2)。
携帯電話3の動画再生部54は、動画配信サーバ2から配信された動画をリアルタイムで再生し、例えば、図8(a)に示すとおり、表示部18に表示して閲覧者Rにライブ映像を提供する。
閲覧者Rは、上記ライブ映像を表示部18にて確認し、自身が着目する(例えば、画面中央に写したいと希望する)対象物を指定する。具体的には、例えば、操作部16の十字キーおよび決定キーを押下して、対象物を含む領域を選択したり、領域の始点と終点とを指定したりすることなどが挙げられる。
このようにして、閲覧者Rによって操作部16を介して対象物領域が指定されると、対象物指定情報生成部56は、指定された対象物領域を特定する座標情報(図4)を生成する(S3)。携帯電話3は、生成された座標情報を動画配信サーバ2に送信する。
続いて動画配信サーバ2の対象物指定情報収集部50は、携帯電話3(および他の閲覧者の携帯電話)から対象物指定情報としての座標情報を収集する(S4)。そして、対象物指定情報決定部51が、所定の規則に基づいて携帯電話1に送信する一つの座標情報を決定する(S5)。ここでは、閲覧者Rの携帯電話3から座標情報を採用するものとし、動画配信サーバ2は、携帯電話3から受信した、閲覧者Rのライブ映像に関する意図を反映した対象物指定情報(座標情報)を携帯電話1に送信する(S6)。
続いて携帯電話1の対象物指定情報取得部30は、動画配信サーバ2から送信された座標情報を取得する(S7)。対象物特定部31は、上記座標情報に基づいて特定した領域を、閲覧者Rが着目する対象物を含む対象物領域として取得する(S8)。
そして、操作指示出力部32は、S8にて特定された対象物領域を指し示す情報を表示部18に出力する(S9)。ここでは、具体的には、図8(b)に示すとおり、上記対象物領域を囲う対象物指定枠90を上記ライブ映像に重畳させて表示部18に表示する。
これにより、撮影者Sは、閲覧者Rがどの対象物に着目しているのかを知ることができ、当該対象物が画面中央に捕捉されるように携帯電話1の向きを動かして撮影を続行することができる(S10)。
ここで、本実施形態では、撮影の続行とともに、さらに、対象物追跡部33が、特定された上記対象物領域を追尾する(S11)。具体的には、対象物追跡部33は、上記対象物領域のライブ映像における座標位置を取得する。
携帯電話1は、S10にて取得された動画とともに、S11にて取得された対象物領域の座標位置を動画配信サーバ2に返す。
そして、動画配信サーバ2のライブ認定部53は、携帯電話1から取得した上記対象物領域の座標位置に基づいて、閲覧者Rが指定した対象物が中央(付近)に捕捉されたか否かを判定する(S12)。
対象物領域が中央付近に捕捉されていない間は(S12においてNO)、動画配信部52は、S2と同様に、携帯電話1から受け取った動画を携帯電話3に対して配信する。
一方、例えば図8(c)に示すとおり、ライブ認定部53が、対象物領域が中央付近に捕捉されたことを検知すると(S12においてYES)、ライブ認定部53は、上記動画は上記対象物指定情報にしたがって閲覧者Rの意図が反映されたライブ映像であると認定する(S13)。そして、動画配信部52が携帯電話1からの動画を携帯電話3に配信するとともに、ライブ認定部53が配信中の上記動画がライブ映像であることを通知する。
続いて、携帯電話3では、ライブ映像である旨が通知されると、動画再生部54が、図8(d)に示すとおり、ライブ映像であることを示すアイコン91をライブ映像とともに表示部18に出力してもよい。これにより、携帯電話3の閲覧者Rは、自身の意図どおりに撮影されている動画を得ることができるとともに、そのことによって、当該動画がライブ映像であることを確認することができる。
〔変形例〕
(方向制御)
携帯電話1は、上述した構成に加えて、方向指示部35(図1)を備えていてもよい。
方向指示部35は、操作指示情報(対象物指定情報)に基づいて、対象物を画面の所定の位置(例えば、中央など)に捕捉するために、動画撮影部19をどの向きに変更すべきかを決定するものである。方向指示部35が決定した方向の情報は、操作指示出力部32によって表示部18に出力され、撮影者Sに伝達される。これにより、撮影者Sは、動画撮影部19をどこに向けて撮影を行えばよいのかを知ることができる。
具体例を挙げて説明すると以下のとおりである。例えば、図4に示すような対象物指定情報によってある対象物領域が特定され、上述したルールにしたがって、該対象物領域がライブ映像の中央に捕捉されるように動画撮影部19の向きを変更する必要が生じたとする。
方向指示部35は、対象物領域が中央に捕捉された場合の目的の座標位置と、対象物追跡部33が追尾して求めた対象物領域の現在の座標位置とを比較して、現在の座標位置を上記目的の座標位置に近づけるための動画撮影部19の方向を求める。
操作指示出力部32は、方向指示部35が求めた方向を示す情報(例えば、矢印など)を、ライブ映像とともに表示部18に出力する。
図9(a)〜(d)は、携帯電話1の表示部18に表示される、撮影方向に関する操作指示情報の画面表示例を示す図である。
図9(a)に示すとおり、対象物領域が画面右上の破線枠内に特定された場合、方向指示部35は、上記対象物領域を中央に捕捉するためには、右および上の方向に動画撮影部19の向きを変更する必要があると判断する。方向指示部35は、右方向および上方向のいずれか一方の情報を(ここでは、右方向)、操作指示出力部32に伝達する。
操作指示出力部32は、方向指示部35の指示に応じて、右方向を示す情報として、右方向を示す矢印92を表示部18に表示する。これにしたがって、撮影者Sは、動画撮影部19の向きを右に動かし、図9(b)に示すように、左右において中央に対象物を捕捉した動画を得ることができる。
その後、方向指示部35は、上方向の情報を操作指示出力部32に伝達する。操作指示出力部32は、方向指示部35の指示に応じて、今度は上方向を示す矢印92を表示部18に表示する。これにしたがって、撮影者Sは、動画撮影部19の向きを上に動かし、対象物を中央に捕捉した動画を得ることができる。
さらに、方向指示部35が指示する方向にしたがって動画撮影部19の向きが適切に調整された(対象物が中央に捕捉された)場合は、方向指示部35は、操作指示出力部32を介して、いずれの方向にも動かす必要がないことを示す情報を表示部18に出力してもよい。例えば、図9(c)に示すとおり、「OK!」のアイコン93を表示部18に表示する。これにより、撮影者Sは、現在の方向を維持して撮影を続行すればよいことが分かる。
なお、操作指示出力部32が「OK!」のアイコン93を出力するタイミングが、ライブ映像であると認定できるタイミングであるので、携帯電話1にライブ認定部53を設け、上記のタイミングでライブ認定を行って、その旨を動画配信サーバ2に通知するようにしてもよい。
また、上述の例では、矢印92を上下左右の四方向にて表示する例について説明したが、これに限定されず、八方向で撮影方向を指示するようにしてもよい。
(位置情報提供)
動画配信システム100において、さらに、撮影者Sによって撮影が行われている撮影現場の位置情報を、ライブ映像の閲覧者Rの携帯電話3に提供することもできる。
例えば、携帯電話1が、GPS(Global Positioning System)機能を備えている場合には、携帯電話1は、動画を撮影するとともに位置情報を取得して、動画と位置情報とを関連付けて動画配信サーバ2に送信してもよい。
また、携帯電話1から動画配信サーバ2へ動画が送信される際に経由する基地局の情報を動画配信サーバ2が取得して、動画と基地局情報とを携帯電話3に配信してもよい。
〔実施形態2〕
上述の実施形態では、携帯電話3から携帯電話1へと閲覧者Rの意図を伝達する対象物指定情報として、対象物領域を特定するための座標情報を用いる例を説明した。本発明の動画配信システムでは、対象物指定情報にさらにタイムコードを含めることができる。
タイムコードとは、動画が撮影された時間を示す情報であり、動画を形成するフレームごとに付与される。したがって、タイムコードを用いることにより、上記動画のうちのどのフレームかを特定することができるので、最新のフレームと過去のフレームとの対比によってより正確に対象物を特定したり、対象物を過去にさかのぼって指定したりすることが可能となる。
図10は、本実施形態にかかる対象物指定情報の一例を示す図である。図10に示すとおり、本実施形態における対象物指定情報は、図4に示す座標情報に加えて、動画のフレームを特定するためのタイムコードを含んでいる。
本実施形態では、撮影者Sの携帯電話1は、図1に示すとおり、さらに変化量算出部36を備えている。
変化量算出部36は、取得した対象物指定情報に含まれるタイムコードに基づいて、携帯電話1が撮影して得た動画における、上記タイムコードによって特定されるフレームと、上記動画における最新のフレームとの変化量を求め、該変化量の大小を判定するものである。
変化量とは、後の時点でのフレームが、前の時点でのフレームからどの程度変化しているのかを定量化したものである。なお、前後のフレームの比較は、周知の画像処理によってフレーム間の一致/不一致を判別することなどで実現可能である。
変化量算出部36が、対象物指定情報にて指定されたタイムコードのフレームと、最新のフレームとの間に大きな変化があると判断した場合、上記対象物指定情報に含まれる座標情報の領域が、閲覧者Rの意図どおりに正確に対象物を捉えていない虞がある。この場合、対象物特定部31は、対象物を正しく特定できず、したがって、操作指示出力部32が、閲覧者Rの意図どおりの動画を撮影するための操作指示情報を表示部18に出力できないという問題が生じる。
そこで、変化量算出部36が上記フレーム間の変化量が大きいと判定した場合には、対象物指定情報取得部30は、最新の対象物指定情報を再取得する。また、変化量が小さい場合には、実施形態1と同様に、対象物特定部31が上記対象物指定情報に含まれる座標情報に基づいて対象物領域を特定する。
これにより、ライブ映像の対象物が短時間に大きく移動する場合でも、より正確に対象物領域を特定することが可能となる。
〔動画配信フロー2〕
図11は、動画配信システム100における各装置の処理の流れを示すシーケンス図である。図12(a)〜(b)は、携帯電話1または携帯電話3の表示部18にライブ映像を表示するときの画面表示例を示す図である。
図11に示すS21〜S27は、以下の点を除いて実施形態1の図7に示すS1〜S7の処理と同様である。
S21にて携帯電話1が撮影した、ある時点t(0)における最新のライブ映像t(0)(図12(a))が、携帯電話3に配信されると、携帯電話3の対象物指定情報生成部56は、閲覧者Rが指定するフレームのタイムコードt(0)と、該フレームにおいて、閲覧者Rが着目する対象物94の対象物領域A3の座標情報0とを対象物指定情報として生成し、動画配信サーバ2に送信する(S23)。
携帯電話3の対象物指定情報取得部30は、上記タイムコードt(0)および座標情報0を動画配信サーバ2から取得する(S27)。
続いて、変化量算出部36は、現時点t(1)における最新のライブ映像のフレームt(1)(図12(b)、(c))と、対象物指定情報取得部30が取得したタイムコードt(0)によって特定されるフレームt(0)(図12(a))とを比較して変化量を求める(S28)。
各フレーム間の変化量が小さい場合には(S28においてNO)、対象物特定部31は、図12(a)における対象物領域A3に基づいて対象物94を特定し(S29)、操作指示出力部32が対象物94を囲う対象物指定枠を表示部18に出力する(S30)。
一方、変化量算出部36が各フレーム間の変化量が大きいと判定すると(S28においてYES)、対象物指定情報取得部30は、対象物指定情報を再送するよう動画配信サーバ2に対して要求する(S31)。このとき、最新のライブ映像のフレームt(1)が動画配信サーバ2に対して送信される。
S22〜S26の繰り返しによって(あるいは、動画配信サーバ2が対象物94を追尾する機能を備えている場合には、動画配信サーバ2によって)、最新のフレームにおける対象物94の対象物領域A4(図12(c))が特定されると、動画配信サーバ2の対象物指定情報決定部51は、最新の対象物指定情報、すなわち、タイムコードt(1)および対象物領域A4の座標情報1を携帯電話1に再送する(S32)。
これにより、携帯電話1は、対象物領域A4にて対象物94を正しく特定することが可能となる。
携帯電話3が対象物指定情報を生成する時点のフレームと、携帯電話1が撮影している最新のフレームとの間に大きな変化がある場合(例えば、対象物94が短時間に大きく移動する場合)、携帯電話1が変化量の判定を行わずに、対象物を特定しようとすると、図12(b)に示すような状態となる。
すなわち、携帯電話1の対象物特定部31は、対象物指定情報の座標情報0にしたがって、対象物領域A3を特定するが、特定した時点で最新のフレームが大きく変化しているために、閲覧者Rが実際に着目する対象物94を対象物領域A3内に捕捉できない。このため、誤った対象物が特定されたり、対象物を特定できなかったりして、撮影者Sに対して正しい操作指示情報を出力することができないという問題を生じる。
上記方法および構成によれば、変化量に応じて、対象物指定情報を再取得するべきか否かを判断することができるので、ライブ映像の対象物が短時間に大きく移動する場合でも、より正確に対象物領域を特定することが可能となる。
〔変形例〕
ライブ映像の変化の大きさに対応する携帯電話1の構成として、変化量算出部36の構成の代わりに以下のとおり構成することも可能である。
携帯電話1の動画取得部34(図1)は、動画撮影部19が撮影した動画を、タイムコードと対応付けて動画記憶部41に記憶する。
対象物特定部31は、対象物指定情報取得部30が取得した対象物指定情報に基づいて、対象物指定情報に含まれるタイムコードと対応するフレームを動画記憶部41から対応するフレームを取得する。そして、対象物特定部31は、該フレームにおいて、上記対象物指定情報に含まれる座標情報から対象物領域を特定する。
これにより、対象物指定情報が携帯電話1に伝達されるまでに、どれだけの長いライムラグが生じ、フレームの変化量が大きくなろうと、指定されたタイムコードと対応するフレームから対象物領域を特定するので、常に正しい対象物を特定することが可能となる。
〔実施形態3〕
上述の実施形態では、対象物指定情報として座標情報(およびタイムコード)を用いる例を説明した。本発明の動画配信システムでは、座標情報(およびタイムコード)の代わりに、対象物を含む静止画を電子メールに添付し、それを対象物指定情報として携帯電話3から携帯電話1に伝達することが可能である。
本実施形態にかかる動画配信システムでは、閲覧者Rは、携帯電話3の電子メール機能を用いて、自身が着目する対象物を含む静止画を電子メールに添付して、携帯電話1宛てに送信する。
〔携帯電話の要部構成〕
まず、閲覧者Rの携帯電話3の構成について説明する。図13は、本実施形態にかかる閲覧者Rの携帯電話3の要部構成を示す図である。図13に示すとおり、携帯電話3の制御部24は、機能ブロックとしての、動画再生部54、画像処理部55、および、対象物指定情報生成部56を備える構成となっている。さらに、ライブ認定部53を備えていてもよい。図13の携帯電話3において実施形態1にて説明済みのブロックおよび図1の各ブロックと同じ符号のブロックについては、既述のとおりであるのでここでは説明を繰り返さない。
画像処理部55は、操作部16から入力される閲覧者Rの指示に応じて、閲覧者Rが指定する対象物を指し示す静止画である対象物画像を生成するものである。
具体的には、画像処理部55は、動画再生部54が再生した動画からフレーム(静止画)を切り出し、閲覧者Rが指定する領域を囲う対象物指定枠を上記フレームに重畳して、対象物画像を生成する。
対象物指定情報生成部56は、操作部16から入力される閲覧者Rの指示に応じて、対象物指定情報を生成するものである。
本実施形態では、対象物指定情報生成部56は、画像処理部55が生成した対象物画像を添付した電子メールを対象物指定情報として生成する。
対象物指定情報生成部56によって生成された対象物指定情報(電子メール)は、データ処理部15を介して、携帯電話3宛てに送信される。
次に、撮影者Sの携帯電話1の構成について図1に基づいて説明する。
対象物指定情報取得部30は、データ処理部15を介して受信した電子メールに添付されている対象物画像を取得する。
対象物特定部31は、対象物指定情報取得部30が取得した対象物画像から、対象物指定枠を画像認識し、該対象物指定枠によって囲われた領域を対象物領域として特定する。
対象物指定枠を検知するための画像認識機能は、周知の画像処理技術によって実現可能である。
〔動画配信フロー3〕
図14は、本実施形態にかかる動画配信システムにおける各装置の処理の流れを示すシーケンス図である。各装置とは、通信網Wを介して電子メールの送受信が可能な、動画撮影装置としての携帯電話1(図1)、および、動画再生装置としての携帯電話3(図13)を指す。
撮影者Sが動画撮影部19を起動して動画撮影を開始すると、動画取得部34は、取得した動画を携帯電話3に送信する(S41)。携帯電話3の動画再生部54は、携帯電話1から受信した動画をリアルタイムで再生する(S42)。
ここで、閲覧者Rが操作部16を用いて対象物を指定する操作を行うと、画像処理部55は、該操作に応じて、上記動画から1つのフレーム(静止画)を抽出する(S43)。そして、上記閲覧者Rの操作に応じて、上記フレームにおいて閲覧者Rが指定する領域を囲う対象物指定枠を追加して対象物画像を生成する(S44)。
対象物指定情報生成部56は、S44にて生成された対象物画像を添付ファイルにした電子メールを生成し、携帯電話1宛てに送信する(S45)。
そして、携帯電話1は、携帯電話3から上記電子メールを受信すると、対象物指定情報取得部30が、該電子メールに添付された対象物画像を取得する(S46)。
対象物特定部31は、対象物指定情報取得部30が取得した対象物画像に対して画像認識処理を実行し、追加された対象物指定枠を検出して、対象物領域を特定する(S47)。続いて、操作指示出力部32は、対象物特定部31が特定した対象物領域を囲う対象物指定枠90(図8(b))を撮影中のライブ映像に重畳させて表示部18に出力する(S48)。
これにより、撮影者Sは、ライブ映像中の、閲覧者Rが着目している対象物を知ることが可能となり、閲覧者Rの意図を反映した動画を得られるように撮影操作を続行することができる。
なお、S49〜S52におけるライブ認定の処理の流れは、ライブ認定を携帯電話3が実行するという点を除いて、図7のS10〜S13と同様である。
〔変形例〕
上述の説明では、携帯電話3の画像処理部55が、指定されたフレームに対象物を囲う対象物指定枠を追加する画像処理を行う例について説明したが、これに限定されない。携帯電話1の対象物特定部31が、対象物を特定することができる情報を持つ画像であればどのようなものでもよい。
例えば、画像処理部55が、閲覧者Rがフレームにおいて指定した対象物領域をトリミングし、そのトリミング画像を対象物画像としてもよい。
この場合、対象物特定部31は、マッチング処理を実行して、現在撮影中の動画の中から、上記トリミング画像と一致する部分を対象物領域として特定する。
さらに、操作指示出力部32は、対象物指定情報としての電子メールに添付された対象物画像を撮影者Sが確認できるよう、ライブ画像に重畳させて表示部18に表示してもよい。
図15(a)〜(d)は、携帯電話1の表示部18に表示される対象物画像の表示画面例を示す図である。
図15(a)に示す例では、対象物領域を示すトリミング画像95がライブ映像にスーパーインポーズして表示されている。さらに、携帯電話1は、トリミング画像95と一致する部分を中央に補足したことを検知した時には、図9(c)と同様にアイコン93を表示してもよい。対象物指定情報取得部30が取得した対象物画像が対象物指定枠をフレームに追加した画像である場合には、対象物特定部31が、対象物指定枠を検出してその枠内をトリミングすればよい。
図15(b)に示す例では、対象物領域を示す対象物指定枠がフレーム96ごとライブ映像にスーパーインポーズして表示されている。さらに、携帯電話1は、フレーム96内の対象物指定枠と一致する部分を中央に補足したことを検知した時には、図9(c)と同様にアイコン93を表示してもよい。対象物指定情報取得部30が取得した対象物画像がトリミング画像である場合には、対象物特定部31は、最新のフレームに対して上記トリミング画像と一致する部分に対象物指定枠を追加して、それを操作指示出力部32に伝達すればよい。
〔実施形態4〕
本発明の動画再生装置および動画撮影装置は、テレビ会議システムにも適用することが可能である。以下では、動画再生装置および動画撮影装置としてのTV会議機能付き携帯電話を用いたTV会議システムを例に挙げ説明する。本実施形態にかかるテレビ会議システムは、会議参加者Aのテレビ会議機能付き携帯電話4A、会議参加者Bのテレビ会議機能付き携帯電話4B(以下、単に携帯電話4A、4Bと称する)、および、携帯電話4Aと携帯電話4Bとを通信可能に接続する通信網Wを備える構成となっている。
〔携帯電話の要部構成〕
図16は、本発明の実施形態にかかる携帯電話4A・携帯電話4Bの要部構成を示す図である。以下の説明では、携帯電話4Aの構成について説明するが、携帯電話4Bについても同様の構成を有するものとし、同じ説明は繰り返さない。
図16に示すとおり、携帯電話4Aの制御部25は、動画撮影装置の機能ブロックとしての対象物指定情報取得部30、対象物特定部31、操作指示出力部32、対象物追跡部33、および、動画取得部34を備えており、また、動画再生装置の機能ブロックとしてのライブ認定部53、動画再生部54、および、対象物指定情報生成部56を備えている。
なお、図16において図1、図3、図6、および、図13と同じ符号が付されているブロックは、既述したとおりであるのでここでは説明を繰り返さない。なお図16には図示していないが、音声入力部13を介して入力された音声は、動画撮影部19によって撮影された動画とともに、データ処理部15を介して通信相手の携帯電話に送信される。
〔動画配信フロー4〕
図17は、本実施形態にかかるTV会議システムにおける各装置の処理の流れを示すシーケンス図である。各装置とは、携帯電話4Aおよび携帯電話4B(図16)を指す。しかし、これに限定されず、2人以上の会議参加者が参加するTV会議システムにも本発明の動画撮影装置および動画再生装置を適用することができる。
会議参加者Aの携帯電話4Aと、会議参加者Bの携帯電話4BとがTV会議を実行するためのセッションを開始すると、各会議参加者は、自身を撮影する動画を相手の会議参加者に送信することができる。まず、会議参加者Aが動画撮影部19を用いて撮影し(S61)、会議参加者Aが写る動画(ライブ映像A)を携帯電話4Bに送信する。
携帯電話4Bは、携帯電話4Aからライブ映像Aを受信し(S62)、動画再生部54がライブ映像Aを再生して表示部18に表示する。会議参加者Bは、表示部18に表示されたライブ映像Aを確認し、操作部16を用いて、自身が着目する(例えば、画面中央にもっていきたい)対象物を指定する。
対象物指定情報生成部56は、会議参加者Bが指定した対象物を含む対象物領域を取得して、ライブ映像Aにおいて該対象物領域を特定するための座標情報(対象物指定情報A)を生成する(S63)。
続いて、携帯電話4Aの対象物指定情報取得部30は、携帯電話4Bから上記対象物指定情報Aを取得する(S64)。対象物特定部31は、対象物指定情報Aに基づいてライブ映像Aにおける対象物領域を特定する(S65)。
最後に操作指示出力部32は、上記対象物領域を指し示す情報(対象物指定枠など)を操作指示情報として表示部18に出力する(S66)。
これにより、会議参加者Aは、上記操作指示情報にしたがって会議参加者Bの意図を反映した撮影操作を行うことができ、会議参加者Bが所望するライブ映像Aを携帯電話4Bに送信することが可能となる。
上述とは反対に、会議参加者Bの携帯電話4Bに対して、会議参加者Aの意図を伝達する場合にも(S71〜)、S61〜S66と同様の処理を繰り返す。
なお、上述の各実施形態では、特定された対象物に対して実行する操作の例として、対象物を中央に捕捉するために撮影方向を変更する操作を挙げたがこれに限定されない。例えば、特定された対象物を拡大して撮影するズーム操作を行うとのルールが定められていてもよい。
この場合は、対象物特定部31が対象物を特定すると、該対象物が拡大表示されるように、対象物に合焦してズーム率を上げる旨の操作指示情報を操作指示出力部32が出力する。そして、ライブ認定部53は、対象物領域が画面を占める割合に応じて、閲覧者の意図どおりに拡大されたか否かを検知してライブ認定を行う。
あるいは、特定された対象物がフレームアウトするように撮影方向を変更するとのルールが定められていてもよい。この場合、閲覧者は写したくない部分を対象物として指定することで、意図を撮影者に伝達することができる。
〔実施形態5〕
上述の各実施形態では、ライブ映像についての閲覧者Rの意図(操作指示情報)を撮影者Sの携帯電話1に伝達するために、ライブ映像中の目印(対象物)を指定する対象物指定情報を携帯電話1に送信する例について説明した。本発明の動画配信システムでは、撮影者Sに意図を伝える操作指示情報として、撮影者Sに対して撮影方向を指示するための方向制御情報を対象物指定情報の代わりに送信することも可能である。
本実施形態における動画配信システムにおいて、図2と異なる点は、閲覧者Rの携帯電話7が、動画配信サーバ6を介して、撮影者Sの携帯電話5宛てに、対象物指定情報ではなく方向制御情報を送信する点である。
〔撮影者の携帯電話の要部構成〕
図18は、本実施形態にかかる携帯電話5の要部構成を示す図である。図18に示すとおり、撮影者Sの携帯電話5の制御部26は、機能ブロックとしての方向制御情報取得部60、方向特定部61、操作指示出力部32、および、動画取得部34を備える構成となっている。
方向制御情報取得部60は、閲覧者Rの携帯電話7が送信した方向制御情報を取得するものである。具体的には、動画配信サーバ6を介して上記方向制御情報が携帯電話5に送信され、データ処理部15が適切な復号を行ったのち、方向制御情報取得部60が方向制御情報を取得する。
方向制御情報とは、ライブ映像を撮影する動画撮影部19の向きをどの方向に変更すればよいのかを示す撮影方向を指定する情報であり、ライブ映像に関する閲覧者Rの意図を伝達するためのものである。方向制御情報には、動画撮影部19を上下左右のどの方向に動かせばよいのかを示す情報が少なくとも含まれている。方向制御情報は、さらに、斜めの4方向を加えた8方向を特定するための情報を含んでいてもよいし、ベクトルのように、方向と該方向にどの程度動かせばよいのかを示す長さとを含んでいてもよい。
方向特定部61は、方向制御情報取得部60が取得した方向制御情報に基づいて、撮影者Sが変更すべき撮影方向を特定するものである。
具体的には、例えば、図20(a)に示す方向制御情報を方向制御情報取得部60が取得したとすると、方向特定部61は、上記方向制御情報に含まれる方向(ここでは、右方向)の情報に基づいて撮影方向を右と特定する。
操作指示出力部32は、現在撮影中のライブ映像に重畳させて、上記撮影方向が右であることが分かる情報を表示部18に表示する。
上記構成によれば、閲覧者Rが現在のライブ映像のもっと右の方を写してほしいと望む場合に、右方向に動画撮影部19を動かすことを示す方向制御情報を携帯電話7から携帯電話5に対して送信する。
撮影者Sの携帯電話5では、方向制御情報取得部60が上記右方向の情報を含む方向制御情報を取得し、方向特定部61が撮影方向を右と特定する。そして、撮影方向が右であることを示す操作指示情報を操作指示出力部32が表示部18に表示する。
撮影者Sは、上記操作指示情報にしたがって、動画撮影部19を右に動かし、右の方を写したライブ映像を携帯電話7に対して送信することが可能となる。
これにより、閲覧者Rのライブ映像についての意図を撮影者Sに伝達し、閲覧者Rは、所望のライブ映像を得ることができる。
〔閲覧者の携帯電話の要部構成〕
図19は、本実施形態にかかる携帯電話7の要部構成を示す図である。図19に示すとおり、閲覧者Rの携帯電話7の制御部27は、機能ブロックとしての動画再生部54、方向指示受付部57、および、方向制御情報生成部58を備えた構成となっている。
方向指示受付部57は、操作部16を介して入力される、閲覧者Rが所望する方向への変更指示を受け付けるものである。例えば、閲覧者Rが、操作部16の十字キーのうち、右方向キーを押下すると、方向指示受付部57は、右方向の情報を受け付けて、方向制御情報を生成するよう方向制御情報生成部58に指示する。
方向制御情報生成部58は、方向指示受付部57の指示に応じて方向制御情報を生成するものである。例えば、方向指示受付部57が右方向の情報を受け付けると、図20(a)に示すとおり、右方向の情報を含む方向制御情報を生成する。方向指示受付部57が生成した方向制御情報は、携帯電話5宛てに送信される。
なお、方向制御情報生成部58は、図20(b)に示すとおり、方向に加えて、該方向にどれだけ動かせばよいのかを示す長さの情報を含めて方向制御情報を生成してもよい。
閲覧者Rからの長さの指定は、例えば、十字キーを連続で押下する回数や、長押しされた時間などに応じて方向指示受付部57が受け付ける。
方向制御情報生成部58は、方向指示受付部57が受け付けた十字キーの押下回数に応じて撮影方向の長さ(例えば、300ピクセル)を特定し、図20(b)に示す方向制御情報を生成する。
携帯電話5は、方向制御情報の方向および長さの情報に基づいて、300ピクセル分右方向に動画撮影部19を動かすように撮影者Sに対して指示する操作指示情報を表示部18に出力する。操作指示情報の表示例としては、例えば、右方向の矢印のアイコンを、ライブ映像が300ピクセル分右方向に移動するまで表示し続けるなどが挙げられる。
これにより、撮影者Sは、動画撮影部19をどの方向にどれだけ動かせばよいのかを知ることができ、閲覧者Rの意図どおりのライブ映像を撮影することが可能となる。
さらに、携帯電話7がライブ認定部53を備えている場合には、ライブ認定部53は、携帯電話7が指定した方向に再生中の動画が動いたことを検知することによって、当該動画をライブ映像として認定することができる。
〔動画配信フロー5〕
図21は、本実施形態にかかる動画配信システムにおける各装置の処理の流れを示すシーケンス図である。各装置とは、各装置とは、動画撮影装置としての携帯電話5(図18)、動画配信サーバ6、および、動画再生装置としての携帯電話7(図19)を指す。
まず、撮影者Sが動画撮影を開始すると、携帯電話5は、動画取得部34が取得した動画をリアルタイムで動画配信サーバ6に送信する(S81)。動画配信サーバ6の動画配信部52(図6)は、携帯電話5から取得した動画を携帯電話5に配信する(S82)。
携帯電話7の動画再生部54は、動画配信サーバ6から配信された動画を再生する。閲覧者Rは、上記ライブ映像を表示部18にて確認し、動かしたい方向とその長さを指定する。具体的には、例えば、操作部16の十字キーのいずれかの方向キーを押下して、また、押下回数に応じてその方向にどの程度動かしたいかを指定することなどが挙げられる。
このようにして、閲覧者Rによって撮影方向が指定されると、方向指示受付部57が受け付けた内容に応じて、方向制御情報生成部58は、方向制御情報(図20(b))を生成する(S83)。携帯電話7は、生成された方向制御情報を動画配信サーバ6に送信し、動画配信サーバ6は、携帯電話7から送信された方向制御情報を携帯電話5に送信する(S84)。
続いて携帯電話5の方向制御情報取得部60は、上記方向制御情報を取得する(S85)。方向特定部61は、上記方向制御情報に含まれる方向および長さの情報に基づいて、動画撮影部19をどの方向にどれだけ動かせばよいのかを特定する(S86)。そして、操作指示出力部32は、方向特定部61が特定した内容どおりに動画撮影部19を操作するように撮影者Sに対して指示するための操作指示情報を表示部18に出力する。
これにより、撮影者Sは、閲覧者Rの意図どおりに動画撮影部19を操作して撮影を続行することができ、閲覧者Rは、所望のライブ映像を得ることができる。
さらに、撮影が続行され(S88)、動画配信サーバ6を介して所望の方向に動かされたライブ映像が配信されると(S89)、携帯電話7のライブ認定部53は、閲覧者Rが指定した方向に指定した分だけ動かれたライブ映像を検知して、ライブ認定を行うことができる(S90)。
図22(a)〜(c)は、撮影者Sの携帯電話5の表示部18に表示される操作指示情報の表示画面例を示す図である。
図22(a)に示すとおり、操作指示出力部32は、画面の4方向に表示された矢印のうち、閲覧者Rが意図する撮影方向の矢印のみを色付きで表示してもよい。図22(b)に示すとおり、操作指示出力部32は、4方向を模式的に示すアイコンを画面の隅に重畳させて、一つの方向のみを色付きで表示してもよい。図22(c)に示すとおり、操作指示出力部32は、4方向のいずれか一方を示す文字を画面の隅に重畳させてもよい。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
最後に、携帯電話1(3、4A、4B、5、7)の各ブロック、特に対象物指定情報取得部30、操作指示出力部32、対象物指定情報生成部56、方向制御情報取得部60、方向特定部61、および、方向制御情報生成部58は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、携帯電話1(3、4A、4B、5、7)は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである携帯電話1(3、4A、4B、5、7)の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記携帯電話1(3、4A、4B、5、7)に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、携帯電話1(3、4A、4B、5、7)を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明の動画撮影装置は、撮影者が表示部に表示された動画を確認して撮影部の位置を手動で調節することにより動画を撮影し、通信網を介して該動画を動画再生装置に送信する動画撮影装置に対して、好適に用いることができる。
本発明の実施形態にかかる撮影者Sの携帯電話の要部構成を示す図である。 本発明の実施形態にかかる動画配信システムの概略構成を示す図である。 本発明の実施形態にかかる携帯電話の概略構成を示す図である。 閲覧者Rの携帯電話から送信される対象物指定情報としての座標情報の例を示す図である。 撮影者Sの携帯電話において座標情報に基づき特定される対象物領域の例を示す図である。 本発明の実施形態にかかる動画配信サーバの要部構成を示すブロック図である。 動画配信システムにおける各装置の処理の流れを示すシーケンス図である。 (a)〜(d)は、表示部にライブ映像を表示するときの画面表示例を示す図である。 (a)〜(d)は、撮影者Sの携帯電話の表示部に表示される、撮影方向に関する操作指示情報の画面表示例を示す図である。 本発明の他の実施形態にかかる対象物指定情報の一例を示す図である。 本発明の他の実施形態にかかる動画配信システムにおける各装置の処理の流れを示すシーケンス図である。 (a)〜(b)は、表示部にライブ映像を表示するときの他の画面表示例を示す図である。 本発明の他の実施形態にかかる閲覧者Rの携帯電話の要部構成を示す図である。 本発明の他の実施形態にかかる動画配信システムにおける各装置の処理の流れを示すシーケンス図である。 (a)〜(d)は、撮影者Sの携帯電話の表示部に表示される対象物画像の表示画面例を示す図である。 本発明の他の実施形態にかかる携帯電話の要部構成を示す図である。 本発明の他の実施形態にかかるTV会議システムにおける各装置の処理の流れを示すシーケンス図である。 本発明の他の実施形態にかかる撮影者Sの携帯電話の要部構成を示す図である。 本発明の他の実施形態にかかる閲覧者Rの携帯電話の要部構成を示す図である。 (a)および(b)は、本発明の他の実施形態にかかる方向制御情報の一例を示す図である。 本発明の他の実施形態にかかる動画配信システムにおける各装置の処理の流れを示すシーケンス図である。 (a)〜(c)は、撮影者Sの携帯電話の表示部に表示される操作指示情報の表示画面例を示す図である。
符号の説明
1 携帯電話(動画撮影装置)
2 動画配信サーバ
3 携帯電話(動画再生装置)
4A テレビ会議機能付き携帯電話(動画撮影装置/動画再生装置)
4B テレビ会議機能付き携帯電話(動画撮影装置/動画再生装置)
5 携帯電話(動画撮影装置)
6 動画配信サーバ
7 携帯電話(動画再生装置)
10 アンテナ部(送信手段/通知手段)
11 無線処理部(送信手段/通知手段)
12 音声処理部
13 音声入力部
14 音声出力部
15 データ処理部(送信手段/通知手段)
16 操作部
17 記憶部
18 表示部
19 動画撮影部(撮影部)
20 電源部
21 制御部
22 受信部
23 送信部
24 制御部
25 制御部
26 制御部
27 制御部
28 制御部
30 対象物指定情報取得部(対象物指定情報取得手段)
31 対象物特定部
32 操作指示出力部(操作指示出力手段)
33 対象物追跡部(対象物追跡手段)
34 動画取得部
35 方向指示部(方向指示手段)
36 変化量算出部(変化量算出手段)
40 対象物記憶部
41 動画記憶部
42 対象物指定情報記憶部
43 動画記憶部
44 対象物指定情報記憶部
50 対象物指定情報収集部
51 対象物指定情報決定部
52 動画配信部
53 ライブ認定部(検知手段/通知手段)
54 動画再生部
55 画像処理部(対象物受付手段)
56 対象物指定情報生成部(対象物指定情報生成手段)
57 方向指示受付部(方向指示受付手段)
58 方向制御情報生成部(方向制御情報生成手段)
60 方向制御情報取得部(方向制御情報取得手段)
61 方向特定部(方向特定手段)
100 動画配信システム

Claims (21)

  1. 撮影者が表示部に表示された動画を確認して撮影部の位置を手動で調節することにより動画を撮影し、通信網を介して該動画を動画再生装置に送信する動画撮影装置において、
    上記動画再生装置にて上記動画を閲覧する閲覧者が上記動画の中で着目する対象物を示す対象物指定情報を上記動画再生装置から取得する対象物指定情報取得手段と、
    上記動画において上記対象物指定情報取得手段が取得した対象物指定情報が示す対象物を強調して上記表示部に表示する操作指示出力手段とを備えていることを特徴とする動画撮影装置。
  2. 上記対象物指定情報は、上記動画における上記対象物を含む領域である対象物領域を特定する座標情報を含み、
    上記操作指示出力手段は、上記座標情報によって特定された対象物領域を強調して上記表示部に表示することを特徴とする請求項1に記載の動画撮影装置。
  3. 上記対象物指定情報は、上記動画の1フレームに対し、上記対象物を含む領域である対象物領域を示す情報を追加した静止画であり、
    上記操作指示出力手段は、上記静止画に含まれる対象物領域を示す情報に基づいて特定された対象物領域を強調して上記表示部に表示することを特徴とする請求項1に記載の動画撮影装置。
  4. 上記対象物指定情報は、上記動画における上記対象物を含む領域をトリミングしたトリミング画像であり、
    上記操作指示出力手段は、上記動画において上記トリミング画像と一致する領域を強調して上記表示部に表示することを特徴とする請求項1に記載の動画撮影装置。
  5. 上記動画における、上記対象物指定情報により特定された対象物の位置を追跡する対象物追跡手段を備え、
    上記操作指示出力手段は、上記対象物追跡手段が追跡する対象物の移動に合わせて強調表示を行うことを特徴とする請求項1に記載の動画撮影装置。
  6. 上記対象物追跡手段が追跡する対象物を、上記動画の所定の位置に捕捉するために上記撮影部を動かす方向を決定する方向指示手段を備え、
    上記操作指示出力手段は、方向指示手段が決定した方向を示す情報を上記表示部に表示することを特徴とする請求項5に記載の動画撮影装置。
  7. 上記対象物追跡手段が追跡する対象物が上記動画の所定の位置に捕捉されたことを検知する検知手段と、
    上記検知手段が上記対象物が上記所定の位置に捕捉されたことを検知したことを上記動画再生装置に通知する通知手段とを備えていることを特徴とする請求項6に記載の動画撮影装置。
  8. 上記対象物指定情報は、上記座標情報に加えて上記動画のうちの1フレームを特定するためのタイムコードを含み、
    上記動画のうち、上記対象物指定情報取得手段が取得したタイムコードにより特定されるフレームと最新のフレームとを比較して、両フレーム間の変化の度合いを算出する変化量算出手段を備え、
    上記対象物指定情報取得手段は、上記変化量算出手段により算出された変化の度合いが所定の値よりも大きい場合に、上記最新のフレームにおける対象物の座標情報の再送を上記動画再生装置に要求することを特徴とする請求項2に記載の動画撮影装置。
  9. 撮影者が表示部に表示された動画を確認して撮影部の位置を手動で調節することにより動画を撮影し、通信網を介して該動画を動画再生装置に送信する動画撮影装置において、
    上記動画再生装置にて上記動画を閲覧する閲覧者が所望する、上記撮影部を動かす方向を示す方向制御情報を上記動画再生装置から取得する方向制御情報取得手段と、
    上記方向制御情報取得手段が取得した方向制御情報に基づいて、上記撮影部を動かすべき方向を特定する方向特定手段と、
    上記動画において上記方向特定手段が特定した方向に上記撮影部を動かすように撮影者に指示する操作指示情報を上記表示部に表示する操作指示出力手段とを備えていることを特徴とする動画撮影装置。
  10. 撮影者が表示部に表示された動画を確認して撮影部の位置を手動で調節することにより動画を撮影する動画撮影装置から、通信網を介して該動画を受信し再生する動画再生装置において、
    上記動画を閲覧する閲覧者によって操作部を介して入力された、該閲覧者が上記動画の中で着目する対象物の指定を受け付ける対象物受付手段と、
    上記対象物受付手段が受け付けた対象物を特定する対象物指定情報を生成する対象物指定情報生成手段と、
    上記対象物指定情報生成手段が生成した対象物指定情報を上記動画撮影装置に送信する送信手段とを備えていることを特徴とする動画再生装置。
  11. 上記対象物指定情報生成手段は、上記閲覧者によって操作部を介して入力された、上記動画における上記対象物を含む領域の指定にしたがって、当該領域を特定する座標情報を生成することを特徴とする請求項10に記載の動画再生装置。
  12. 上記対象物指定情報生成手段が生成した対象物指定情報によって特定された対象物が上記動画の所定の位置に捕捉されたことを検知する検知手段と、
    上記検知手段が上記対象物が上記所定の位置に捕捉されたことを検知したときに、所定のメッセージを自装置の表示部に表示する通知手段とを備えていることを特徴とする請求項10に記載の動画再生装置。
  13. 撮影者が表示部に表示された動画を確認して撮影部の位置を手動で調節することにより動画を撮影する動画撮影装置から、通信網を介して該動画を受信し再生する動画再生装置において、
    上記動画を閲覧する閲覧者によって操作部を介して入力された、該閲覧者が所望する上記撮影部を動かす方向の指定を受け付ける方向指示受付手段と、
    上記方向指示受付手段が受け付けた方向を特定する方向制御情報を生成する方向制御情報生成手段と、
    上記方向制御情報生成手段が生成した方向制御情報を上記動画撮影装置に送信する送信手段とを備えていることを特徴とする動画再生装置。
  14. 請求項1に記載の動画撮影装置と、請求項10に記載の動画再生装置とを含むことを特徴とする動画配信システム。
  15. 請求項9に記載の動画撮影装置と、請求項13に記載の動画再生装置とを含むことを特徴とする動画配信システム。
  16. 撮影者が表示部に表示された動画を確認して撮影部の位置を手動で調節することにより動画を撮影し、通信網を介して該動画を動画再生装置に送信する動画撮影装置の制御方法であって、
    上記動画再生装置にて上記動画を閲覧する閲覧者が上記動画の中で着目する対象物を示す対象物指定情報を上記動画再生装置から取得する取得ステップと、
    上記動画において上記取得ステップにて取得された対象物指定情報が示す対象物を強調して上記表示部に表示する表示ステップとを含むことを特徴とする動画撮影装置の制御方法。
  17. 撮影者が表示部に表示された動画を確認して撮影部の位置を手動で調節することにより動画を撮影し、通信網を介して該動画を動画再生装置に送信する動画撮影装置の制御方法であって、
    上記動画再生装置にて上記動画を閲覧する閲覧者が所望する、上記撮影部を動かす方向を示す方向制御情報を上記動画再生装置から取得する取得ステップと、
    上記取得ステップにて取得した方向制御情報に基づいて、上記撮影部を動かすべき方向を特定する方向特定ステップと、
    上記動画において上記方向特定ステップにて特定された方向に上記撮影部を動かすように撮影者に指示する操作指示情報を上記表示部に表示する表示ステップとを含むことを特徴とする動画撮影装置の制御方法。
  18. 撮影者が表示部に表示された動画を確認して撮影部の位置を手動で調節することにより動画を撮影する動画撮影装置から、通信網を介して該動画を受信し再生する動画再生装置の制御方法であって、
    上記動画を閲覧する閲覧者によって操作部を介して入力された、該閲覧者が上記動画の中で着目する対象物の指定を受け付ける受付ステップと、
    上記受付ステップにて受け付けられた対象物を特定する対象物指定情報を生成する生成ステップと、
    上記生成ステップにて生成された対象物指定情報を上記動画撮影装置に送信する送信ステップとを含むことを特徴とする動画再生装置の制御方法。
  19. 撮影者が表示部に表示された動画を確認して撮影部の位置を手動で調節することにより動画を撮影する動画撮影装置から、通信網を介して該動画を受信し再生する動画再生装置の制御方法であって、
    上記動画を閲覧する閲覧者によって操作部を介して入力された、該閲覧者が所望する上記撮影部を動かす方向の指定を受け付ける受付ステップと、
    上記受付ステップにて受け付けられた方向を特定する方向制御情報を生成する生成ステップと、
    上記生成ステップにて生成された方向制御情報を上記動画撮影装置に送信する送信ステップとを含むことを特徴とする動画再生装置の制御方法。
  20. コンピュータを、請求項1から9のいずれか1項に記載の動画撮影装置、または、請求項10から13のいずれか1項に記載の動画再生装置の各手段として機能させるための制御プログラム。
  21. 請求項20に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2007111006A 2007-04-19 2007-04-19 動画撮影装置、動画再生装置、動画配信システム、制御方法、制御プログラム、および、記録媒体 Expired - Fee Related JP4933337B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007111006A JP4933337B2 (ja) 2007-04-19 2007-04-19 動画撮影装置、動画再生装置、動画配信システム、制御方法、制御プログラム、および、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007111006A JP4933337B2 (ja) 2007-04-19 2007-04-19 動画撮影装置、動画再生装置、動画配信システム、制御方法、制御プログラム、および、記録媒体

Publications (2)

Publication Number Publication Date
JP2008271149A true JP2008271149A (ja) 2008-11-06
JP4933337B2 JP4933337B2 (ja) 2012-05-16

Family

ID=40050078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007111006A Expired - Fee Related JP4933337B2 (ja) 2007-04-19 2007-04-19 動画撮影装置、動画再生装置、動画配信システム、制御方法、制御プログラム、および、記録媒体

Country Status (1)

Country Link
JP (1) JP4933337B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012109852A (ja) * 2010-11-18 2012-06-07 Nec Corp 遠隔画像表示システム、装置および方法
JP2013150202A (ja) * 2012-01-20 2013-08-01 Nippon Hoso Kyokai <Nhk> 送受信システム及び送受信方法、受信装置及び受信方法
JP2014138277A (ja) * 2013-01-17 2014-07-28 Canon Inc 撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法およびプログラム、遠隔操作端末の制御方法およびプログラム
CN104519253A (zh) * 2013-09-30 2015-04-15 奥林巴斯株式会社 摄像装置、摄像***以及图像显示方法
JP2015213254A (ja) * 2014-05-02 2015-11-26 キヤノン株式会社 表示装置、撮像装置及びその制御方法
JP2017011527A (ja) * 2015-06-23 2017-01-12 三菱電機株式会社 コンテンツ編集装置およびコンテンツ再生装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110429A (ja) * 1993-10-08 1995-04-25 Nikon Corp 被写体追尾機能を有するカメラ
JP2002314851A (ja) * 2001-04-10 2002-10-25 Nikon Corp 撮影装置
JP2006014119A (ja) * 2004-06-29 2006-01-12 Victor Co Of Japan Ltd 撮影画像送受信システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110429A (ja) * 1993-10-08 1995-04-25 Nikon Corp 被写体追尾機能を有するカメラ
JP2002314851A (ja) * 2001-04-10 2002-10-25 Nikon Corp 撮影装置
JP2006014119A (ja) * 2004-06-29 2006-01-12 Victor Co Of Japan Ltd 撮影画像送受信システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012109852A (ja) * 2010-11-18 2012-06-07 Nec Corp 遠隔画像表示システム、装置および方法
JP2013150202A (ja) * 2012-01-20 2013-08-01 Nippon Hoso Kyokai <Nhk> 送受信システム及び送受信方法、受信装置及び受信方法
JP2014138277A (ja) * 2013-01-17 2014-07-28 Canon Inc 撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法およびプログラム、遠隔操作端末の制御方法およびプログラム
CN104519253A (zh) * 2013-09-30 2015-04-15 奥林巴斯株式会社 摄像装置、摄像***以及图像显示方法
JP2015213254A (ja) * 2014-05-02 2015-11-26 キヤノン株式会社 表示装置、撮像装置及びその制御方法
JP2017011527A (ja) * 2015-06-23 2017-01-12 三菱電機株式会社 コンテンツ編集装置およびコンテンツ再生装置

Also Published As

Publication number Publication date
JP4933337B2 (ja) 2012-05-16

Similar Documents

Publication Publication Date Title
US7483061B2 (en) Image and audio capture with mode selection
US8045850B2 (en) Image pickup apparatus, image recording apparatus and image recording method
CN110213616B (zh) 视频提供方法、获取方法、装置及设备
US8208010B2 (en) Face image correction using multiple camera angles
US7443404B2 (en) Image display apparatus, image display controlling method, and image display program
JP4933337B2 (ja) 動画撮影装置、動画再生装置、動画配信システム、制御方法、制御プログラム、および、記録媒体
TW201251443A (en) Video summary including a feature of interest
JP2006166408A (ja) 撮像装置及びその制御方法
KR20190010733A (ko) 정보 처리 장치 및 정보 처리 방법
JP2011015279A (ja) デジタルカメラ及び動画像再生方法
JP2008244660A (ja) 撮影画像から自動的に関連情報を取得する画像解析システム、携帯端末、方法、およびプログラム
JP4389160B2 (ja) 動画撮影装置、動画一覧表示方法、及び、プログラム
JP6319491B2 (ja) 撮像装置及び制御方法
JP2006014119A (ja) 撮影画像送受信システム
CN112153404B (zh) 码率调整方法、检测方法、装置、设备及存储介质
JP2009027626A (ja) マイクロフォン装置、撮影装置、及びリモート撮影システム
KR20060013085A (ko) 이동통신단말기에서 화상의 일부를 편집하기 위한 장치 및방법
JP5345467B2 (ja) 収録映像指示装置及びその収録映像指示方法
CN106454128B (zh) 自拍杆调节方法和装置
JPH11261874A (ja) リモートコントロールビデオ撮影方法およびシステム並びに該方法を記録した記録媒体
JP5963921B2 (ja) デジタルカメラ及びカメラの合成画像表示方法
JP5774731B2 (ja) デジタルカメラ及びデジタルカメラの合成画像表示方法
JP2004120269A (ja) 携帯型撮像装置およびその制御方法
KR20040045123A (ko) 무선단말기상의 실시간 자가 영상합성 방법 및 그 시스템
KR101391785B1 (ko) 휴대 단말기 및 그의 파노라마 이미지 촬영 모드 수행 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120216

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees