JP2015114694A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2015114694A
JP2015114694A JP2013254031A JP2013254031A JP2015114694A JP 2015114694 A JP2015114694 A JP 2015114694A JP 2013254031 A JP2013254031 A JP 2013254031A JP 2013254031 A JP2013254031 A JP 2013254031A JP 2015114694 A JP2015114694 A JP 2015114694A
Authority
JP
Japan
Prior art keywords
image
moving image
object images
moving
series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013254031A
Other languages
English (en)
Inventor
起弘 飯田
Okihiro Iida
起弘 飯田
彰吾 木村
Shogo Kimura
彰吾 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013254031A priority Critical patent/JP2015114694A/ja
Priority to US14/526,645 priority patent/US9600160B2/en
Publication of JP2015114694A publication Critical patent/JP2015114694A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • G11B27/007Reproducing at a different information rate from the information rate of recording reproducing continuously a part of the information, i.e. repeating
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】動画像の表現力を拡張する。
【解決手段】ソース動画像のフレーム画像から移動しているオブジェクトを抽出することによって生成される一連のオブジェクト画像を取得する画像取得部と、上記一連のオブジェクト画像から選択された複数のオブジェクト画像のそれぞれが並行的にアニメートされる第1の動画像を生成する動画像生成部と、上記生成された動画像を出力する画像出力部とを備える画像処理装置が提供される。
【選択図】図2

Description

本開示は、画像処理装置、画像処理方法およびプログラムに関する。
動画像の表現力を向上させるために、これまで多くの技術が提案されてきた。例えば、特許文献1には、動画像データの再生、一時停止、コマ送り、一時停止解除といった再生動作についてユーザの使い勝手を向上させるための技術が記載されている。このような技術は、動画像の中でユーザが所望する区間を時間をかけて再生できるという点で、動画像の表現力を向上させるものであるといえる。
特開2012−4739号公報
しかしながら、特許文献1に記載されたような技術では、例えば同じ区間を繰り返して見たいような場合、ユーザ操作によって再生を巻き戻すか、当該区間で繰り返し再生を設定する必要があった。繰り返し再生を設定しても、今度は同じ動画の別の区間を繰り返して見るような場合には、改めて設定が必要であり、使い勝手という観点からはなおも改善の余地があった。
そこで、本開示では、上記のような状況に鑑み、動画像の表現力を拡張することを可能にする、新規かつ改良された画像処理装置、画像処理方法およびプログラムを提案する。
本開示によれば、ソース動画像のフレーム画像から移動しているオブジェクトを抽出することによって生成される一連のオブジェクト画像を取得する画像取得部と、上記一連のオブジェクト画像から選択された複数のオブジェクト画像のそれぞれが並行的にアニメートされる第1の動画像を生成する動画像生成部と、上記生成された動画像を出力する画像出力部とを備える画像処理装置が提供される。
また、本開示によれば、ソース動画像のフレーム画像から移動しているオブジェクトを抽出することによって生成される一連のオブジェクト画像を取得することと、プロセッサが、上記一連のオブジェクト画像から選択された複数のオブジェクト画像のそれぞれが並行的にアニメートされる第1の動画像を生成することと、上記生成された動画像を出力することとを含む画像処理方法が提供される。
また、ソース動画像のフレーム画像から移動しているオブジェクトを抽出することによって生成される一連のオブジェクト画像を取得する機能と、上記一連のオブジェクト画像から選択された複数のオブジェクト画像のそれぞれが並行的にアニメートされる第1の動画像を生成する機能と、上記生成された動画像を出力する機能とをコンピュータに実現させるためのプログラムが提供される。
複数のオブジェクト画像のそれぞれが並行的にアニメートされることによって、例えばある区間におけるオブジェクトの動きは、動画像の全体を繰り返し再生する場合に比べて短い間隔で繰り返して表現されることになる。上記の構成では、このような表現を可能にすることによって、動画像の表現力が拡張されているといえる。
以上説明したように本開示によれば、動画像の表現力を拡張することができる。
本開示の一実施形態に係る端末装置の概略的なソフトウェア構成図である。 本開示の一実施形態に係る端末装置の概略的な機能構成を示すブロック図である。 本開示の一実施形態に係る端末装置における概略的なステップごとのデータの流れについて説明するための図である。 本開示の一実施形態におけるオブジェクト画像について説明するための図である。 本開示の一実施形態における第1の動画像の生成について説明するための図である。 本開示の一実施形態において生成される第1の動画像の例を示す図である。 本開示の一実施形態における第2の動画像の生成について説明するための図である。 本開示の一実施形態において生成される第2の動画像の例を示す図である。 本開示の一実施形態におけるGUIの例について説明するための図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.概略的な構成
1−1.ソフトウェア構成
1−2.機能構成
1−3.データの流れ
2.表示オブジェクト画像選択の例
2−1.区間の設定
2−2.間隔の設定
3.オブジェクト画像に加えられるエフェクトの例
4.他の表示の例
5.ハードウェア構成
6.補足
(1.概略的な構成)
まず、図1〜図3を参照して、本開示の一実施形態の概略的な構成について説明する。本実施形態では、ユーザが使用する端末装置が画像処理装置として利用される。端末装置は、自らがカメラ機能を有する装置、例えばデジタルカメラ、携帯電話(スマートフォンを含む)、タブレット端末、または携帯型ゲーム機などであってもよい。この場合、端末装置は、カメラ機能で撮像した動画像を、以下で説明する画像処理のソースとして利用しうる。一方、端末装置は、カメラ機能を有さない装置、例えば各種のPCまたはメディアプレーやなどであってもよい。この場合、端末装置は、ネットワークを介して他の装置から取得した動画像を、画像処理のソースとして利用しうる。なお、端末装置がカメラ機能を有する場合も、ネットワークを介して他の装置から取得された動画像が画像処理のソースとして利用されてもよい。
なお、以下で説明する端末装置のような、本実施形態に係る情報処理装置のハードウェア構成については後述する。以下のソフトウェア構成または機能構成は、特に記載がない限り情報処理装置のCPU(Central Processing Unit)などのプロセッサによって実現されうる。
(1−1.ソフトウェア構成)
図1は、本開示の一実施形態に係る端末装置100の概略的なソフトウェア構成図である。図1を参照すると、端末装置100のソフトウェアは、画像処理エンジン10と、アプリケーション20と、SDK(Software Development Kit)30とを含む。画像処理エンジン10は、入力された画像に対して所定の処理を実行し、データを得るソフトウェアモジュールである。
本実施形態において、画像処理エンジン10は、端末装置100が有する撮像装置で撮像された動画像、または端末装置100がネットワーク上の他の装置から提供された動画像などを、ソースとして読み込む。以下、これらの動画像をソース動画像ともいう。画像処理エンジン10は、後述するような画像処理を実行することによって、ソース動画像から一連のオブジェクト画像を抽出する。一連のオブジェクト画像は、ソース動画像において移動しているオブジェクトを抽出することによって生成される。
アプリケーション20は、GUI(Graphical User Interface)21、エンジンコントローラ23、エディタ25、およびアップロードマネージャ27を含む。GUI21は、例えば端末装置100のディスプレイに後述するような操作画面を表示させ、操作画面上でのタッチパネルやマウスなどを用いたユーザの操作を取得する。エンジンコントローラ23は、GUI21を介したユーザの操作に基づいて画像処理エンジン30にソースの選択や処理の実行などといった指示入力を与える。エディタ25は、GUI21を介したユーザの操作に基づいて、画像処理エンジン10から出力された一連のオブジェクト画像を編集する。エディタ25は、例えば、一連のオブジェクト画像から選択された複数のオブジェクト画像のそれぞれが並行的にアニメートされる第1の動画像を生成し、生成された動画像を例えばプレビューとしてGUI21を介して端末装置100のディスプレイなどに表示させる。あるいは、エディタ25は、一連のオブジェクト画像から選択された単一のオブジェクト画像がアニメートされる第2の動画像を生成し、同様にプレビューとして表示させてもよい。アップロードマネージャ27は、例えばSDK30として用意されるAPI(Application Programming Interface)を利用して、アプリケーション20がエンジンコントローラ23やエディタ25の機能によって生成した画像を、ネットワーク上のサーバにアップロードしたり、他の端末装置に送信したりすることを可能にする。
SDK30は、例えばOS(Operating System)によって提供される機能をアプリケーション20が利用するために用意されるソフトウェアツールのセットである。SDK30は、例えばアプリケーション20が端末装置100における入出力やファイル操作、通信などの機能を利用することを可能にする。
(1−2.機能構成)
図2は、本開示の一実施形態に係る端末装置100の概略的な機能構成を示すブロック図である。図2を参照すると、端末装置100は、画像解析部110と、画像取得部120と、動画像生成部130と、画像出力部140と、表示制御部150と、表示部160と、操作部170と、通信部180とを有する。なお、端末装置100は、上記の機能構成以外にも、例えば撮像装置、通信装置、放送波の受像および録画装置など、一般的に端末装置に搭載されうる各種の機能構成を有してもよい。
(画像解析部)
画像解析部110は、例えば上述した画像処理エンジン10にあたる。画像解析部110は、ソース動画像のフレーム画像から移動しているオブジェクトを抽出することによって一連のオブジェクト画像を生成する。一連のオブジェクト画像は、例えばフレーム画像において動きベクトルが閾値を超える領域の画像が、それ以外の背景画像から分離されたものでありうる。なお、一連のオブジェクト画像の生成には、公知の様々な技術を利用することが可能であり、その種類は特に限定しない。また、オブジェクト画像として分離される領域は、例えば移動するオブジェクトの外形にほぼ一致してもよいし、オブジェクトとその近傍の背景部分とを含んでもよい。
さらに、画像解析部110は、一連のオブジェクト画像に加えて、背景画像を生成してもよい。背景画像は、例えば、1または複数のフレーム画像からオブジェクト以外の領域を抽出して、必要に応じて合成することによって生成される。背景画像は、例えば、動画像生成部130によって生成される動画像において背景として表示されうる。
本実施形態において、端末装置100が撮像装置を有する場合、画像解析部110は、撮像装置によって撮像された動画像をソース動画像として用いてもよい。また、画像解析部110は、通信装置によって他の装置から受信された動画像をソース動画像として用いてもよい。あるいは、画像解析部110は、放送波などを通じて配信された動画像を録画したものをソース動画像として用いてもよい。
(画像取得部)
画像取得部120は、例えば上述したアプリケーション20のエンジンコントローラ23にあたる。画像取得部120は、画像解析部110から出力される一連のオブジェクト画像を取得する。上述の通り、一連のオブジェクト画像は、ソース動画像のフレーム画像から移動しているオブジェクトを抽出することによって生成される。画像取得部120は、さらに、画像解析部110から出力される背景画像を取得してもよい。なお、本実施形態において、画像取得部120は、画像解析部110から一連のオブジェクト画像(および背景画像)を取得するが、他の実施形態において、画像取得部120は、画像解析部110と同様の機能を有する他の装置から通信部を介して一連のオブジェクト画像(および背景画像)を取得してもよい。あるいは、画像取得部120は、端末装置100が有するストレージに既に格納されている一連のオブジェクト画像(および背景画像)を取得してもよい。
(動画像生成部)
動画像生成部130は、例えば上述したアプリケーション20のエディタ25にあたる。動画像生成部130は、画像取得部120が取得した一連のオブジェクト画像から複数のオブジェクト画像を選択し、選択された複数のオブジェクト画像のそれぞれが並行的にアニメートされる第1の動画像を生成する。あるいは、動画像生成部130は、上記の第1の動画像、または、画像取得部120が取得した一連のオブジェクト画像から選択された単一のオブジェクト画像がアニメートされる第2の動画像のいずれかを選択的に生成してもよい。ここで、上記の第1の動画像および/または第2の動画像において、アニメートされる1または複数のオブジェクト画像は、画像取得部120が取得した共通の背景画像に重畳して表示されうる。
(画像出力部)
画像出力部140は、例えば上述したアプリケーション20のエディタ25にあたる。画像出力部140は、動画像生成部130によって生成された動画像を出力する。例えば、画像出力部140は、動画像生成部130が第1の動画像だけを生成する場合には、第1の動画像を出力する。また、画像出力部140は、動画像生成部130が第1の動画像または第2の動画像のいずれかを選択的に生成する場合には、第1の動画像または第2の動画像のいずれかを出力する。
(表示制御部/表示部/操作部)
表示制御部150は、例えば上述したアプリケーション20のGUI21にあたる。表示制御部150は、画像出力部140によって出力された動画像を、例えば端末装置100が有するディスプレイである表示部160に表示させる。このとき、表示制御部150は、動画像とともに、後述するような編集用のボタンやスライダなどの操作要素を表示部160に表示させてもよい。これらの操作要素に対するユーザの操作は、例えば端末装置100が有するタッチパネルやマウスなどを含む操作部170によって取得され、この操作に基づいて動画像生成部130が動画像を再生成してもよい。つまり、表示制御部150が表示部160に表示させる動画像は、それに対してさらに編集を加えることが可能なプレビュー画像として表示されうる。なお、プレビュー画像を利用した編集処理の詳細については後述する。
(通信部)
通信部180は、例えば上述したSDK30のアップロードマネージャ31にあたる。通信部180は、端末装置100が有する通信装置を介して、画像出力部140が出力した動画像をネットワーク上のサーバにアップロードしたり、他の端末装置に送信したりする。ここで、生成された動画像に対してさらに編集を加えるか、通信部180を介して送信するかは、操作部170が取得した表示部160上の操作要素に対するユーザ操作に基づいて決定されうる。なお、他の実施形態では、画像出力部140が出力した動画像が、通信部180から送信される代わりにストレージに保存され、後で閲覧または送信されてもよい。
(1−3.データの流れ)
図3は、本開示の一実施形態に係る端末装置100における概略的なステップごとのデータの流れについて説明するための図である。図3には、端末装置100における処理の概略的なステップが、画像取得(S101)、解析(S103)、編集(S105)、プレビュー(S107)、および保存/送信(S109)として示されている。また、各ステップにおいて用いられるデータが、フレーム画像(D101)、オブジェクト画像(+背景画像)(S103)、および出力画像(D105)として示されている。
画像取得のステップ(S101)は、例えば、端末装置100において、撮像装置が動画像を撮像したり、通信装置が動画像を受信したり、放送波を通じて配信された動画像が録画されたりすることによって実行される。あるいは、動画像は、端末装置100のHDDなどのローカルストレージから読み出されてもよい。このステップによって取得された動画像(ソース動画像)のフレーム画像(D101)は、ストレージに格納される。
次に、解析のステップ(S103)が、端末装置100の画像解析部110によって実行される。このステップでは、既に説明したように、ソース動画像のフレーム画像(D101)から移動しているオブジェクトが抽出されることによって、一連のオブジェクト画像(D103)が生成される。さらに、解析のステップ(S103)では、いずれかのフレーム画像におけるオブジェクト画像以外の領域を抽出したり、複数のフレーム画像から抽出されたオブジェクト画像以外の領域を合成したりすることによって、背景画像(D103)が生成されてもよい。
次に、動画像生成のステップ(S105)が、端末装置100の動画像生成部130によって実行される。このステップでは、一連のオブジェクト画像(+背景画像)(D103)を用いて動画像が生成される。動画像生成部130について既に説明したように、動画像は、一連のオブジェクト画像(D103)から選択された複数のオブジェクト画像が並行的にアニメートされる第1の動画像、または、一連のオブジェクト画像(D103)から選択された単一のオブジェクト画像がアニメートされる第2の動画像でありうる。生成された動画像は、画像出力部140によって出力される。
次に、プレビューのステップ(S107)が、端末装置100の表示制御部150および表示部160によって実行される。このステップでは、動画像生成のステップ(S105)において生成された動画像がプレビュー画像としてユーザに提示される。プレビュー画像を参照したユーザは、動画像に対してさらに変更を加えるか、サーバへのアップロード、他の端末装置への送信、またはストレージへの保存などを実行するかを決定し、そのための操作入力を操作部170に対して与える。
上記のプレビューのステップ(S107)において、動画像に対してさらに変更を加えることが、操作部170が取得したユーザの操作入力によって指示された場合、動画像生成のステップ(S105)が、ユーザの操作入力によって指定された条件で再度実行される。このとき参照されるデータは、既に抽出されているオブジェクト画像(+背景画像)(D103)である。後述するように、本実施形態において、プレビューのステップ(S107)で加えられるさらなる変更は、例えば、動画像生成部130の生成にあたって選択される複数/単一のオブジェクト画像の変更、または再生速度の変更などである。それゆえ、動画像生成のステップ(S105)を再実行するときには、既に抽出されているオブジェクト画像(+背景画像)(D103)を再利用することが可能であり、解析のステップ(S103)を再実行する必要はない。
従って、本実施形態では、動画像生成およびプレビューのステップ(S105,S107)を実行するときの計算コストを低減し、システムリソースを節約するとともに、再生成後の動画像を迅速に表示させることができる。結果として、本実施形態では、動画像に対する編集およびプレビューを何度でも気軽に実行することができ、ユーザが納得のいく動画像を作成することができる。
上記のプレビューのステップ(S107)において、生成された動画像をアップロード、送信、または保存することが、操作部170が取得したユーザの操作入力によって指示された場合、保存/送信のステップ(S109)が実行される。このステップでは、生成された動画像が、送信(アップロードを含む)または保存用の動画像データ(D105)として送信または保存される。
なお、動画像データ(D105)のフォーマットは、特に限定されないが、一般的な動画像のフォーマットには限られず、GIF(Graphics Interchange Format)やFLASH(登録商標)などの各種フォーマットを用いることが可能である。後述するように、動画像は、フレームレートが低い場合には連続写真になりうる。従って、出力されるデータのフォーマットも、動画像のフォーマットには限られない。
(2.複数のオブジェクト画像が並行的にアニメートされる動画像の生成)
次に、図4〜図6を参照して、本開示の一実施形態における、複数のオブジェクト画像が並行的にアニメートされる動画像(第1の動画像)の生成の例について説明する。
(2−1.オブジェクト画像の抽出)
図4は、本開示の一実施形態におけるオブジェクト画像について説明するための図である。上述の通り、本実施形態では、画像解析部110が、ソース動画像のフレーム画像から移動しているオブジェクトを抽出することによって、一連のオブジェクト画像を生成する。図4には、ソース動画像210と、解析後の画像220(中間データ)とが示されている。
ソース動画像210は、フレーム画像211を含む。なお、例えばフレームレートが低いような場合には、フレーム画像は連続写真と読み替えられてもよい。図では、1〜16のフレーム画像211が示されている。
一方、解析後の画像220は、オブジェクト画像223を含む。オブジェクト画像223は、例えばソース動画像210の各フレーム画像211から抽出される。より具体的には、オブジェクト画像223は、フレーム画像211から算出される動きベクトルが閾値を超える領域を、それ以外の背景領域から分離した画像であってもよい。図では、FG1〜FG16のオブジェクト画像223が示されている。なお、オブジェクト画像223は、背景画像221(BG:background)に対する前景となることから、前景(FG:foreground)画像とも呼ばれる。
さらに、解析後の画像220は、背景画像221(BG)を含みうる。上述の通り、背景画像221は、例えばいずれかのフレーム画像211から抽出されたオブジェクト以外の領域であってもよく、複数のフレーム画像211から抽出されたオブジェクト画像223以外の領域を合成することによって生成された画像であってもよい。
以下の説明では、図4の例においてソース動画像210から抽出されたオブジェクト画像223および背景画像221を用いて、動画像の生成の例について説明する。なお、フレーム画像211の数は、もちろん図示された16個よりもずっと多くてもよい。これに伴って、オブジェクト画像223もより多く生成されうる。ただし、オブジェクト画像223は必ずしもフレーム画像211と1対1で対応していなくてもよく、例えば複数のフレーム画像211から1つのオブジェクト画像223が抽出されてもよい。
さらに、背景画像221は必ずしも1つだけ生成されなくてもよい。例えばソース動画像210の再生時間が長く、フレーム画像211において背景が大きく変化するような場合には、複数の背景画像221が生成され、オブジェクト画像223に対応するフレーム画像211での背景の変化に合わせて順番に用いられてもよい。
(2−2.動画像の生成)
図5は、本開示の一実施形態における第1の動画像の生成について説明するための図である。上述の通り、本実施形態では、動画像生成部130が、画像取得部120によって取得された一連のオブジェクト画像から複数のオブジェクト画像を選択し、選択された複数のオブジェクト画像のそれぞれが並行的にアニメートされる第1の動画像を生成することが可能である。図5には、生成された第1の動画像の例が示されている。
図示された第1の動画像230は、フレーム画像1〜フレーム画像4を含む。これらのフレーム画像は、時間的に連続したフレーム画像であり、所定のフレームレートで連続的に再生されることによって第1の動画像230を構成する。なお、フレームレートが低い場合、動画像は連続写真と解釈されてもよい。ここでは、フレーム画像1を、第1の動画像230の最初のフレーム画像とする。また、第1の動画像230は、図示された4つのフレーム画像の後にさらに続くフレーム画像を含みうる。
フレーム画像1では、背景画像221(BG)に重畳して、オブジェクト画像223a(FG1),223b(FG4),223c(FG7),223d(FG10),223e(FG13),223f(FG16)が表示される。これらの複数のオブジェクト画像は、一連のオブジェクト画像(図4に示したオブジェクト画像223(FG1〜FG16))から選択されている。また、図示された例では、一連のオブジェクト画像から2つおきにオブジェクト画像が選択されている。
続くフレーム画像2では、同じ背景画像221(BG)に重畳して、FG2,FG5,FG8,FG11,FG14のオブジェクト画像が表示される。これらの複数のオブジェクト画像は、フレーム画像1で表示された複数のオブジェクト画像から、それぞれ(ソース動画像でいう)1フレーム分進んだオブジェクト画像である。同様に、フレーム画像3では、背景画像221(BG)に重畳してFG3,FG6,FG9,FG12,FG15のオブジェクト画像が表示され、フレーム画像4では、背景画像221(BG)に重畳してFG1,FG4,FG7,FG10,FG13,FG16のオブジェクト画像が表示される。
以上で説明したフレーム画像1〜フレーム画像4が連続的に再生されると、フレーム画像1で表示されたオブジェクト画像223a(FG1)は、フレーム画像2〜フレーム画像4において、FG2,FG3,FG4と順次変化して表示される。この変化は、オブジェクト画像223aを始点として一連のオブジェクト画像223を再生した場合に観察される画像の変化と同じである。つまり、第1の動画像230では、オブジェクト画像223aがアニメートされているといえる。本明細書では、時系列に沿って撮像された複数の画像が順次再生されることを、「アニメートされる(animated)」という。フレーム画像の全体がアニメートされた場合、動画像(または連続写真)が再生されることになる。共通の背景画像に重畳されるオブジェクト画像がアニメートされた場合、背景画像の前景になるオブジェクトの領域(領域はオブジェクト画像ごとに異なりうる)の画像が時系列に沿って順次再生されることになる。
同様に、フレーム画像1で表示されていたオブジェクト画像223b,223c,223d,223e(FG4,FG7,FG10,FG13)も、フレーム画像2〜フレーム画像4において、オブジェクト画像223aと同様に順次変化して表示される。従って、図示された例では、第1の動画像230において、一連のオブジェクト画像から選択された複数のオブジェクト画像223a〜223eのそれぞれが並行的にアニメートされているといえる。
なお、これらのオブジェクト画像は、共通する一連のオブジェクト画像から選択されたものであるため、第1の動画像230の再生が進行すると、例えばオブジェクト画像223a(FG1)に続いて表示されるオブジェクト画像が、フレーム画像1ではオブジェクト画像223bとして表示された画像(FG4)に到達する。従って、各フレーム画像におけるオブジェクト画像223の表示は、一連のオブジェクト画像が、複数のオブジェクト画像を始点として並行的にアニメーション表示されたものともいえる。
図6は、本開示の一実施形態において生成される第1の動画像の例を示す図である。図6を参照すると、第1の動画像230では、背景画像221に、複数のオブジェクト画像223a,223b,223c,223d,223e,223fが重畳表示されている。第1の動画像230が再生されると、これらのオブジェクト画像223は同時並行的に動き出す。
例えば、図5に示した例で、フレーム画像4において再びFG1のオブジェクト画像223が表示されていることからもわかるように、第1の動画像230において表示されるオブジェクト画像223は、流れていってしまうのではなく、後から後から繰り返し表示されうる。従って、例えば、図6に示したオブジェクト画像223aが動き出して表示開始時のオブジェクト画像223bに一致した時点で、新たなオブジェクト画像(オブジェクト画像223aと同じ画像)の表示が開始されてもよい。
以上で説明した本開示の一実施形態における第1の動画像では、一連のオブジェクト画像から選択された複数のオブジェクト画像が並行的にアニメートされるため、例えば、一連のオブジェクト画像によって表現されるオブジェクトの動きの特定の部分を観察することが容易になる。単一のオブジェクト画像がアニメートされる動画像の場合、オブジェクトの動きの特定の部分は、一度再生されると、自動的に、またはユーザ操作によって再生が繰り返されるまで再生されることはない。それに対して、上記の第1の動画像では、あるオブジェクト画像がオブジェクトの動きの特定の部分を再生した後、これを追って別のオブジェクト画像が当該部分を再生することが繰り返される。このような動画像は、例えば、スポーツやダンスなどでフォームをチェックしたりする場合に有用でありうる。より具体的には、例えば、図5の例において、フレーム画像1で表示された2つおきのオブジェクト画像223a〜223fが、それぞれ4フレーム分進んだ結果、フレーム画像4では、オブジェクト画像223aに続いて順次表示されるオブジェクト画像がFG4(フレーム画像1ではオブジェクト画像223bとして表示された)に、オブジェクト画像223bに続いて順次表示されるオブジェクト画像がFG7(フレーム画像1ではオブジェクト画像223cとして表示された)に到達する。また、FG4から2つ前のオブジェクト画像(FG1)が新たに表示される(オブジェクト画像223c〜223fについても同様)。この結果、フレーム画像4は、フレーム画像1と同一の画像になっている。また、以降のフレーム画像は、フレーム画像2〜フレーム画像4と同じパターンの繰り返しになる。従って、図5に示した例の第1の動画像230では、ソース動画像では16フレーム分の時間で再生されていたオブジェクトの動きが、3フレーム分の時間で再生されることになる。これによって、例えば、上記のようにユーザがオブジェクトの動きの特定の部分を繰り返し観察することが容易になるとともに、動画像のファイルサイズを削減することができる。より具体的には、図5の例の第1の動画像230では、フレーム画像4以降についてはフレーム画像1〜フレーム画像3を再利用することが可能であるため、単一のオブジェクト画像がアニメートされる動画像であればファイルが16フレーム分のデータを含むところ、3フレーム分のデータで済む。
また、上記の第1の動画像では、例えばオブジェクト画像が人物を表す場合、複数の人物が次々に同じ動作をしているように見えることによって、コミカルなシーンを表現することができる。例えば、動画像生成部130が、操作部170によって取得されたユーザ操作に基づいて動画像を高速再生させたり逆再生させたりすれば、よりコミカルな動画像を生成することが可能でありうる。
(補足)
なお、上記の例では、動画像生成部130が一連のオブジェクト画像から固定された間隔(2つおき)で複数のオブジェクト画像を選択したが、本開示の実施形態はこのような例には限られない。
例えば、動画像生成部130は、ソース動画像におけるオブジェクトの移動速度に応じて、複数のオブジェクト画像を選択するための間隔(例えば時間またはフレーム数)を設定してもよい。より具体的には、例えば、オブジェクトの移動速度が大きい場合、つまり元のオブジェクト画像同士の空間的な間隔が開いている場合には、より短い間隔でオブジェクト画像が選択されてもよい。また、例えば、オブジェクトの移動速度が小さい場合、つまり元のオブジェクト画像同士の空間的な間隔が詰まっている場合には、より長い時間的な間隔でオブジェクト画像が選択されてもよい。これによって、例えば、オブジェクトの移動速度に関わらず、第1の動画像230において表示されるオブジェクト画像の間の距離を、適切な距離(例えば、オブジェクト画像同士が重なりすぎず、かつ間隔が空きすぎない程度の距離)に保つことができる。
また、生成された動画像の再生速度(フレームレート)も、可変でありうる。例えば、上記のように、ユーザ操作に基づく高速再生や逆再生が可能であってもよい。また、動画像生成部130は、ソース動画像の長さに応じて、第1の動画像230の再生速度を設定してもよい。この場合、例えば、ソース動画像が長ければ再生速度が速くなり、ソース動画像が短ければ再生速度が遅くなる。結果として、例えば、ソース動画像の長さに関わらず、同程度の時間で第1の動画像230を再生することができる。
(3.単一のオブジェクト画像がアニメートされる動画像の生成)
次に、図7および図8を参照して、本開示の一実施形態における、単一のオブジェクト画像がアニメートされる動画像(第2の動画像)の生成の例について説明する。なお、動画像の生成に用いられる一連のオブジェクト画像については、第1の動画像の例と同様であるため、詳細な説明を省略する。
図7は、本開示の一実施形態における第2の動画像の生成について説明するための図である。上述の通り、本実施形態では、動画像生成部130が、画像取得部120によって取得された一連のオブジェクト画像から単一のオブジェクト画像を選択し、選択された単一のオブジェクト画像がアニメートされる第2の動画像を生成することが可能である。図7には、生成された第2の動画像の例が示されている。
図示された第2の動画像240は、フレーム画像1〜フレーム画像8を含む。これらのフレーム画像は、時間的に連続したフレーム画像であり、所定のフレームレートで連続的に再生されることによって第2の動画像240を生成する。なお、フレームレートが低い場合、動画像は連続写真と解釈されてもよい。ここでは、フレーム画像1を第2の動画像240の最初のフレーム画像とする。また、第2の動画像240は、図示された8つのフレーム画像の後にさらに続くフレーム画像を含みうる。
フレーム画像1では、背景画像221(BG)に重畳して、オブジェクト画像223a(FG1)が表示される。ここで、単一のオブジェクト画像223aは、一連のオブジェクト画像(図4に示したオブジェクト画像223(FG1〜FG16))から選択されている。
続くフレーム画像2では、同じ背景画像221(BG)に重畳して、FG2のオブジェクト画像が表示される。このオブジェクト画像は、フレーム画像1で表示されたオブジェクト画像から、(ソース動画像でいう)1フレーム分進んだオブジェクト画像である。さらに、FG1のオブジェクト画像も、残像のエフェクトとして引き続き表示されてもよい。同様に、フレーム画像3では、背景画像221(BG)に重畳してFG1,FG3オブジェクト画像が表示され、フレーム画像4では、背景画像221(BG)に重畳してFG1,FG4のオブジェクト画像が表示される。
以上で説明したフレーム画像1〜フレーム画像4が連続的に再生されると、フレーム画像1で表示されたオブジェクト画像223a(FG1)は、フレーム画像2〜フレーム画像4において、FG2,FG3,FG4と順次変化して表示される。この変化は、オブジェクト画像223aを始点として一連のオブジェクト画像223を再生した場合に観察される画像の変化と同じである。つまり、動画像では、オブジェクト画像223aがアニメートされているといえる。
上述した第1の動画像230とは異なり、図7の例に示された第2の動画像240では、アニメートされているのは単一のオブジェクト画像223aだけである。例えば、フレーム画像2〜4以降では、FG1,FG2〜4のオブジェクト画像が同時に表示されているが、FG1のオブジェクト画像は残像のエフェクトとして表示されており、静止している。フレーム画像5以降ではオブジェクト画像223b(FG4)が追加で残像として表示され、フレーム画像7以降ではオブジェクト画像223c(FG7)が追加で残像として表示されるため、フレーム画像8以降では同時に表示されるオブジェクト画像は4つになるが、依然としてアニメートされているのはオブジェクト画像223aから続いて表示されているオブジェクト画像(フレーム画像8ではFG8)だけである。
図8は、本開示の一実施形態において生成される第2の動画像の例を示す図である。図8を参照すると、第2の動画像240では、背景画像221に、オブジェクト画像223a,223b,223cが重畳表示されている。ここで、図示された例は、上記の図7の例におけるフレーム画像7の状態である。後続するフレーム画像では、オブジェクト画像223cが動きだし、破線で示したオブジェクト画像223d,223e,223fに至る。一方、オブジェクト画像223a,223bは、残像のエフェクトとして表示されているため、この後のフレーム画像でも静止している。
以上で説明した本開示の一実施形態における第2の動画像では、一連のオブジェクト画像から選択された単一のオブジェクト画像だけがアニメートされるため、生成された動画像においてオブジェクトの動きの全体が表現されるまでには時間がかかる。その一方で、第2の動画像では、表示されるオブジェクト画像同士が重複しない(上記の例のように残像のエフェクトとして表示されるような場合を除く)ため、例えば単一のオブジェクトがあまり場所を変えずに動いているような場合には適する。従って、以下に説明するように、動画像生成部130および画像出力部140は、例えばユーザ操作に応じて、またはオブジェクトの移動量に応じて、生成および出力される動画像を切り替えてもよい。
例えば、画像生成部130は、ソース動画像におけるオブジェクトの移動量が閾値を超える場合に第1の動画像を生成し、そうでない場合に第2の動画像を生成してもよい。ここで、移動量は、例えば一連のオブジェクト画像の開始から終了までの間(ソース動画像の開始から終了までの間に対応しうる)における、画像内でのオブジェクトの移動量を意味しうる。オブジェクトの移動量が大きい場合には、複数のオブジェクト画像を同時に表示させてアニメートすることによって短い時間でオブジェクトの動きの全体を表現できる第1の動画像が適切である。一方、オブジェクトの移動量が小さい場合には、複数のオブジェクト画像が同時にアニメートされると、かえって重なって見づらくなってしまう可能性がある。従って、そのような場合には、オブジェクト画像を基本的には重複させずに表示する第2の動画像が適切である。
また、例えば、画像生成部130は、ソース動画像にオブジェクトが複数存在する場合には第1の動画像を生成し、そうでない場合には第2の動画像を生成してもよい。オブジェクトが複数存在する場合、例えば図7および図8に示した第2の動画像の例のように、オブジェクト画像の残像をエフェクトとして表示させると、時間的に後のオブジェクト画像が前面に表示され、時間的に前のオブジェクト画像が隠れてしまう。そのような場合に、第1の動画像では、表示される複数のオブジェクト画像がいずれもアニメートされるために、一部の画像がずっと隠れてしまうというようなことがなく、どちらのオブジェクトの画像も視認することができる。
(4.GUIの例)
次に、図9を参照して、本開示の一実施形態におけるGUIの例について説明する。図9は、本開示の一実施形態におけるGUIの例について説明するための図である。
図9を参照すると、端末装置100において表示制御部150が表示部160に表示させるGUI画面300には、スライダ301と、切り替えボタン303と、シークバー307と、再生速度表示309と、エフェクトリスト表示ボタン311と、再撮影ボタン313と、保存/共有ボタン315とが含まれる。GUI画面300に対するユーザの操作入力は、例えば、操作部170に含まれるタッチパネルによって取得される。
スライダ301は、上記の第1の動画像の生成のために設定において、動画像の再生速度の設定と、一連のオブジェクト画像から複数のオブジェクト画像を選択するための間隔の設定とに共用される。例えば、図示された例ではスライダ301が+と−の間のスライダとして示されているが、再生速度の設定に用いられる場合、+側で再生速度を上げ、−側で再生速度を下げることができる。ここで、−側にスライダ301を操作することによって、再生速度を0よりも小さい逆再生領域まで下げることが可能であってもよい。
また、スライダ301が所定の間隔の設定に用いられる場合、+側で間隔を小さくし(より密にオブジェクト画像が表示される)、−側で間隔を大きくする(より疎にオブジェクト画像が表示される)ことができる。あるいは、所定の間隔の設定において、上記の例とは逆に、+側で間隔が大きくなり、−側で間隔が小さくなってもよい。
切り替えボタン303は、スライダ301の機能を、再生速度の設定と所定の間隔の設定との間で切り替えるための操作要素の一例である。図示された例では、切り替えボタン303aが再生速度の設定が選択された状態を示し、切り替えボタン303bが所定の間隔の設定が選択された状態を示す。
別の例として、図9に示されているように、切り替えボタン303が切り替えタブ305によって代替されてもよい。図示された例では、切り替えタブ305aが所定の間隔の設定が選択された状態を示し、切り替えタブ305bが再生速度の設定が選択された状態を示す。
シークバー307は、プレビューされている動画像の再生位置を示す。再生速度表示309は、プレビューされている動画像の再生速度を示す。従って、切り替えボタン303を用いて再生速度の設定機能を選択した上でスライダ301を操作すると、プレビューされている動画像の再生速度が変化し、再生速度表示309が変化する。なお、付加的な構成として、再生速度表示309の両側に表示される方向表示309a(図示された例ではシークバー307に沿った方向を指している)を用いて動画像の再生速度を変更することが可能であってもよい。
エフェクトリスト表示ボタン311は、動画像にかけられる様々なエフェクトを選択するためのリストを表示するためのボタンである。エフェクトには、例えば、上記の第1の動画像(複数のオブジェクト画像が並行的にアニメートされる)と第2の動画像(単一のオブジェクトがアニメートされる)とのユーザ操作による切り替えや、第2の動画像における残像の有無、表示されるオブジェクト画像のフェード加工、オブジェクト画像をアニメートする時間的範囲の設定などが含まれてもよい。
再撮影ボタン313は、プレビューされている動画像を保存または破棄し、新たにソース動画像を撮影するためのボタンである。再撮影ボタン313は、例えば端末装置100が撮像機能を有する場合に表示されうる。
保存/共有ボタン315は、プレビューされている動画像を保存または共有するためのボタンである。保存/共有ボタン315が操作された場合、例えば、端末装置100のストレージ(またはネットワーク上のストレージ)に動画像が保存されるか、通信部180を介して動画像を共有するためのサーバに動画像がアップロードされる。
以上で説明したようなGUIによって、例えば、ユーザは、動画像において並行的にアニメートされる複数のオブジェクト画像の間隔の設定と、動画像の再生速度の設定とを、少ない操作部品を介して実行することができる。この結果、例えば、GUI画面300に表示される操作部品がシンプルになり、プレビューのために動画像が表示される面積を大きくとることができる。
(5.ハードウェア構成)
次に、図10を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図10は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置900は、例えば、上記の実施形態における端末装置を実現しうる。
情報処理装置900は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、情報処理装置900は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。情報処理装置900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置900内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりする。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro-Luminescence)ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置917は、情報処理装置900の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を情報処理装置900に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置900と外部接続機器929との間で各種のデータが交換されうる。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えば情報処理装置900の筐体の姿勢など、情報処理装置900自体の状態に関する情報や、情報処理装置900の周辺の明るさや騒音など、情報処理装置900の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
本開示の実施形態において、情報処理装置900は必ずしもセンサ935を有さなくてもよいが、情報処理装置900がセンサ935を有する場合、例えば動画像の撮像時にGPSを利用して位置情報を記録し、出力画像をアップロードしたりストレージに保存したりするときに、出力画像のファイルに元の動画像の位置情報を添付することができる。また、例えば、加速度センサによって情報処理装置900の筐体の姿勢を検出し、GUIとして表示される画像の表示方向や操作子のレイアウトを決定することができる。また、図15に示したように表示オブジェクト画像に傾きのエフェクトを加えるときに、加速度センサまたはジャイロセンサによって検出された情報処理装置900の筐体の傾きをエフェクトに反映させてもよい。
以上、情報処理装置900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
(6.補足)
上記の実施形態では、端末装置が画像取得部、動画像生成部、および画像出力部などを備える画像処理装置として機能する例について説明したが、本開示の実施形態はこのような例には限られない。例えば、画像処理装置の機能は、ネットワーク上の1または複数の情報処理装置を含むサーバによって実現されてもよい。この場合、例えば、サーバは、端末装置から受信したソース動画像について画像解析を実行して一連のオブジェクト画像を抽出し、一連のオブジェクト画像から複数のオブジェクト画像を選択し、複数の表示オブジェクト画像が並行的にアニメートされる動画像を生成して、プレビュー画像として端末装置に送信する。サーバは、端末装置から受信した操作入力に応じてアニメートされる複数のオブジェクト画像の再選択、再生速度の変更などを実行し、新たなプレビュー画像を端末装置に送信してもよい。さらに、サーバは、端末装置から受信した操作入力に応じて、生成された動画像の保存または送信などを実行する。
本開示の実施形態は、例えば、上記で説明したような画像処理装置、システム、画像処理装置またはシステムで実行される画像処理方法、画像処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)ソース動画像のフレーム画像から移動しているオブジェクトを抽出することによって生成される一連のオブジェクト画像を取得する画像取得部と、
前記一連のオブジェクト画像から選択された複数のオブジェクト画像のそれぞれが並行的にアニメートされる第1の動画像を生成する動画像生成部と、
前記生成された動画像を出力する画像出力部と
を備える画像処理装置。
(2)前記動画像生成部は、前記第1の動画像、または前記一連のオブジェクト画像から選択された単一のオブジェクト画像がアニメートされる第2の動画像のいずれかを選択的に生成する、前記(1)に記載の画像処理装置。
(3)前記動画像生成部は、前記オブジェクトの移動量が閾値を超える場合に前記第1の動画像を生成する、前記(2)に記載の画像処理装置。
(4)前記動画像生成部は、前記オブジェクトが複数存在する場合に前記第1の動画像を生成する、前記(2)または(3)に記載の画像処理装置。
(5)前記動画像生成部は、前記一連のオブジェクト画像から所定の間隔で前記複数のオブジェクト画像を選択する、前記(1)〜(4)のいずれか1項に記載の画像処理装置。
(6)前記動画像生成部は、前記所定の間隔を前記オブジェクトの移動速度に応じて設定する、前記(5)に記載の画像処理装置。
(7)前記動画像生成部は、前記所定の間隔をユーザ操作に応じて設定する、前記(5)に記載の画像処理装置。
(8)前記動画像生成部は、前記第1の動画像の再生速度をユーザ操作に応じて設定する、前記(1)〜(7)のいずれか1項に記載の画像処理装置。
(9)前記動画像生成部は、逆再生領域を含む範囲で前記再生速度を設定する、前記(8)に記載の画像処理装置。
(10)前記再生速度を設定するためのユーザ操作を受け付けるGUI(Graphical User Interface)を表示部に表示させる表示制御部をさらに備える、前記(8)または(9)に記載の画像処理装置。
(11)前記動画像生成部は、ユーザ操作に応じて設定される所定の間隔で前記一連のオブジェクト画像から前記複数のオブジェクト画像を選択し、
前記GUIは、さらに、前記所定の間隔を設定するためのユーザ操作を受け付け、前記再生速度の設定および前記所定の間隔の設定に共用されるスライダと、前記スライダの機能を切り替えるための操作要素とを含む、前記(10)に記載の画像処理装置。
(12)前記動画像生成部は、前記第1の動画像の再生速度を前記ソース動画像の長さに応じて設定する、前記(1)〜(7)のいずれか1項に記載の画像処理装置。
(13)ソース動画像のフレーム画像から移動しているオブジェクトを抽出することによって生成される一連のオブジェクト画像を取得することと、
プロセッサが、前記一連のオブジェクト画像から選択された複数のオブジェクト画像のそれぞれが並行的にアニメートされる第1の動画像を生成することと、
前記生成された動画像を出力することと
を含む画像処理方法。
(14)ソース動画像のフレーム画像から移動しているオブジェクトを抽出することによって生成される一連のオブジェクト画像を取得する機能と、
前記一連のオブジェクト画像から選択された複数のオブジェクト画像のそれぞれが並行的にアニメートされる第1の動画像を生成する機能と、
前記生成された動画像を出力する機能と
をコンピュータに実現させるためのプログラム。
100 端末装置
110 画像解析部
120 画像取得部
130 動画像生成部
140 画像出力部
150 表示制御部
160 表示部
170 操作部
180 通信部

Claims (14)

  1. ソース動画像のフレーム画像から移動しているオブジェクトを抽出することによって生成される一連のオブジェクト画像を取得する画像取得部と、
    前記一連のオブジェクト画像から選択された複数のオブジェクト画像のそれぞれが並行的にアニメートされる第1の動画像を生成する動画像生成部と、
    前記生成された動画像を出力する画像出力部と
    を備える画像処理装置。
  2. 前記動画像生成部は、前記第1の動画像、または前記一連のオブジェクト画像から選択された単一のオブジェクト画像がアニメートされる第2の動画像のいずれかを選択的に生成する、請求項1に記載の画像処理装置。
  3. 前記動画像生成部は、前記オブジェクトの移動量が閾値を超える場合に前記第1の動画像を生成する、請求項2に記載の画像処理装置。
  4. 前記動画像生成部は、前記オブジェクトが複数存在する場合に前記第1の動画像を生成する、請求項2に記載の画像処理装置。
  5. 前記動画像生成部は、前記一連のオブジェクト画像から所定の間隔で前記複数のオブジェクト画像を選択する、請求項1に記載の画像処理装置。
  6. 前記動画像生成部は、前記所定の間隔を前記オブジェクトの移動速度に応じて設定する、請求項5に記載の画像処理装置。
  7. 前記動画像生成部は、前記所定の間隔をユーザ操作に応じて設定する、請求項5に記載の画像処理装置。
  8. 前記動画像生成部は、前記第1の動画像の再生速度をユーザ操作に応じて設定する、請求項1に記載の画像処理装置。
  9. 前記動画像生成部は、逆再生領域を含む範囲で前記再生速度を設定する、請求項8に記載の画像処理装置。
  10. 前記再生速度を設定するためのユーザ操作を受け付けるGUI(Graphical User Interface)を表示部に表示させる表示制御部をさらに備える、請求項8に記載の画像処理装置。
  11. 前記動画像生成部は、ユーザ操作に応じて設定される所定の間隔で前記一連のオブジェクト画像から前記複数のオブジェクト画像を選択し、
    前記GUIは、さらに、前記所定の間隔を設定するためのユーザ操作を受け付け、前記再生速度の設定および前記所定の間隔の設定に共用されるスライダと、前記スライダの機能を切り替えるための操作要素とを含む、請求項10に記載の画像処理装置。
  12. 前記動画像生成部は、前記第1の動画像の再生速度を前記ソース動画像の長さに応じて設定する、請求項1に記載の画像処理装置。
  13. ソース動画像のフレーム画像から移動しているオブジェクトを抽出することによって生成される一連のオブジェクト画像を取得することと、
    プロセッサが、前記一連のオブジェクト画像から選択された複数のオブジェクト画像のそれぞれが並行的にアニメートされる第1の動画像を生成することと、
    前記生成された動画像を出力することと
    を含む画像処理方法。
  14. ソース動画像のフレーム画像から移動しているオブジェクトを抽出することによって生成される一連のオブジェクト画像を取得する機能と、
    前記一連のオブジェクト画像から選択された複数のオブジェクト画像のそれぞれが並行的にアニメートされる第1の動画像を生成する機能と、
    前記生成された動画像を出力する機能と
    をコンピュータに実現させるためのプログラム。
JP2013254031A 2013-12-09 2013-12-09 画像処理装置、画像処理方法およびプログラム Pending JP2015114694A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013254031A JP2015114694A (ja) 2013-12-09 2013-12-09 画像処理装置、画像処理方法およびプログラム
US14/526,645 US9600160B2 (en) 2013-12-09 2014-10-29 Image processing device, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013254031A JP2015114694A (ja) 2013-12-09 2013-12-09 画像処理装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2015114694A true JP2015114694A (ja) 2015-06-22

Family

ID=53271832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013254031A Pending JP2015114694A (ja) 2013-12-09 2013-12-09 画像処理装置、画像処理方法およびプログラム

Country Status (2)

Country Link
US (1) US9600160B2 (ja)
JP (1) JP2015114694A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021061001A (ja) * 2020-11-25 2021-04-15 株式会社ニコン 表示装置
JP7467642B2 (ja) 2019-12-30 2024-04-15 北京字節跳動網絡技術有限公司 画像処理方法及び装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD776713S1 (en) * 2014-12-17 2017-01-17 Rgi Informatics, Llc Display device with a timeline graphical user interface
US11334228B1 (en) * 2015-03-30 2022-05-17 Evernote Corporation Dynamic targeting of preferred objects in video stream of smartphone camera

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001054607A (ja) 1999-08-19 2001-02-27 Ifu:Kk ゴルフスイングフォーム記録再生装置
US6636220B1 (en) * 2000-01-05 2003-10-21 Microsoft Corporation Video-based rendering
CA2372602A1 (en) * 2000-04-07 2001-10-18 Inmotion Technologies Ltd. Automated stroboscoping of video sequences
JP4608139B2 (ja) 2001-06-29 2011-01-05 日本放送協会 画像合成方法及び画像合成装置
JP4131929B2 (ja) 2002-12-03 2008-08-13 株式会社東芝 オブジェクト画像合成方法
DE602005010915D1 (de) 2005-07-12 2008-12-18 Dartfish Sa Verfahren zur analyse der bewegung einer person während einer aktivität
US7973805B1 (en) * 2006-11-17 2011-07-05 Pixar Methods and apparatus for invising objects in computer animation
JP4483962B2 (ja) 2008-03-25 2010-06-16 ソニー株式会社 撮像装置、撮像方法
JP5402148B2 (ja) 2009-03-27 2014-01-29 カシオ計算機株式会社 画像合成装置、画像合成方法及びプログラム
JP5732717B2 (ja) 2009-11-30 2015-06-10 株式会社ニコン 電子カメラ
JP2012004739A (ja) 2010-06-15 2012-01-05 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP2012099876A (ja) 2010-10-29 2012-05-24 Sanyo Electric Co Ltd 画像処理装置、撮像装置、画像処理方法、プログラム
WO2014194488A1 (en) * 2013-06-05 2014-12-11 Intel Corporation Karaoke avatar animation based on facial motion data

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7467642B2 (ja) 2019-12-30 2024-04-15 北京字節跳動網絡技術有限公司 画像処理方法及び装置
JP2021061001A (ja) * 2020-11-25 2021-04-15 株式会社ニコン 表示装置

Also Published As

Publication number Publication date
US20150162049A1 (en) 2015-06-11
US9600160B2 (en) 2017-03-21

Similar Documents

Publication Publication Date Title
JP7095722B2 (ja) 情報処理装置およびプログラム
JP7138201B2 (ja) ビデオ撮影方法、装置、端末機器及び記憶媒体
TWI579838B (zh) 編譯視訊的自動產生
WO2014155877A1 (ja) 画像処理装置、画像処理方法およびプログラム
TW201545120A (zh) 自動產生編譯視訊
KR101655078B1 (ko) 움직이는 사진 생성 방법 및 장치
TWI595408B (zh) 電子元件及在其中進行操作的方法
JP2012099876A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP6149862B2 (ja) 表示制御装置、表示制御システムおよび表示制御方法
JP2015114694A (ja) 画像処理装置、画像処理方法およびプログラム
JP2011217125A (ja) 画像処理装置、画像処理方法およびプログラム
JP2018148272A (ja) 撮像装置、画像処理装置、撮像方法およびプログラム
JP2016110676A (ja) 動画編集装置
US20150281586A1 (en) Method and apparatus for forming a video sequence
US10984248B2 (en) Setting of input images based on input music
JP6640595B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6632360B2 (ja) 情報処理装置
JP6166070B2 (ja) 再生装置および再生方法
JP5289527B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法
JP2015111371A (ja) 情報処理装置、情報処理方法およびプログラム
JP6968454B2 (ja) 画像処理装置、画像処理方法、プログラム、および、システム
JP2019096950A5 (ja)
JP5249805B2 (ja) 画像合成システム及び画像合成方法
JP2016019138A (ja) 画像処理装置、方法及びプログラム
KR101545328B1 (ko) 이미지에 감성 효과를 부가할 수 있는 기능을 갖는 이동통신 단말기 및 그 동작 방법