JP2016119590A - 動画サーバ装置及びシーン抽出プログラム - Google Patents

動画サーバ装置及びシーン抽出プログラム Download PDF

Info

Publication number
JP2016119590A
JP2016119590A JP2014258690A JP2014258690A JP2016119590A JP 2016119590 A JP2016119590 A JP 2016119590A JP 2014258690 A JP2014258690 A JP 2014258690A JP 2014258690 A JP2014258690 A JP 2014258690A JP 2016119590 A JP2016119590 A JP 2016119590A
Authority
JP
Japan
Prior art keywords
moving image
information
video
digest
server device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014258690A
Other languages
English (en)
Inventor
竜次 河合
Tatsuji Kawai
竜次 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2014258690A priority Critical patent/JP2016119590A/ja
Publication of JP2016119590A publication Critical patent/JP2016119590A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】動画投稿サービスにおいて投稿された動画情報の内容を短時間でユーザに把握させる動画サーバ装置及びシーン抽出プログラムを提供する。【解決手段】動画情報中、相対的に動きが少ない第1部分と、動画情報中、相対的に動きが多い第2部分とを抽出する抽出処理と、抽出処理で抽出した動画情報中の第1部分と第2部分とを繋ぎ合わせたダイジェスト動画情報を、情報処理装置で再生可能に送信するダイジェスト動画送信処理と、を実行する。【選択図】図9

Description

本発明は、投稿された動画情報を視聴可能に提供することのできる動画サーバ装置、及び、動画情報から、動画情報の選択となる一部シーンを抽出することのできるシーン抽出プログラムに関する。
インターネットでは種々の情報のやりとりを行うことが可能である。従来、容量の大きい動画情報も、インターネット回線の大容量化、高速化に伴い、通常のユーザが気軽に扱うことのできる環境が整っている。このような環境を利用し、ユーザが動画情報をアップロードし、不特定多数の者にストリーミング配信等を利用して、動画情報を閲覧させることのできる動画投稿サービスが提供されている。このような動画投稿サービスでは、取り扱う動画情報数、すなわち、ユーザが視聴できる動画情報の数は、日を追う毎に増加している。
特許文献1には、映像を途中から視聴した視聴者が途中までの経緯等を把握することができるよう、過去の見所シーンを集めたダイジェスト映像を、人手による編集作業によらず、自動的に生成して配信することのできる映像配信サーバについて開示されている。
特開2012−49875号公報
こうした動画投稿サービスにおいて問題になるのは、ユーザが大量に投稿されている動画を選好することの難しさである。現在、動画投稿サービスでは、投稿された動画情報に対応づけて、動画情報の一静止画像(サムネイル画像)を表示する手法がとられているが、一静止画像のみでは、動画情報の内容はほとんど把握できない。したがって、動画情報を実際に再生してみるまでは、自分の嗜好する動画情報であるか否かが分からない。
また、動画投稿サービスでは、ユーザが見たい動画を自主的に選ぶ能動的な視聴スタイルに頼っているため、TV放送のように、ひとまずTVの前に座って漫然と視聴し続け、気に入ったコンテンツにだけ注目するという受動的な視聴スタイルを取ることができない。このため、TV放送の役割(目的のないひまつぶし、対象を定めないままの視聴)を補完することができないでいた。
そのため、本発明に係る動画サーバ装置は以下の構成を採用するものである。
情報処理装置とネットワークで通信接続された動画サーバ装置であって、
動画情報中、相対的に動きが少ない第1部分と、前記動画情報中、相対的に動きが多い第2部分とを抽出する抽出処理と、
前記抽出処理で抽出した前記動画情報中の前記第1部分と前記第2部分とを繋ぎ合わせたダイジェスト動画情報を、前記情報処理装置で再生可能に送信するダイジェスト動画送信処理と、を実行可能としたことを特徴とする。
さらに本発明に係る動画サーバ装置において、
前記動画情報は、H.264規格による動画圧縮方式で圧縮され、
前記抽出処理は、前記H.264規格におけるIスライスの出現頻度に基づいて、前記第1部分と前記第2部分とを抽出することを特徴とする。
さらに本発明に係る動画サーバ装置は、
情報処理装置から前記動画情報を受信する受信処理を実行可能とし、
前記抽出処理は、前記受信処理において動画情報を受信している期間に実行することを特徴とする。
さらに本発明に係る動画サーバ装置において、
前記ダイジェスト動画情報は、前記第1部分と前記第2部分を、前記動画情報中の出現順に繋ぎ合わせたことを特徴とする。
さらに本発明に係る動画サーバ装置において、
前記ダイジェスト動画送信処理は、複数の前記動画情報について、その前記ダイジェスト動画情報を連続して、前記情報処理装置に再生可能に送信することを特徴とする。
さらに本発明に係る動画サーバ装置は、
前記ダイジェスト動画送信処理期間中、前記情報処理装置から動画指定指示を受信した場合、再生している前記ダイジェスト動画情報に対応する前記動画情報を、前記情報処理装置に再生可能に送信することを特徴とする。
また本発明に係るシーン抽出プログラムは、
動画情報中、相対的に動きが少ない第1部分と、前記動画情報中、相対的に動きが多い第2部分とを抽出する抽出処理と、
前記抽出処理で抽出した前記動画情報中の前記第1部分と前記第2部分とを繋ぎ合わせたダイジェスト動画情報を形成するダイジェスト動画送信処理と、をコンピュータに実行させることを可能としたことを特徴とする。
本発明に係る動画サーバ装置によれば、情報処理装置でダイジェスト動画情報を視聴可能とすることで、情報処理装置を使用するユーザは、ダイジェスト動画情報に基づいて自分の嗜好に即した動画情報を選択することが可能となる。特に、ダイジェスト動画情報は、動画情報中、相対的に動きが少ない第1部分と、前記動画情報中、相対的に動きが多い第2部分とを繋ぎ合わせたものであるため、動画情報の概要を短い時間でユーザに把握させることが可能である。
さらに本発明に係る動画サーバ装置によれば、H.264規格による動画圧縮方式で圧縮された動画情報を使用し、Iスライスの出現頻度に基づいて、第1部分と第2部分を抽出することで、動画サーバ装置における複雑な動画解析を必要とせず、動画サーバ装置に対する負担を抑え、ダイジェスト動画情報に必要な部分を抽出することが可能となる。
さらに本発明に係る動画サーバ装置によれば、Iスライスの出現頻度を使用した抽出処理では、複雑な動画解析を必要とすることなく抽出処理を行うことが可能である。したがって、情報処理装置から動画情報を受信する受信期間中に、当該動画情報に対する抽出処理を実行することで、迅速にダイジェスト動画情報を送信可能な状態にすることが可能となる。
さらに本発明に係る動画サーバ装置によれば、第1部分と第2部分を、動画情報中の出現順に繋ぎ合わせたダイジェスト動画情報とすることで、動画情報のストーリー性を反映し、より内容を把握しやすいダイジェスト動画情報を形成することが可能となる。なお、ダイジェスト動画情報は、このような形態のみならず、第1部分、第2部分の順に繋ぎ合わせる、あるいは、第2部分、第1部分の順に繋ぎ合わせることも可能である。
さらに本発明に係る動画サーバ装置によれば、複数の動画情報について、そのダイジェスト動画情報を連続して、情報処理装置で視聴することが可能となる。したがって、情報処理装置を使用して視聴するユーザは、動画情報を能動的に選択する必要が無く、連続して再生されるダイジェスト動画情報を、漫然と視聴し続ける、いわゆる従来のTV放送のような視聴形態を取ることが可能となる。
さらに本発明に係る動画サーバ装置によれば、ダイジェスト動画情報を漫然と視聴し続ける中、気に入ったダイジェスト動画情報を見つけた場合、情報処理装置を操作し、動画サーバ装置に対して動画指定指示を送信することで、視聴対象とする動画情報の全体を視聴することが可能となる。
また本発明に係るシーン抽出プログラムは、動画情報中、相対的に動きが少ない第1部分と、前記動画情報中、相対的に動きが多い第2部分とを繋ぎ合わせることで、動画情報の内容を短い時間でユーザに把握させることのできるダイジェスト動画情報を形成することが可能である。
本実施形態の動画投稿に関するシステム全体を説明するための図 本実施形態の携帯端末の構成を示す図 本実施形態の動画ファイルのデータ構成を示す図 本実施形態の動画サーバ装置で実行するアップロード処理を示すフロー図 本実施形態の第1オンライン動画解析処理を示すフロー図 本実施形態の第2オンライン動画解析処理を示すフロー図 本実施形態のダイジェスト動画再生位置の抽出を説明するための図 本実施形態のトップページ表示処理を示すフロー図 本実施形態のWebブラウザに表示されたトップ画面を示す図 本実施形態の個別動画再生処理を示すフロー図
図1は、本実施形態の動画投稿に関するシステム全体を説明するための図である。動画投稿サービスを提供する業者は、インターネットに通信接続可能な動画サーバ装置1を設置している。また、インターネットを利用するユーザは、個人が所有する各種情報処理装置をインターネットに接続して、動画ファイルを含む投稿情報を動画サーバ装置1にアップロード(送信)、あるいは、動画サーバ装置1の投稿データベース11に記憶する投稿情報を視聴(ストリーミング再生)する。図1の例では、携帯端末2を使用する投稿ユーザにより、投稿情報がアップロードされ、PC3(パーソナルコンピュータ)を使用する視聴ユーザにより投稿情報をストリーミング再生する形態が示されている。投稿情報のアップロードまたは視聴は、このような形態のみならず、各種情報処理装置を使用して行うことが可能である。
本実施形態の動画サーバ装置1は、TCP/IPの通信プロトコルに基づき、インターネットを介して接続された携帯端末2と通信を行うことが可能である。また、動画サーバ装置1は、Apache等、HTTPサーバプログラムによりサーバ機能を有し、さらに、HTTPサーバプログラム上で動画投稿用のWebサイトプログラムが動作することで、投稿情報のアップロード、及び、ストリーミング再生等、動画投稿サービスを行うための各種処理を実行することが可能である。特に、本実施形態では、HTTPサーバプログラムにおいて、シーン抽出プログラムを実行可能としている。このシーン抽出プログラムは、動画ファイルを含む投稿情報が、動画サーバ装置1に送信(アップロード)されるときに、投稿情報に含まれる動画ファイルからダイジェスト映像の位置を抽出するプログラムであって、クライアント(図1の場合、携帯端末2)からのアクセスによって起動するCGIソフトウェア等によって構成される。
携帯端末2から動画サーバ装置1に投稿情報をアップロードした際、このシーン抽出プログラムが動作し、投稿情報に含まれる動画ファイルからダイジェスト再生位置情報を抽出する。特に、本実施形態では、アップロードする期間中に、シーン抽出プログラムが動作することで、部分的に受信する動画ファイルを解析し、ダイジェスト再生位置情報の抽出に必要な情報を取得することで、迅速にダイジェスト再生位置情報を抽出することを可能としている。動画サーバ装置1にアップロードされた投稿情報は、動画サーバ装置1内の記憶部に記憶する投稿データベースに登録される。その際、シーン抽出プログラムで抽出したダイジェスト位置情報も併せて登録される。また、投稿情報には、動画ファイルをアップロードした投稿ユーザの投稿ユーザID(識別情報)、動画タイトル、投稿日時、コンテンツID(識別情報)などがメタ情報として併せて登録される。なお、投稿情報が視聴可能となった後には、メタ情報には再生回数などが記録される。
一方、投稿ユーザあるいは視聴ユーザが使用する情報処理装置(携帯端末2やPC3)は、TCP/IPの通信プロトコルに基づき、インターネット上の動画サーバ装置1と通信を行うことが可能である。これら情報処理装置は、HTTP上で動作するWebブラウザを使用し、動画サーバ装置1が提供する投稿情報の視聴、あるいは、動画サーバ装置1への投稿情報のアップロードを行うことが可能である。
次に、投稿ユーザ、あるいは、視聴ユーザが使用する情報処理装置の1つとして、携帯端末2を例にとって、その構成を説明する。図2は、本実施形態の携帯端末2の構成を示す図である。図1では投稿情報のアップロードに使用する例を示したが、携帯端末2を使用して投稿情報の視聴に使用することも可能である。
本実施形態の携帯端末2は、制御部21、RAM22、記憶部23、画像処理部24、音響処理部26を含んで構成された制御手段を有している。記憶部23には、ハードディスク、SSD等の不揮発性の記憶手段を採用することが可能である。この記憶部23には、本実施形態における各種処理を実行可能なプログラム、そして、当該プログラムで使用する各種データが記憶される。
制御部21は、CPU等、携帯端末2の全体を統括して制御する手段であり、記憶部23に記憶されたプログラム、データに基づいて各種制御を実行する。RAM22には、制御部21の制御によって生成されたデータを一時的に格納する。
音響処理部26は、携帯端末2の音響関係の入出力を行う手段である。制御部21の制御によりスピーカ27aに放音させる手段である。また、音響処理部26は、マイクロホン27bと接続され、マイクロホン27bから周囲の音声を取り込み可能としている。
タッチパネル表示部28は、画像を表示する表示部28bとその表面あるいは裏面に配設されるタッチパネル28aを有して構成されている。タッチパネル28aには、静電容量方式などユーザのタッチ位置を認識可能とする各種タイプを採用することが可能である。制御部21は、表示部28bに表示を行うとともに、タッチパネル28aからのタッチ入力にて、表示させている画像中のどの部分にタッチ入力されたかを判定することが可能である。
画像処理部24は、携帯端末2の画像関係の入出力を行う手段である。画像処理部24は、制御部21で形成された画像情報を表示部28bに表示出力する。また画像処理部24は、携帯端末2の前面(タッチパネル表示部28側)に配置されたフロントカメラ25F、もしくは、携帯端末2の背面に配置されたリアカメラ25Rから画像を取り込む機能を有する。
通信部29は、携帯無線網を介した無線通信を行うことが可能であり、無線基地局と無線通信することで、通話、あるいは、インターネットを使用した通信を行うことが可能である。特に、本実施形態では、記憶部23に記憶されているWebブラウザプログラムを使用し、通信部29を介して動画サーバ装置1と通信接続することで、動画サーバ装置1に対する動画投稿、もしくは、動画サーバ装置1の投稿データベース11に記憶する投稿動画の閲覧を行うことが可能となっている。なお、携帯端末2における動画投稿、投稿動画の閲覧はWebブラウザプログラムではなく、動画投稿、投稿動画の閲覧に特化した専用のプログラムを使用することも可能である。通信部29には、無線LAN通信手段、あるいは、近距離通信手段(赤外線通信、Bluetooth(商標)など)の近距離通信手段をさらに設けることとしてもよい。
本実施形態の携帯端末2は、入力手段としてタッチパネル28a以外に入力スイッチ70を備えて構成されている。この入力スイッチ70には、電源スイッチ、音量調整スイッチ、実行するプログラムによって入力用途が変更されるスイッチ等、各種スイッチを設けることが可能である。
このような携帯端末2を使用し、撮影した動画情報を、動画サーバ装置1へアップロードする、もしくは、動画サーバ装置1が提供する投稿情報を視聴することが可能である。投稿に使用する動画ファイルは、リアカメラ25Rで撮像することで得られたもの、あるいは、外部のデジタルカメラなどを使用して得られたものを、外部入力端子31や外部メモリEXから取り込んで使用することが可能である。
図3は、本実施形態の動画ファイルのデータ構成を示す図である。本実施形態の動画ファイルは、H.264規格に基づいて形成された情報であり、本実施形態では、そのファイル名に、動画サーバ装置1にアップロードされた際、付与されたコンテンツIDを使用している。動画ファイルは、H.264規格を使用して圧縮されたビデオ系のプログラム要素(PES)と、AAC等の規格を使用して圧縮されたオーディオ系のプログラム要素(PES)を含んで構成される。本実施形態のシーン抽出プログラムは、動画ファイルの映像に基づいて、ダイジェスト再生位置情報を抽出するため、ここではビデオ系のプログラム要素(PES)のみについて説明を行う。
動画ファイルを構成するビデオ系のプログラム要素(PES)は、再生時刻を規定するPTS(タイムスタンプ)が付与された複数のPESパケットを含んで構成されている。また、ビデオ系のプログラム要素(PES)には、PESパケットに対応するネットワーク抽象レイヤ(NAL)が対応付けられている。ネットワーク抽象レイヤ(NAL)は、複数種のNALユニット(シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、スライス)を含んで構成されている。本実施形態では、これら各種NALユニットの内、スライスを使用する。スライスは、スライスタイプ(ST)を規定したスライスヘッダ(SH)、スライスデータ(SD)、マクロブロック(MB)を含んで構成される。特に、本実施形態では、スライス中のスライスタイプ(「P」、「B」、「I」の何れか)を参照することで、動画ファイル全体の中で、相対的に動きが少ないシーン(第1部分)と、相対的に動きが多いシーン(第2部分)の検出を行うこととしている。ネットワーク抽象レイヤ(NAL)は、複数のプログラム要素(PES)の集合から形成されるため、図3においては便宜上、複数のプログラム要素(PES)上にNALがまたがる形式で図示している。
図4は、本実施形態の動画サーバ装置1で実行するアップロード処理を示すフロー図である。アップロード処理は、投稿ユーザが所持する携帯端末2などの各種情報処理装置から、動画サーバ装置1に投稿情報が送信(アップロード)された際、動画サーバ装置1において実行される処理である。投稿ユーザは情報処理装置を使用し、動画サーバ装置1が提供するWebサイトにアクセスして、動画ファイルを含む投稿情報を送信(アップロード)する。投稿ユーザは、所持する情報処理装置を使用して、動画サーバ装置1が提供するWebサイト上において、投稿する動画ファイルを選択する(S101)。その際、投稿ユーザは動画タイトルを入力する(S102)。入力された動画タイトルは、メタ情報として投稿情報に対応付けられる。
本実施形態では、動画ファイルは、HTTP転送を使用して動画サーバ装置1に送信される(S103〜S106)。なお、動画ファイルの送信には、HTTP転送に限られるものでは無く、FTP転送等、各種プロトコルを使用することが可能である。その場合、動画サーバ装置1には、使用するプロトコルに応じたシステム環境が必要とされる。HTTP転送では、動画ファイルを複数のパケットに分割して送信を行う。動画サーバ装置1は、受信した動画ファイルの一部分(部分動画ファイル)をRAMなどの一時記憶手段に記憶させる(S104)。そして、一時記憶手段に記憶させた部分動画ファイルについて第1オンライン動画解析処理(S200)を実行する。この第1オンライン動画解析処理は、ダイジェスト動画再生位置情報を抽出するための前処理的に相当し、動画サーバ装置1のシーン抽出プログラムで実行される。第1オンライン動画解析処理の詳細については後で詳しく説明を行う。このように本実形態のシーン抽出プログラムは、動画ファイルのアップロード期間中に、ダイジェスト動画再生位置情報を抽出するのに必要な処理の一部を実行することで、動画ファイルがアップロードされた後、迅速にダイジェスト動画を配信可能としている。また、処理を時間的に分散にて行うことが可能であるため、動画ファイルがアップロードされた後にダイジェスト動画再生位置情報を抽出する場合と比較して、動画サーバ装置1の負荷を軽減することも可能となる。
HTTP転送による動画ファイルの転送が終了する(S105)と、動画サーバ装置1は、第1オンライン動画解析処理(S200)の処理結果に基づいて、ダイジェスト動画再生位置情報を最終的に算出する第1オンライン動画解析処理(S300)を実行する。その後、アップロードされた動画ファイル、投稿に関するメタ情報、そして、第2オンライン動画解析処理(S300)で算出されたダイジェスト動画再生位置情報を投稿データベース11に登録する。登録時には、ダイジェスト再生位置情報を含んでいるため、動画サーバ装置1にアクセスしたユーザは、直ちに投稿された動画ファイルのダイジェスト版を視聴することが可能となる。
図5は、本実施形態の第1オンライン動画解析処理(S200)を示すフロー図である。第1オンライン動画解析処理は、動画ファイルのアップロード期間中、動画サーバ装置1で受信した部分動画ファイルに対して行われる処理である。本実施形態では、H.264規格を使用して圧縮された動画ファイル中、各PESパケットのスライスタイプを集計する。図3で説明したように、PESパケットのスライスタイプは、ネットワーク抽象レイヤを参照することで容易に集計することが可能である。したがって、動画ファイルのアップロードが完了、すなわち、全ての部分動画ファイルのアップロードが完了した時点でスライスタイプの集計を終えることが可能である。本実施形態では、動画ファイル全体の中で、相対的に動きが少ないシーン(第1部分)と、相対的に動きが多いシーン(第2部分)をダイジェスト動画として抽出するため、3つのスライスタイプ(「P」、「B」、「I」)中、Iスライスについて集計を行うこととしている。H.264規格の動画圧縮では、前後のフレーム間の類似性が無くなるとIスライスが多く発生する。したがって、Iスライスが頻繁に発生した場合、映像の動きが激しい部分と推定でき、Iスライスの発生が少ない場合、映像の動きが少ないと推定できる。
第1オンライン動画解析処理(S200)では、新たに受信した部分動画ファイルから、ビデオ系のプログラム要素(PES)を取り出し(S201)、さらに、その中に含まれるPESパケットを取り出す(S202)。そして、取り出したPESパケットに含まれるタイムスタンプ値を取り出す(S203)。また、受信した部分動画ファイルから、タイムスタンプ値に対応するNALユニットを取り出す(S204)。取り出したNALユニットがスライスではない場合(S205:No)、及び、スライスであってIスライスで無い場合(S206:No)、当該NALユニットは無視される(S207)。一方、NALユニット中のスライスタイプ(ST)がIスライスの場合、S203で取り出したタイムスタンプ値を、Iスライス再生時位置としてIスライスの集計に追加する(S208)。このように、動画ファイルのアップロード期間中に、第1オンライン動画解析処理を繰り返し、行うことで、Iスライス再生時位置に対応するIスライスの発生回数が集計される。図7(A)、(B)に示すグラフ中の実線は、Iスライスの集計結果を示したものであり、横軸は動画ファイルの再生時間(Iスライスの発生時位置に相当)であり、縦軸はIスライスの1秒あたりの発生回数を示した例である。
動画ファイルのアップロードが完了すると、動画サーバ装置1は、第1オンライン動画解析処理(S200)の集計結果を使用して、第2オンライン動画解析処理(S300)を実行し、ダイジェスト再生位置情報を算出する。図6は、本実施形態の第2オンライン動画解析処理(S300)を示すフロー図である。本実施形態では動画ファイルのファイル名にコンテンツIDを使用して管理を行うため、アップロードされた動画ファイルのファイル名を、動画サーバ装置1側で投稿情報に割り当てたコンテンツIDに書き換える(S301)。そして、第1オンライン動画解析処理(S200)の解析結果から、Iスライスの移動平均を算出する(S302)。図7(A)のグラフ中には、Iスライスの発生回数の移動平均が一点鎖線で示されている。そして、Iスライスの発生回数(実線)と移動平均(一点鎖線)を比較して、負の最大乖離位置、すなわち、Iスライスの移動平均(一点鎖線)に対し、Iスライスの発生回数(実線)が最も大きく下回る位置を探索する(S303)。図7(A)の例では、D1の位置(02分48秒)がこれに相当する。負の最大乖離位置(02分48秒)から5秒後(02分53秒)までを、相対的に動きの少ないシーンAとしてダイジェスト再生位置情報に記録する(S304)。
次に、Iスライスの発生回数(実線)と移動平均(一点鎖線)を比較して、正の最大乖離位置、すなわち、Iスライスの移動平均(一点鎖線)に対し、Iスライスの発生回数(実線)が最も大きく上回る位置を探索する(S305)。図7(A)の例では、D2の位置(01分51秒)がこれに相当する。正の最大乖離位置(01分51秒)から5秒後(01分56秒)までを、相対的に動きの多いシーンBとしてダイジェスト再生位置情報に記録する(S306)。そして、シーンAとシーンBについて、再生時間上での順番を検証する(S307)。シーンAとシーンBの再生位置が逆順、すなわち、シーンAに対し、シーンBが前に位置している場合(S307:Yes)、ダイジェスト動画の再生時には、シーンBが先に再生されるように正順に戻す(S308)。このように、シーンAとシーンBについて、ダイジェスト動画の再生時の順番を適正化することで、ダイジェスト動画の視聴時において、動画の内容をより把握しやすくすることが可能となる。ダイジェスト再生位置情報には、コンテンツIDが併せて記録される。
このように形成したダイジェスト再生位置情報を使用してダイジェスト動画を再生することで、視聴ユーザは、短時間で動画ファイルの概要を把握し、自分の嗜好する動画であるか否かを判断することが可能となる。なお、相対的に動きの少ないシーンA、相対的に動きの多いシーンBの抽出について、図7(A)の例では、移動平均との差に基づいて行うこととしているが、他の各種形態を採用することが可能である。図7(B)の例は、Iスライスの発生回数(実線)移動平均に代え、Iスライスの発生回数(実線)の平均を使用した形態となっている。相対的に動きの少ないシーンAは、負の最大乖離位置を含む区間とし、相対的に動きの多いシーンBは、正の最大乖離位置を含む区間としている。図7(B)についても、図7(A)と同様、各シーンについて所定期間(例えば、5秒)の区間としているが、シーンの時間長は固定長に限られるものではない。例えば、負(あるいは正の)最大乖離量に基づいて、シーンA(あるいはシーンB)の時間長を変更してもよい。あるいは、負の最大乖離量と正の最大乖離量に基づいて、シーンAとシーンBの時間長の割合(ダイジェスト動画全体の時間長は固定)を変更することとしてもよい。このように第2オンライン動画解析処理で形成されたダイジェスト再生位置情報は、投稿データベース11に登録され、投稿情報の内容を把握するダイジェスト動画を再生するために使用される。
なお、本実施形態では、動画サーバ装置1において、投稿される動画ファイルに対して、シーン抽出プログラム(第1オンライン動画解析処理、及び、第2オンライン動画解析処理)を実行することとしているが、シーン抽出プログラムは、動画サーバ装置1のみならず、ダイジェスト動画を作成するため、パーソナルコンピュータなどの各種情報処理装置(コンピュータ)で実行可能なプログラムとして提供されるものであってもよい。
次に、動画サーバ装置1に登録された動画ファイルの視聴について説明する。図1で説明したように、動画サーバ装置1に登録された投稿情報中の動画ファイルは、インターネットに接続されたPC3などの各種情報処理装置で視聴することが可能である。情報処理装置では、Webブラウザなどプログラムを起動して動画サーバ装置1にアクセスする。図8には、情報処理装置によりアクセスされた動画サーバ装置1におけるトップページ表示処理を示すフロー図が示されている。
PC3などの情報処理装置を使用して、動画サーバ装置1にアクセスした場合、動画サーバ装置1は、アクセスしてきた情報処理装置にトップページを表示させる(S401)。図9には、動画サーバ装置1にアクセスしたPC3の表示部に表示されたWebブラウザ上のトップページの例が示されている。本実施形態のトップページには、ダイジェスト動画選択領域308と個別動画選択領域309を有している。ダイジェスト動画選択領域308は、ダイジェスト動画を再生表示するダイジェスト動画表示欄304、再生表示されているダイジェスト動画に関連する情報を表示する関連情報表示欄(図9の例では、ダイジェスト動画の動画タイトル302と投稿ユーザ名303を表示)、再生表示されているダイジェスト動画について、動画の全編を視聴するための視聴ボタン305を有して構成されている。
一方、個別動画選択領域309は、視聴ユーザが動画(全編)を選択することが可能な領域であって、動画毎にサムネイル画像309a〜309fの表示領域が設けられている。また、視聴ユーザは検索文字入力欄306に文字を入力し、検索ボタン307を操作することで、視聴したい動画を検索することも可能である。
トップページ表示処理では、このような構成のトップページを表示(S401)した後、各領域について、処理Aと処理Bを並行処理する。処理Aは、個別動画選択領域309に関する処理であり、動画サーバ装置1は、トップページに動画に対応するサムネイル画像309a〜309fを表示させる(S402)。個別動画選択領域309で選択可能とする動画は、視聴ユーザの視聴履歴に基づいて、動画サーバ装置1が視聴ユーザの嗜好度が高い動画とするなど各種形態を採用することが可能である。個別動画選択領域309内において、何れかのサムネイル画像が選択された場合(S403:Yes)、選択されたサムネイル画像に対応する動画を選択(S404)し、並列処理を終了する。そして、選択された動画について個別動画再生処理(S500)を実行する。検索文字入力欄306、検索ボタン307を使用した動画検索の場合も略同様であって、トップページには入力した検索文字に対応するサムネイル画像が表示され、その中で選択されたサムネイル画像に対応する動画について個別動画再生処理(S500)が実行される。
図10は、本実施形態の個別動画再生処理(S500)を示すフロー図である。本実施形態の個別動画再生処理(S500)では、視聴ユーザが、個別動画選択領域309あるいはダイジェスト動画選択領域308を使用して、指定した動画の全編を再生する処理であり、本実施形態では、トップページから個別再生ページへとページ遷移(S501)して、指定された動画の全編(最初から最後まで)を通常再生する(S502)。動画サーバ装置1は、動画の再生が終了後、指定された動画に対応するメタ情報内の再生回数をカウントアップする。動画の再生回数は、投稿された動画の人気度合いを示す指標となり、例えば、後に説明するダイジェスト動画の再生順の決定などに使用することが可能である。動画サーバ装置1は、個別動画再生処理(S500)が終了すると、再度、トップページを表示させる(S401)。
一方、ダイジェスト動画選択領域308に対しては、動画サーバ装置1は、投稿情報の再生回数を使用して、複数のダイジェスト動画をダイジェスト動画表示欄304に順次表示させる。動画サーバ装置1は、投稿データベース11に記憶する複数の投稿情報について、メタ情報に含まれる再生回数を参照し、再生回数の多い順に投稿情報をソートし、ダイジェスト再生処理(S406〜S412)を実行する。ダイジェスト再生処理では、ソートした投稿情報について、再生回数の多い投稿情報を1件取り出し(S407)、取り出した投稿情報に含まれるダイジェスト再生位置を取り出す(S408)。そして動画ファイル中、ダイジェスト再生位置が示す区間をダイジェスト動画情報として、情報処理装置に送出(ストリーミング送信)する(S409)。送出されたダイジェスト動画情報は、情報処理装置のダイジェスト動画表示欄304に表示される。前述したようにダイジェスト再生位置が示す区間は、動画ファイル中、相対的に動きが激しい第1部分と、動きが少ない部分を含んでいるため、視聴ユーザは、ダイジェスト動画を視聴することで、動画の概要を把握し、自分が視聴したい動画か否かを判断することが可能である。
視聴ユーザにより、視聴ボタン305が操作された場合(S410:Yes)には、再生中のダイジェスト動画に対応する動画を選択(S411)し、並列処理を終了する。そして、選択された動画について個別動画再生処理(S500)を実行する。一方、ダイジェスト動画の再生期間中に視聴ボタン305の操作が無かった場合(S410:No)には、ソートされた投稿情報中、次に再生回数が多い動画についてダイジェスト再生を実行する。このように本実施形態では、複数の動画について順次、ダイジェスト動画を行うことで、視聴ユーザは動画を選択する必要なく、いわば、TV放送のチャンネルをザッピングしているような感覚でダイジェスト動画を視聴することが可能となる。そして、興味あるダイジェスト動画が再生された場合、視聴ボタン305を操作することで、個別動画再生処理(S400)にて、ダイジェスト動画の全編を視聴することが可能となる。
本実施形態では、投稿データベース11中、再生回数の順位で投稿情報をソートし、再生回数の多い順にダイジェスト動画を再生することとしているが、再生するダイジェスト動画の選択は、このような形態に限られるものではなく、ランダムに選択する、視聴ユーザの嗜好に基づくカテゴリー内で選択するなど、各種形態を採用することが可能である。また、本実施形態では、視聴ボタン305を操作することで、ダイジェスト動画表示欄304に再生表示されている動画を選択することとしているが、このような場合、ダイジェスト動画表示欄304での再生が終了すると、当該ダイジェスト動画に対応する動画を選択することができなくなってしまい、視聴ボタン305の操作が間に合わない状況が考えられる。したがって、ダイジェスト動画表示欄304にて再生表示させた動画については、視聴ボタン305以外の手段で選択できるようにすることが好ましい。例えば、過去に再生された所定回数分のダイジェスト動画に対応するサムネイル画像などを表示させ、視聴ユーザが選択できるようにしておくことが考えられる。視聴ユーザによって、サムネイル画像が選択されることで、対応する動画について個別動画再生処理(S500)が実行される。
1…動画サーバ装置 28b…表示部
11…投稿データベース 29…通信部
2…携帯端末 30…入力スイッチ
2…携帯端末(情報処理装置) 31…外部入力端子
3…PC(情報処理装置) 32…外部メモリ接続端子
21…制御部 301…Webブラウザ
22…RAM 302…動画タイトル
23…記憶部 303…投稿ユーザ名
24…画像制御部 304…ダイジェスト動画表示欄
25F…フロントカメラ 305…視聴ボタン
25R…リアカメラ 306…検索文字入力欄
26…音響処理部 307…検索ボタン
27a…スピーカ 308…ダイジェスト動画選択領域
27b…マイクロホン 309…個別動画選択領域
28…タッチパネル表示部 309a〜309f…サムネイル画像
28a…タッチパネル

Claims (7)

  1. 情報処理装置とネットワークで通信接続された動画サーバ装置であって、
    動画情報中、相対的に動きが少ない第1部分と、前記動画情報中、相対的に動きが多い第2部分とを抽出する抽出処理と、
    前記抽出処理で抽出した前記動画情報中の前記第1部分と前記第2部分とを繋ぎ合わせたダイジェスト動画情報を、前記情報処理装置で再生可能に送信するダイジェスト動画送信処理と、を実行可能としたことを特徴とする
    動画サーバ装置。
  2. 前記動画情報は、H.264規格による動画圧縮方式で圧縮され、
    前記抽出処理は、前記H.264規格におけるIスライスの出現頻度に基づいて、前記第1部分と前記第2部分とを抽出することを特徴とする
    請求項1に記載の動画サーバ装置。
  3. 情報処理装置から前記動画情報を受信する受信処理を実行可能とし、
    前記抽出処理は、前記受信処理において動画情報を受信している期間に実行することを特徴とする
    請求項1または請求項2に記載の動画サーバ装置。
  4. 前記ダイジェスト動画情報は、前記第1部分と前記第2部分を、前記動画情報中の出現順に繋ぎ合わせたことを特徴とする
    請求項1から請求項3の何れか1項に記載の動画サーバ装置。
  5. 前記ダイジェスト動画送信処理は、複数の前記動画情報について、その前記ダイジェスト動画情報を連続して、前記情報処理装置に再生可能に送信することを特徴とする
    請求項1から請求項3の何れか1項に記載の動画サーバ装置。
  6. 前記ダイジェスト動画送信処理期間中、前記情報処理装置から動画指定指示を受信した場合、再生している前記ダイジェスト動画情報に対応する前記動画情報を、前記情報処理装置に再生可能に送信することを特徴とする
    請求項5に記載の動画サーバ装置。
  7. 動画情報中、相対的に動きが少ない第1部分と、前記動画情報中、相対的に動きが多い第2部分とを抽出する抽出処理と、
    前記抽出処理で抽出した前記動画情報中の前記第1部分と前記第2部分とを繋ぎ合わせたダイジェスト動画情報を形成するダイジェスト動画送信処理と、をコンピュータに実行させることを可能としたことを特徴とする
    シーン抽出プログラム。
JP2014258690A 2014-12-22 2014-12-22 動画サーバ装置及びシーン抽出プログラム Pending JP2016119590A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014258690A JP2016119590A (ja) 2014-12-22 2014-12-22 動画サーバ装置及びシーン抽出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014258690A JP2016119590A (ja) 2014-12-22 2014-12-22 動画サーバ装置及びシーン抽出プログラム

Publications (1)

Publication Number Publication Date
JP2016119590A true JP2016119590A (ja) 2016-06-30

Family

ID=56243222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014258690A Pending JP2016119590A (ja) 2014-12-22 2014-12-22 動画サーバ装置及びシーン抽出プログラム

Country Status (1)

Country Link
JP (1) JP2016119590A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019122027A (ja) * 2018-11-09 2019-07-22 株式会社Zeppelin 撮像動画サービスシステム、撮像動画表示方法、通信端末装置、及びコンピュータプログラム
CN111031889A (zh) * 2017-08-24 2020-04-17 富士胶片株式会社 医疗图像处理装置及医疗图像处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009141882A (ja) * 2007-12-10 2009-06-25 Fujifilm Corp 撮像装置及びその画像自動選択方法
JP2010102393A (ja) * 2008-10-21 2010-05-06 Kddi Corp 索引ビデオ生成装置、動画像検索装置及び動画像検索システム
JP2010187374A (ja) * 2009-01-15 2010-08-26 Victor Co Of Japan Ltd 要約映像生成装置および要約映像生成方法
JP2012156808A (ja) * 2011-01-26 2012-08-16 Panasonic Corp 画像伝送システムおよび画像再生装置
WO2014050092A1 (ja) * 2012-09-28 2014-04-03 パナソニック株式会社 映像管理方法および映像管理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009141882A (ja) * 2007-12-10 2009-06-25 Fujifilm Corp 撮像装置及びその画像自動選択方法
JP2010102393A (ja) * 2008-10-21 2010-05-06 Kddi Corp 索引ビデオ生成装置、動画像検索装置及び動画像検索システム
JP2010187374A (ja) * 2009-01-15 2010-08-26 Victor Co Of Japan Ltd 要約映像生成装置および要約映像生成方法
JP2012156808A (ja) * 2011-01-26 2012-08-16 Panasonic Corp 画像伝送システムおよび画像再生装置
WO2014050092A1 (ja) * 2012-09-28 2014-04-03 パナソニック株式会社 映像管理方法および映像管理システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111031889A (zh) * 2017-08-24 2020-04-17 富士胶片株式会社 医疗图像处理装置及医疗图像处理方法
CN111031889B (zh) * 2017-08-24 2022-04-05 富士胶片株式会社 医疗图像处理装置及医疗图像处理方法
JP2019122027A (ja) * 2018-11-09 2019-07-22 株式会社Zeppelin 撮像動画サービスシステム、撮像動画表示方法、通信端末装置、及びコンピュータプログラム

Similar Documents

Publication Publication Date Title
EP3123437B1 (en) Methods, apparatus, and systems for instantly sharing video content on social media
US8346014B2 (en) Image processing apparatus and method and program
US20100253764A1 (en) Method and system for customising live media content
CN105580013A (zh) 通过搜索多个用户评论并将其覆盖到内容中来浏览视频
JP2011053833A (ja) 情報処理装置及び情報処理方法
KR20060025518A (ko) 디지털 비디오 컨텐트를 대화방식의 관점에서 저작하기위한 방법 및 장치
KR20050087877A (ko) 디지털 비디오 컨텐트의 대화방식 네트워크 공유를 위한방법 및 장치
WO2014052191A1 (en) Systems and methods for identifying objects displayed in a media asset
US9137560B2 (en) Methods and systems for providing access to content during a presentation of a media content instance
JP2013535733A (ja) 検索のためのキーワードの取得
TW201206166A (en) Linking real time media context to related applications and services
JP2016119590A (ja) 動画サーバ装置及びシーン抽出プログラム
TW201436577A (zh) 基於精彩片段的影音播放系統及其方法
KR101679199B1 (ko) 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법
TWI526059B (zh) 一種選擇影片片段之方法及裝置
JP2024026035A (ja) コンピュータプログラム、端末及びサーバ
TWI475423B (zh) 互動系統及調查方法
KR101686425B1 (ko) 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법
JP2015504633A (ja) マルチメディア資産を表示する方法、関連するシステム、メディアクライアント、および関連するメディアサーバ
KR20150064613A (ko) 영상 표시 기기 및 그의 동작 방법
JP5888382B2 (ja) ユーザへのコンテンツ推薦方法、ユーザへのコンテンツ推薦システム及びコンピュータ読取可能な記録媒体
JP5818323B2 (ja) 映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラム
KR102157396B1 (ko) 정지 이미지 또는 동영상을 이용하는 연관 서비스 제공 시스템 및 방법
JP6720957B2 (ja) ユーザへのコンテンツ提供方法、情報処理装置、及び、コンピュータ読取可能な記録媒体
KR20160041038A (ko) 핫 씬 서비스 시스템, 핫 씬 서비스 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170921

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180313