JP7447422B2 - 情報処理装置およびプログラム - Google Patents

情報処理装置およびプログラム Download PDF

Info

Publication number
JP7447422B2
JP7447422B2 JP2019184288A JP2019184288A JP7447422B2 JP 7447422 B2 JP7447422 B2 JP 7447422B2 JP 2019184288 A JP2019184288 A JP 2019184288A JP 2019184288 A JP2019184288 A JP 2019184288A JP 7447422 B2 JP7447422 B2 JP 7447422B2
Authority
JP
Japan
Prior art keywords
video
information
text information
added
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019184288A
Other languages
English (en)
Other versions
JP2021061519A (ja
Inventor
正和 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2019184288A priority Critical patent/JP7447422B2/ja
Priority to US16/858,740 priority patent/US11700429B2/en
Priority to CN202010491301.4A priority patent/CN112702658A/zh
Publication of JP2021061519A publication Critical patent/JP2021061519A/ja
Priority to US18/319,491 priority patent/US12028583B2/en
Application granted granted Critical
Publication of JP7447422B2 publication Critical patent/JP7447422B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Circuits (AREA)

Description

本発明は、情報処理装置およびプログラムに関する。
特許文献１には、コンテンツ表示領域及び字幕表示領域を含む表示画面の表示を制御する表示制御部と、字幕表示領域に対する第１の操作が検出されると、コンテンツ表示領域に対する第１の操作が検出されたときに実行される第１の処理と異なる第２の処理を行うための操作と認識する操作認識部と、を備え、第１の操作は、ドラッグ操作であり、第２の処理は、再生速度の変更処理である情報処理装置が開示されている。
特許文献２には、画面上における操作体の位置変化を検出する位置変化検出部と、コンテンツの再生状態を制御する再生状態制御部と、コンテンツの再生中の経過時間と関連付けられたテキストデータが経過時間順に並べられたテキストリストの一部又は全てを、画面上に少なくとも表示させる表示制御部と、を備え、操作体の連続的な位置変化は、画面上に表示されたテキストリストのテキストデータの並びの方向である第１軸方向と垂直な第２軸方向への操作体の移動である、第２軸方向へのドラッグ動作を含み、再生状態制御部は、表示制御部によって表示されたテキストリスト上での、位置変化検出部によって検出された操作体の連続的な位置変化が第２軸方向へのドラッグ動作であるか否かに応じて、異なる制御によりコンテンツの再生状態を変更する情報処理装置が開示されている。
特許第６０４４５５３号公報 特許第６２１７６４５号公報
動画に字幕が付与されている場合に、字幕の一覧を表示し、字幕一覧の中から対応する字幕を選択することにより、選択された字幕に対応する箇所から動画を再生するようにする場合がある。
この場合に、動画の字幕等の文字情報が含まれている箇所から動画を再生することができるが、文字情報が含まれていない箇所からは動画を再生することができなかった。
本発明の目的は、動画に付与された文字情報の一覧表示から再生箇所を選択する際に、文字情報が含まれていない箇所を、動画の再生箇所として選択することが可能な情報処理装置およびプログラムを提供することである。
［情報処理装置］
請求項１に係る本発明は、
ユーザの操作により、下の動画が視認できる程度の透過性で動画上に重ねて表示される字幕領域に、動画に付与された文字情報の一覧を、前記文字情報と、前記文字情報が付与されていない動画の区間の再生時間に応じた数の空白行と、を連結させて前記文字情報又は前記空白行を選択可能な状態で表示するよう制御する表示制御手段と、
前記文字情報が付与された動画を再生する際に、表示された前記一覧において選択された前記文字情報又は前記空白行に対応した再生時刻から動画を再生する再生手段と、
を備えた情報処理装置である。
請求項２に係る本発明は、
動画に付与された文字情報の一覧を、文字情報が付与されていない箇所も選択可能な状態で表示するよう制御する表示制御手段と、
文字情報が付与された動画を再生する際に、表示された前記一覧において選択された箇所に対応した再生時刻から動画を再生する再生手段と、を備え、
前記表示制御手段は、文字情報が付与されていない動画の区間に対応した選択対象情報を文字情報の一覧表示に挿入することにより、文字情報が付与されていない箇所も選択可能な状態で動画に付与された文字情報の一覧を表示し、前記文字情報には、動画に付与されている字幕情報と、動画に含まれている背景文字情報とが含まれる情報処理装置である。
請求項３に係る本発明は、前記表示制御手段は、文字情報の一覧表示に前記選択対象情報を挿入する際に、動画に前記字幕情報が付与されておらず前記背景文字情報が予め設定された条件以上変化した箇所に、前記選択対象情報を他の箇所よりも多く挿入する請求項２記載の情報処理装置である。
請求項４に係る本発明は、前記表示制御手段は、文字情報の一覧表示に前記選択対象情報を挿入する際に、動画に前記字幕情報が付与されておらず動画のシーンが予め設定された条件以上変化した箇所に、前記選択対象情報を他の箇所よりも多く挿入する請求項２記載の情報処理装置である。
［プログラム］
請求項５に係る本発明は、
ユーザの操作により、下の動画が視認できる程度の透過性で動画上に重ねて表示される字幕領域に、動画に付与された文字情報の一覧を、前記文字情報と、前記文字情報が付与されていない動画の区間の再生時間に応じた数の空白行と、を連結させて前記文字情報又は前記空白行を選択可能な状態で表示するよう制御するステップと、
前記文字情報が付与された動画を再生する際に、表示された前記一覧において選択された前記文字情報又は前記空白行に対応した再生時刻から動画を再生するステップと、
をコンピュータに実行させるためのプログラムである。
請求項１に係る本発明によれば、動画に付与された文字情報の一覧表示から再生箇所を選択する際に、文字情報が含まれていない箇所を、動画の再生箇所として選択することが可能な情報処理装置を提供することができる。
請求項２に係る本発明によれば、動画に付与された文字情報の一覧表示から再生箇所を選択する際に、文字情報が含まれていない箇所を、動画の再生箇所として選択することが可能な情報処理装置を提供することができる。
請求項２に係る本発明によれば、動画に付与された文字情報の一覧表示から再生箇所を選択する際に、動画に背景文字が含まれる場合であっても、文字情報が含まれていない箇所を、動画の再生箇所として選択することが可能な情報処理装置を提供することができる。
請求項３に係る本発明によれば、動画に付与された文字情報の一覧表示から再生箇所を選択する際に、字幕情報が含まれていないページの切替え箇所を、動画の再生箇所として選択することが可能な情報処理装置を提供することができる。
請求項４に係る本発明によれば、動画に付与された文字情報の一覧表示から再生箇所を選択する際に、字幕情報が含まれていない動画の切替え箇所を、動画の再生箇所として選択することが可能な情報処理装置を提供することができる。
請求項５に係る本発明によれば、動画に付与された文字情報の一覧表示から再生箇所を選択する際に、文字情報が含まれていない箇所を、動画の再生箇所として選択することが可能なプログラムを提供することすることができる。
本発明の一実施形態のマルチメディアコンテンツ生成システムの構成を示すシステム図である。 本発明の一実施形態における編集処理サーバ１０のハードウェア構成を示すブロック図である。 本発明の一実施形態における編集処理サーバ１０の機能構成を示すブロック図である。 本発明の一実施形態の編集処理サーバ１０における処理の概略を示すフローチャートである。 本発明の一実施形態の編集処理サーバ１０における空白行生成処理の概略を説明するための図である。 端末装置２０に表示される表示画面の一例を示す図である。 端末装置２０に表示される表示画面の一例を示す図である。 端末装置２０に表示される表示画面の一例を示す図である。 端末装置２０に表示される表示画面の一例を示す図である。 端末装置２０に表示される表示画面の一例を示す図である。 端末装置２０に表示される表示画面の一例を示す図である。 端末装置２０に表示される表示画面の一例を示す図である。
次に、本発明の実施の形態について図面を参照して詳細に説明する。
図１は本発明の一実施形態のマルチメディアコンテンツ生成システムの構成を示すシステム図である。
本発明の一実施形態のマルチメディアコンテンツ生成システムは、図１に示されるように、ネットワーク３０により相互に接続された編集処理サーバ１０およびパーソナルコンピュータ（以下、パソコンと略す。）等の端末装置２０により構成される。
本実施形態のマルチメディアコンテンツ生成システムは、動画、静止画、音声、文字、自動翻訳等の様々なコンテンツを組み合わせたマルチメディアコンテンツを生成するものである。本実施形態のマルチメディアコンテンツ生成システムによれば、例えば、動画に字幕を挿入して、字幕が挿入された位置から動画を再生したり、字幕が挿入されていない位置から動画を再生するようなマルチメディアコンテンツを生成することができる。
ここで、字幕とは、映画やテレビ等の動画において、解説、会話、翻訳等の情報を、画面の中に文字を用いて表示したものをいい、字幕は、字幕情報として、端末装置２０と編集処理サーバ１０との間で送受信することができる。
編集処理サーバ１０は、このような様々なコンテンツを編集してマルチメディアコンテンツを生成するための編集ソフトウェアがインストールされている情報処理装置である。そして、端末装置２０は、動画を取り込み、編集処理サーバ１０上で動作する編集ソフトウェアを用いて、マルチメディアコンテンツを生成する。
なお、このような編集ソフトウェアを編集処理サーバ１０にインストールするのではなく、パソコン等の端末装置２０に直接インストールして使用することも可能である。
次に、本実施形態のマルチメディアコンテンツ生成システムにおける編集処理サーバ１０のハードウェア構成を図２に示す。
編集処理サーバ１０は、図２に示されるように、ＣＰＵ１１、メモリ１２、ハードディスクドライブ（ＨＤＤ）等の記憶装置１３、ネットワーク３０を介して端末装置２０等の外部の装置等との間でデータの送信及び受信を行う通信インタフェース（ＩＦ）１４、タッチパネル又は液晶ディスプレイ並びにキーボードを含むユーザインタフェース（ＵＩ）装置１５を有する。これらの構成要素は、制御バス１６を介して互いに接続されている。
ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された制御プログラムに基づいて所定の処理を実行して、編集処理サーバ１０の動作を制御する。なお、本実施形態では、ＣＰＵ１１は、メモリ１２または記憶装置１３内に格納された制御プログラムを読み出して実行するものとして説明するが、当該プログラムをＣＤ－ＲＯＭ等の記憶媒体に格納してＣＰＵ１１に提供することも可能である。
図３は、上記の制御プログラムが実行されることにより実現される編集処理サーバ１０の機能構成を示すブロック図である。
本実施形態の編集処理サーバ１０は、図３に示されるように、データ通信部３１と、制御部３２と、データ格納部３３とを備えている。
データ通信部３１は、端末装置２０との間でネットワーク３０を介したデータ通信を行っている。
制御部３２は、編集処理サーバ１０の動作を制御していて、取得部４１、検出部４２、空白行生成部４３、表示制御部４４、ユーザ操作受付部４５及び再生部４６を備えている。
データ格納部３３は、編集処理を行おうとする動画データ等の各種コンテンツデータを格納している。
表示制御部４４は、端末装置２０において表示される画面の制御を行っている。
取得部４１は、動画から文字情報を取得する。ここで、文字情報には、動画に付与されている字幕情報と、動画に含まれている背景文字情報とが含まれる。ここで、背景文字情報とは、動画に背景として含まれている文字情報であって、例えば、動画中のスライド資料等である。
検出部４２は、動画から文字情報が付与されていない区間を検出する。具体的には、検出部４２は、動画の文字情報が付与されていない区間が、予め設定された値以上である場合に、文字情報なし区間として検出し、予め設定された値未満である場合には、文字情報なし区間として検出しない。例えば、検出部４２は、動画の文字情報が付与されていない区間が１０秒以上の場合に、文字情報なし区間として検出し、１０秒未満の場合に、文字情報なし区間として検出しない。ここで、文字情報が付与されていない区間は、字幕終了時刻から次の字幕開始時刻までの時間である。
空白行生成部４３は、検出部４２により検出された文字情報なし区間のある時間長を１行分とし、検出された文字情報なし区間を空白行１行分の時間長で割り、対応する空白行の行数を算出し、算出された行数分の空白行を生成する。例えば、１０秒を空白行１行分の時間長とすると、検出された文字情報なし区間が３０秒である場合には、空白行生成部４３は、３０÷１０＝３を算出し、３行分の空白行を生成する。
つまり、表示制御部４４は、文字情報が付与されていない動画の区間の再生時間に応じた数の空白行を文字情報の一覧表示に挿入して表示する。
そして、表示制御部４４は、取得部４１により取得された文字情報と、空白行生成部４３により生成された空白行と、を連結して文字情報の一覧を表示するように制御する。ここで、空白行は、ユーザ操作受付部４５により選択可能な選択対象情報として機能する。
つまり、表示制御部４４は、取得部４１により取得された文字情報と、文字情報が付与されていない動画の区間の再生時間に応じた数の空白行に基づいて、文字情報の一覧を表示するよう制御する。
表示制御部４４は、動画に付与された文字情報の一覧を、文字情報が付与されていない箇所も選択可能な状態で表示するよう制御する。
表示制御部４４は、文字情報が付与されていない動画の区間に対応した空白行を文字情報の一覧表示に挿入することにより、文字情報が付与されていない箇所も選択可能な状態で動画に付与された文字情報の一覧を表示するよう制御する。
また、表示制御部４４は、文字情報の一覧表示に空白行を挿入する際に、動画に字幕情報が付与されておらず背景文字情報が予め設定された条件以上変化した箇所に、空白行を他の箇所よりも多く挿入する。
また、表示制御部４４は、文字情報の一覧表示に空白行を挿入する際に、動画に字幕情報が付与されておらず動画のシーンが予め設定された条件以上変化した箇所に、空白行を他の箇所よりも多く挿入するよう制御する。
ユーザ操作受付部４５は、動画に付与された文字情報の一覧において、ユーザにより選択された箇所を受け付ける。
再生部４６は、文字情報が付与された動画を再生する際に、表示された文字情報の一覧において、ユーザ操作受付部４５により受け付けた箇所に対応した再生時刻から動画を再生する。
次に、本実施形態のマルチメディアコンテンツ生成システムにおける編集処理サーバ１０の動作について図面を参照して詳細に説明する。
先ず、編集処理サーバ１０における動作の概略を図４及び図５のフローチャートを参照して説明する。ここでは、動画から文字情報として動画に付与されている字幕情報を取得する場合を用いて説明する。
先ず、ステップＳ１０において、取得部４１が、動画から字幕情報を取得する。具体的には、テキストデータ等の字幕情報が付されている動画から字幕情報を取得する。
そして、ステップＳ１１において、検出部４２が、動画から字幕情報が付与されていない区間を検出する。具体的には、検出部４２は、字幕終了時刻から次の字幕開始時刻までの時間が１０秒以上か否かを判定する。つまり、検出部４２は、字幕情報が付与されていない区間が１０秒以上であるか否かを判断する。
そして、検出部４２は、字幕終了時刻から次の字幕開始時刻までの時間が１０秒未満の場合には、ステップＳ１０の処理へ戻る。
また、検出部４２は、字幕終了時刻から次の字幕開始時刻までの時間が１０秒以上、つまり、字幕情報が付与されていない区間が１０秒以上の場合には、ステップＳ１２において、後述する空白行生成処理を行う。
そして、ステップＳ１３において、空白行生成部４３は、ステップＳ１２において算出された行数分の空白行を挿入する。つまり、表示制御部４４は、字幕情報が付与されていない動画の区間の再生時間に応じた数の空白行を文字情報の一覧表示に挿入して表示する。
次に、ステップＳ１２の空白行生成処理について説明する。
先ず、ステップＳ２０において、空白行生成部４３は、検出部４２により字幕情報が付与されていない字幕なし区間の長さＧ１を算出する。具体的には、字幕終了時刻から次の字幕開始時刻までの時間Ｇ１を算出する。
そして、ステップＳ２１において、空白行生成部４３は、字幕なし区間の長さＧ１を、空白行１行当たりの長さＵで割った商Ｑ１を算出する。
そして、ステップＳ２２において、字幕なし区間の長さＧ１を、空白行１行当たりの長さＵで割り切れたか否かを判断する。
そして、ステップＳ２２において割り切れたと判断されると、ステップＳ２３において、空白行の数はＱ１と判断されて、上述したステップＳ１３の処理へ進む。
また、ステップＳ２２において割り切れないと判断されると、ステップＳ２４において、空白行の数はＱ１＋１と判断されて、上述したステップＳ１３の処理へ進む。
次に、端末装置２０の表示画面上の操作について図６～図９を用いて説明する。
図６に示すように、端末装置２０の表示画面の下方には、字幕情報等を表示する字幕領域５０が表示されている。
そして、字幕領域５０をタップすると、動画の再生が一時停止され、図７に示すように字幕領域５０が縦方向に拡がる。字幕領域５０は、端末装置２０の表示画面の全領域まで拡げることができる。字幕領域５０は、下の動画が視認できる程度の一定の透過性をもって動画上に重ねて表示される。ここで、タップとは、表示画面を、指やタッチペン等で軽くたたく等、指等で触れる操作をいう。
字幕領域５０には、図７に示すように、取得部４１により取得された字幕情報５２と、空白行生成部４３により生成された空白行５３と、が時系列順に連結された文字情報の一覧が表示される。つまり、字幕がない区間が空白行５３として表示される。また、字幕がない区間の再生時間に応じた数の空白行５３が、文字情報の一覧表示に挿入されて表示される。空白行５３は、字幕がない区間に対応した選択対象情報として用いられる。つまり、空白行５３を選択することにより、字幕がない区間の所望の位置から再生を開始できる。また、字幕領域５０は、上述したように透過性をもって動画上に重ねて表示されるため、該当する動画のサムネイルを確認しながら、所望の位置から再生を開始できる。
そして、この一時停止状態で、字幕領域５０内で上にスワイプすることにより次の文字情報の一覧が表示され、字幕領域５０内で下にスワイプすることにより前の文字情報の一覧が表示される。ここで、スワイプとは、表示画面に触れた状態で指等を滑らせる操作をいう。
そして、字幕領域５０に表示された文字情報の一覧において、字幕情報５２の所定位置をタップすることにより、タップされた字幕情報に対応する再生位置から動画を再生することができる。
また、字幕領域５０に表示された文字情報の一覧において、空白行５３を選択してタップすることにより、図８に示すようなタップされた空白行に対応する再生位置から動画を再生することができる。
また、この一時停止状態で、図８に示すように、字幕領域５０内の任意の位置をタップすることにより、図９に示すように、字幕領域５０が予め設定されたサイズに縮小され、該当位置から動画を再生することができる。つまり、字幕情報５２がない区間であっても、端末装置２０の表示画面には、縮小された字幕領域５０が表示されており、字幕領域５０をタップすることで、文字情報の一覧を表示させることができる。
つまり、字幕情報が含まれている箇所から動画を再生することができ、字幕情報が含まれていない箇所からも動画を再生することができる。
次に、動画に文字情報として背景文字情報が含まれている場合の端末装置２０の表示画面上の操作について図１０及び図１１を用いて説明する。
図１０に示すように、動画が、スライド資料やホワイトボード等を用いて行われる講義等である場合に、動画に文字情報として背景文字情報が含まれる。
端末装置２０の表示画面の下方には、字幕情報が含まれる字幕領域５０が表示される。また、端末装置２０の表示画面には、背景文字情報が含まれるテキスト領域５２が表示される。字幕領域５０とテキスト領域６０は、下の動画が視認できる程度の一定の透過性をもって動画上に重ねて表示される。
そして、字幕領域５０またはテキスト領域６０をタップすると、動画の再生が一時停止され、図１１に示すように、字幕領域５０とテキスト領域６０が含まれる字幕テキスト領域６２が端末装置２０の表示画面の全領域に表示される。
字幕テキスト領域６２には、取得部４１により取得された背景文字情報６４と、取得部４１により取得された字幕情報５２と、空白行生成部４３により生成された空白行５３と、が時系列順に連結された文字情報の一覧が表示される。つまり、字幕がない区間が空白行５３として表示される。また、字幕がない区間の再生時間に応じた数の空白行５３が、文字情報の一覧表示に挿入されて表示される。空白行５３は、字幕がない区間に対応した選択対象情報として用いられる。つまり、空白行５３を選択することにより、字幕がない区間の所望の位置から再生を開始できる。
そして、この一時停止状態で、字幕テキスト領域６２内で上にスワイプすることにより次の文字情報の一覧が表示され、字幕テキスト領域６２内で下にスワイプすることにより前の文字情報の一覧が表示される。
そして、字幕テキスト領域６２に表示された文字情報の一覧において、字幕情報５２の所定位置又は背景文字情報６４をタップすることにより、タップされた字幕情報又は背景文字情報に対応する再生位置から動画を再生することができる。
また、字幕テキスト領域６２に表示された文字情報の一覧において、空白行５３を選択してタップすることにより、タップされた空白行に対応する再生位置から動画を再生することができる。
つまり、字幕情報又は背景文字情報等の文字情報が含まれている箇所から動画を再生することができ、文字情報が含まれていない箇所からも動画を再生することができる。
なお、空白行生成部４３は、文字情報の一覧表示に空白行を挿入する際に、動画に字幕情報が付与されておらず背景文字情報が予め設定された条件以上変化した箇所に、空白行を他の箇所よりも多く挿入する。具体的には、例えばスライドや資料等の背景文字情報が切り換わった箇所に、空白行を他の箇所よりも多い、例えば５行挿入する。これにより、ユーザは、動画を再生する際に、スライドや資料等のページの切り換えのタイミングから動画を再生することができる。
また、空白行生成部４３は、文字情報の一覧表示に空白行を挿入する際に、動画に字幕情報が付与されておらず動画のシーンが予め設定された条件以上変化した箇所に、空白行を他の箇所よりも多く挿入する。具体的には、例えば講義が終了し、講師が入れ換わる箇所に、空白行を他の箇所よりも多い、例えば５行挿入する。これにより、ユーザは、動画を再生する際に、講師が入れ換わるタイミングから動画を再生することができる。
図１２は、字幕領域５０に表示される文字情報の一覧の変形例を示す図である。
図１２に示すように、字幕領域５０において、字幕情報５２及び空白行５３に対応する時間位置７０をそれぞれ表示する。つまり、動画の字幕情報５２が含まれている時間位置７０から動画を再生することができ、字幕情報５２が含まれていない空白行５３の時間位置７０からも動画を再生することができる。すなわち、再生したい位置を時間で確認することができる。
なお、本実施形態においては、動画に付与されている字幕情報を取得する場合を用いて説明したが、本発明はこれに限定されるものではなく、動画の音声を音声認識して字幕情報を取得する場合であっても同様に適用することができる。
１０ 編集処理サーバ
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４ 通信インタフェース（ＩＦ）
１５ ユーザインタフェース（ＵＩ）装置
１６ 制御バス
２０ 端末装置
３０ ネットワーク
３１ データ通信部
３２ 制御部
３３ データ格納部
４１ 取得部
４２ 検出部
４３ 空白行生成部
４４ 表示制御部
４５ ユーザ操作受付部
４６ 再生部
５０ 字幕領域
５２ 字幕情報
５３ 空白行
６０ テキスト領域
６２ 字幕テキスト領域
６４ 背景文字情報

Claims (5)

  1. ユーザの操作により、下の動画が視認できる程度の透過性で動画上に重ねて表示される字幕領域に、動画に付与された文字情報の一覧を、前記文字情報と、前記文字情報が付与されていない動画の区間の再生時間に応じた数の空白行と、を連結させて前記文字情報又は前記空白行を選択可能な状態で表示するよう制御する表示制御手段と、
    前記文字情報が付与された動画を再生する際に、表示された前記一覧において選択された前記文字情報又は前記空白行に対応した再生時刻から動画を再生する再生手段と、
    を備えた情報処理装置。
  2. 動画に付与された文字情報の一覧を、文字情報が付与されていない箇所も選択可能な状態で表示するよう制御する表示制御手段と、
    文字情報が付与された動画を再生する際に、表示された前記一覧において選択された箇所に対応した再生時刻から動画を再生する再生手段と、を備え、
    前記表示制御手段は、文字情報が付与されていない動画の区間に対応した選択対象情報を文字情報の一覧表示に挿入することにより、文字情報が付与されていない箇所も選択可能な状態で動画に付与された文字情報の一覧を表示し、前記文字情報には、動画に付与されている字幕情報と、動画に含まれている背景文字情報とが含まれる
    情報処理装置。
  3. 前記表示制御手段は、文字情報の一覧表示に前記選択対象情報を挿入する際に、動画に前記字幕情報が付与されておらず前記背景文字情報が予め設定された条件以上変化した箇所に、前記選択対象情報を他の箇所よりも多く挿入する請求項２記載の情報処理装置。
  4. 前記表示制御手段は、文字情報の一覧表示に前記選択対象情報を挿入する際に、動画に前記字幕情報が付与されておらず動画のシーンが予め設定された条件以上変化した箇所に、前記選択対象情報を他の箇所よりも多く挿入する請求項２記載の情報処理装置。
  5. ユーザの操作により、下の動画が視認できる程度の透過性で動画上に重ねて表示される字幕領域に、動画に付与された文字情報の一覧を、前記文字情報と、前記文字情報が付与されていない動画の区間の再生時間に応じた数の空白行と、を連結させて前記文字情報又は前記空白行を選択可能な状態で表示するよう制御するステップと、
    前記文字情報が付与された動画を再生する際に、表示された前記一覧において選択された前記文字情報又は前記空白行に対応した再生時刻から動画を再生するステップと、
    をコンピュータに実行させるためのプログラム。
JP2019184288A 2019-10-07 2019-10-07 情報処理装置およびプログラム Active JP7447422B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019184288A JP7447422B2 (ja) 2019-10-07 2019-10-07 情報処理装置およびプログラム
US16/858,740 US11700429B2 (en) 2019-10-07 2020-04-27 Information processing apparatus and non-transitory computer readable medium storing program
CN202010491301.4A CN112702658A (zh) 2019-10-07 2020-06-02 信息处理装置、存储介质及信息处理方法
US18/319,491 US12028583B2 (en) 2019-10-07 2023-05-18 Information processing apparatus and non-transitory computer readable medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019184288A JP7447422B2 (ja) 2019-10-07 2019-10-07 情報処理装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2021061519A JP2021061519A (ja) 2021-04-15
JP7447422B2 true JP7447422B2 (ja) 2024-03-12

Family

ID=75274506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019184288A Active JP7447422B2 (ja) 2019-10-07 2019-10-07 情報処理装置およびプログラム

Country Status (3)

Country Link
US (2) US11700429B2 (ja)
JP (1) JP7447422B2 (ja)
CN (1) CN112702658A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108924626B (zh) * 2018-08-17 2021-02-23 腾讯科技（深圳）有限公司 图片生成方法、装置、设备及存储介质
CN115442667B (zh) * 2021-06-01 2023-10-20 脸萌有限公司 视频处理方法和设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007006454A (ja) 2005-05-26 2007-01-11 Sony Corp コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラム
JP2008147917A (ja) 2006-12-08 2008-06-26 Matsushita Electric Ind Co Ltd デジタルコンテンツ処理装置
JP2008219424A (ja) 2007-03-02 2008-09-18 Dowango:Kk コメント配信システム、コメント配信サーバ、端末装置、コメント配信方法、及びプログラム
JP2010010744A (ja) 2008-06-24 2010-01-14 Casio Hitachi Mobile Communications Co Ltd 字幕付映像再生装置、字幕付映像再生方法及びプログラム
JP2010011395A (ja) 2008-06-30 2010-01-14 Toshiba Corp 映像記録再生装置および映像記録再生方法
JP2010226520A (ja) 2009-03-24 2010-10-07 Sharp Corp コンテンツ表示制御装置、コンテンツ表示制御方法、プログラム、記録媒体
WO2013115235A1 (ja) 2012-02-03 2013-08-08 シャープ株式会社 出力システム、出力システムの制御方法、制御プログラム、および記録媒体
JP2014212434A (ja) 2013-04-18 2014-11-13 三菱電機株式会社 映像信号処理装置及び方法、並びにプログラム及び記録媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6044553U (ja) 1983-09-01 1985-03-29 佐々木　哲由 根ぐされ防止用鉢
JPS6217645U (ja) 1985-07-16 1987-02-02
JP3891168B2 (ja) * 2003-10-28 2007-03-14 ソニー株式会社 電子機器、コンテンツ転送方法及びそのプログラム
US8069466B2 (en) * 2005-08-04 2011-11-29 Nds Limited Advanced digital TV system
JP5196635B2 (ja) * 2007-08-28 2013-05-15 日本放送協会 ビデオコンテンツ再生端末およびビデオコンテンツ再生プログラム
JP6044553B2 (ja) 2012-02-10 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2014069114A1 (ja) 2012-11-01 2014-05-08 ソニー株式会社 情報処理装置、再生状態制御方法及びプログラム
CN104301771A (zh) 2013-07-15 2015-01-21 中兴通讯股份有限公司 视频文件播放进度的调整方法及装置
CN103686200A (zh) * 2013-12-27 2014-03-26 乐视致新电子科技（天津）有限公司 智能电视视频资源搜索的方法和***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007006454A (ja) 2005-05-26 2007-01-11 Sony Corp コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラム
JP2008147917A (ja) 2006-12-08 2008-06-26 Matsushita Electric Ind Co Ltd デジタルコンテンツ処理装置
JP2008219424A (ja) 2007-03-02 2008-09-18 Dowango:Kk コメント配信システム、コメント配信サーバ、端末装置、コメント配信方法、及びプログラム
JP2010010744A (ja) 2008-06-24 2010-01-14 Casio Hitachi Mobile Communications Co Ltd 字幕付映像再生装置、字幕付映像再生方法及びプログラム
JP2010011395A (ja) 2008-06-30 2010-01-14 Toshiba Corp 映像記録再生装置および映像記録再生方法
JP2010226520A (ja) 2009-03-24 2010-10-07 Sharp Corp コンテンツ表示制御装置、コンテンツ表示制御方法、プログラム、記録媒体
WO2013115235A1 (ja) 2012-02-03 2013-08-08 シャープ株式会社 出力システム、出力システムの制御方法、制御プログラム、および記録媒体
JP2014212434A (ja) 2013-04-18 2014-11-13 三菱電機株式会社 映像信号処理装置及び方法、並びにプログラム及び記録媒体

Also Published As

Publication number Publication date
CN112702658A (zh) 2021-04-23
US12028583B2 (en) 2024-07-02
US20210105538A1 (en) 2021-04-08
US11700429B2 (en) 2023-07-11
JP2021061519A (ja) 2021-04-15
US20230291977A1 (en) 2023-09-14

Similar Documents

Publication Publication Date Title
US8433431B1 (en) Displaying text to end users in coordination with audio playback
EP2977874B1 (en) Method for providing graphical user interface (gui), and multimedia apparatus applying the same
US12028583B2 (en) Information processing apparatus and non-transitory computer readable medium storing program
US20130346865A1 (en) Dynamic wallpaper of mobile systems
WO2014069114A1 (ja) 情報処理装置、再生状態制御方法及びプログラム
US9558784B1 (en) Intelligent video navigation techniques
US9564177B1 (en) Intelligent video navigation techniques
US20140258867A1 (en) Systems and Methods for Editing Three-Dimensional Video
US20140040738A1 (en) Information processor, information processing method, and computer program product
JP7434762B2 (ja) 情報処理装置およびプログラム
JP6765558B1 (ja) コンテンツ配信装置、コンテンツ配信方法、コンテンツ配信システム、および、コンテンツ配信プログラム
JP5664055B2 (ja) 映像再生装置及び映像再生プログラム
JP4595807B2 (ja) 撮像装置
CN112653931B (zh) 资源信息播放的控制方法、装置、存储介质以及电子设备
Schoeffmann et al. Video navigation on tablets with multi-touch gestures
WO2022068311A1 (zh) 多媒体资源切换方法及装置
JP6917561B2 (ja) 字幕修正装置、字幕修正方法、及び、コンピュータプログラム
JP5737988B2 (ja) 画像処理装置およびその制御方法およびプログラム
JP7516757B2 (ja) 情報処理装置およびプログラム
KR20150112067A (ko) 어학 학습용 콘텐츠 재생 시스템 및 그 방법
JP6916860B2 (ja) 動画を再生するためのプログラム、システム、及び方法
JP7492092B1 (ja) 電子マニュアルの作成を支援するためのコンピュータシステムおよびプログラム
JP4633029B2 (ja) 事前再生処理方法、プログラム、及び被選択コンテンツの予測装置
JP7176257B2 (ja) 情報処理装置およびプログラム
WO2005050645A1 (en) Real-time store and playback of working screen and audio signal

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20201102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240212

R150 Certificate of patent or registration of utility model

Ref document number: 7447422

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150