JP2012065170A - Video reproduction device and video reproduction program - Google Patents

Video reproduction device and video reproduction program Download PDF

Info

Publication number
JP2012065170A
JP2012065170A JP2010208137A JP2010208137A JP2012065170A JP 2012065170 A JP2012065170 A JP 2012065170A JP 2010208137 A JP2010208137 A JP 2010208137A JP 2010208137 A JP2010208137 A JP 2010208137A JP 2012065170 A JP2012065170 A JP 2012065170A
Authority
JP
Japan
Prior art keywords
information
reproduction
video
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010208137A
Other languages
Japanese (ja)
Other versions
JP5664055B2 (en
Inventor
Masakazu Ogawa
正和 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2010208137A priority Critical patent/JP5664055B2/en
Publication of JP2012065170A publication Critical patent/JP2012065170A/en
Application granted granted Critical
Publication of JP5664055B2 publication Critical patent/JP5664055B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a video reproduction device and a video reproduction program that enable reproduction of the content of video information based on the content of image information in a configuration in which reproduction timing of the image information and reproduction timing of an operation history are associated with a reproduction time of audio information or the video information.SOLUTION: A video reproduction device 1 comprises material area pattern information generation means 103 that, based on material image information 112 associated with reproduction times of video information 111 and reproduced as a reproduction image and material operation history information 114 in which positions on the reproduction image of the material image information 112 indicated by a viewer's indicating cursor 123 are associated with the reproduction times, divides the reproduction image into plural areas, respectively associates the reproduction times of the video information 111 associated with the indicated positions with the plural areas, and generates material area pattern information 115 including information on the plural areas associated with the reproduction times.

Description

本発明は、映像再生装置及び映像再生プログラムに関する。   The present invention relates to a video playback device and a video playback program.

資料画像に資料画像を説明する操作表示を合成してコンテンツを作成する技術が提案されている。   There has been proposed a technique for creating content by synthesizing an operation display for explaining a document image with a document image.

これに関連する技術として、特許文献１には、テキスト情報や画像情報等の資料画像情報を表示再生しながら説明者が画面上に表示される指示棒ツールや描画ツール等を用いて操作することで説明を行い、その操作履歴の情報を記憶手段に記憶するとともに、説明者の話す音声等の情報を話者情報として記憶手段に記憶する。その後、資料画像情報と操作履歴情報とから資料画像情報に説明のための操作表示を合成した説明操作コンテンツを作成するとともに、話者情報と同期して再生するための関係情報を付加する映像再生装置が開示されている。   As a technology related to this, Patent Document 1 discloses that an explainer operates using a pointing tool or a drawing tool displayed on a screen while displaying and reproducing document image information such as text information and image information. The operation history information is stored in the storage means, and information such as the speech spoken by the explainer is stored in the storage means as speaker information. After that, the description operation content is created by synthesizing the operation display for explanation to the document image information from the document image information and the operation history information, and the video reproduction is added with the related information to be reproduced in synchronization with the speaker information. An apparatus is disclosed.

特開２０００−１８７５４２号公報JP 2000-187542 A

本発明の目的は、音声情報又は映像情報の再生時刻に画像情報の再生タイミングと操作履歴の再生タイミングとが関連付けられた構成において、画像情報の内容に基づいて映像情報の内容の再生を可能にする映像再生装置及び映像再生プログラムを提供することにある。   An object of the present invention is to enable reproduction of the contents of video information based on the contents of image information in a configuration in which the reproduction timing of image information and the reproduction timing of operation history are associated with the reproduction time of audio information or video information. The present invention provides a video playback apparatus and a video playback program.

［１］コンピュータを、音声情報又は映像情報の再生時刻に対応付けられて再生画像として再生される画像情報と、外部から入力される操作信号に応じて指示された当該画像情報の再生画像上の位置を前記再生時刻に関連付けた履歴情報とに基づいて、前記再生画像を複数の領域に分割し、前記指示した位置に関連付けられた前記映像情報の再生時刻を当該複数の領域にそれぞれ関連付けて、当該再生時刻が関連付けられた前記複数の領域の情報を含む領域情報を生成する生成手段として機能させるための映像再生プログラム。 [1] On a reproduced image of image information instructed in accordance with an operation signal input from the outside and image information reproduced as a reproduced image in association with a reproduction time of audio information or video information Based on the history information associated with the playback time position, the playback image is divided into a plurality of areas, and the playback time of the video information associated with the indicated position is associated with the plurality of areas, respectively. A video reproduction program for functioning as generation means for generating region information including information on the plurality of regions associated with the reproduction time.

［２］前記映像情報を再生する映像情報再生手段と、外部から入力される操作信号に応じて前記領域情報の領域が指示されると、指示された領域に関連付けられた前記再生時刻から前記映像情報を再生するよう前記映像情報再生手段を制御する制御手段としてさらに機能させるための前記［１］に記載の映像再生プログラム。 [2] Video information playback means for playing back the video information, and when the area information area is instructed in response to an externally input operation signal, the video from the playback time associated with the instructed area The video reproduction program according to the above [1], which further functions as a control unit that controls the video information reproduction unit to reproduce information.

［３］前記生成手段は、前記再生画像の書式又は配置に応じて、前記複数の領域の形状を変更する前記［１］又は［２］に記載の映像再生プログラム。 [3] The video reproduction program according to [1] or [2], wherein the generation unit changes a shape of the plurality of areas according to a format or an arrangement of the reproduction image.

［４］音声情報又は映像情報の再生時刻に対応付けられて再生画像として再生される画像情報と、外部から入力される操作信号に応じて指示された当該画像情報の再生画像上の位置を前記再生時刻に関連付けた履歴情報とに基づいて、前記再生画像を複数の領域に分割し、前記指示した位置に関連付けられた前記映像情報の再生時刻を当該複数の領域にそれぞれ関連付けて、当該再生時刻が関連付けられた前記複数の領域の情報を含む領域情報を生成する生成手段を有する映像再生装置。 [4] Image information to be reproduced as a reproduction image in association with the reproduction time of audio information or video information, and a position on the reproduction image of the image information instructed according to an operation signal input from the outside Based on the history information associated with the reproduction time, the reproduction image is divided into a plurality of areas, and the reproduction times of the video information associated with the designated position are associated with the plurality of areas, respectively. A video reproduction apparatus comprising: generating means for generating area information including information on the plurality of areas associated with each other.

請求項１又は４に係る発明によれば、音声情報又は映像情報の再生時刻に画像情報の再生タイミングと操作履歴の再生タイミングとが関連付けられた構成において、画像情報の内容に基づいて映像情報の内容の再生を可能にすることができる。   According to the invention of claim 1 or 4, in the configuration in which the reproduction timing of the image information and the reproduction timing of the operation history are associated with the reproduction time of the audio information or the video information, the video information is reproduced based on the content of the image information. The content can be played back.

請求項２に係る発明によれば、再生画像の領域を指示することで、指示された領域に関連付けられた再生時刻から映像情報を再生することができる。   According to the second aspect of the present invention, it is possible to reproduce the video information from the reproduction time associated with the designated area by designating the area of the reproduction image.

請求項３に係る発明によれば、再生画像の書式又は配置に応じて再生時刻が対応付けられる領域の形状を変更することができる。   According to the invention which concerns on Claim 3, the shape of the area | region with which reproduction | regeneration time is matched can be changed according to the format or arrangement | positioning of a reproduction | regeneration image.

図１は、映像再生装置の構成例を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration example of a video reproduction device. 図２は、同期情報の一例を示す概略図である。FIG. 2 is a schematic diagram illustrating an example of synchronization information. 図３は、資料操作履歴情報の一例を示す概略図である。FIG. 3 is a schematic diagram illustrating an example of the material operation history information. 図４は、映像再生装置の表示部が表示する表示画面の構成例を示す概略図である。FIG. 4 is a schematic diagram illustrating a configuration example of a display screen displayed by the display unit of the video reproduction device. 図５は、映像再生装置の映像再生動作の一例を示す概略図である。FIG. 5 is a schematic diagram illustrating an example of a video playback operation of the video playback device. 図６（ａ）及び（ｂ）は、映像再生装置の生成する資料領域パターン情報の一例を示す概略図である。6A and 6B are schematic diagrams illustrating an example of material region pattern information generated by the video reproduction device. 図７は、映像再生装置の資料画像情報の位置が指示される動作の一例を示す概略図である。FIG. 7 is a schematic diagram illustrating an example of an operation in which the position of the document image information of the video reproduction apparatus is indicated. 図８は、映像再生装置の動作例を示すフローチャートである。FIG. 8 is a flowchart showing an operation example of the video reproduction apparatus. 図９（ａ）〜（ｃ）は、映像再生装置の生成する資料領域パターン情報の変形例を示す概略図である。FIGS. 9A to 9C are schematic diagrams illustrating modifications of the material region pattern information generated by the video reproduction device.

（映像再生装置の構成）
図１は、映像再生装置の構成例を示すブロック図である。 (Configuration of video playback device)
FIG. 1 is a block diagram illustrating a configuration example of a video reproduction device.

映像再生装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリ等の記憶媒体であって情報を記憶する記憶部１１と、液晶ディスプレイ等であって文字や画像を表示する表示部１２と、キーボードやマウス等であって操作に応じた操作信号を発する操作部１３とを備える。   The video playback device 1 is configured by a CPU (Central Processing Unit) and the like, and controls each unit and executes various programs. The video playback device 1 is a storage medium such as an HDD (Hard Disk Drive) or a flash memory and stores information. A storage unit 11 that stores data, a display unit 12 that is a liquid crystal display or the like and displays characters and images, and an operation unit 13 that is a keyboard or a mouse and that generates an operation signal according to an operation.

なお、映像再生装置１は、例えば、パーソナルコンピュータやＰＤＡ、携帯電話等の電子機器であるが、操作部１３や表示部１２を備えないサーバ装置のようなものでもよく、その場合はネットワーク等により接続された端末装置の操作部や表示部がそれらの機能を代替する。   Note that the video playback device 1 is an electronic device such as a personal computer, a PDA, or a mobile phone, but may be a server device that does not include the operation unit 13 or the display unit 12. The operation unit and display unit of the connected terminal device replace these functions.

制御部１０は、後述する映像再生プログラム１１０を実行することで、映像情報再生手段１００、資料画像情報再生手段１０１、同期合成手段１０２、資料領域パターン情報生成手段１０３、資料領域選択手段１０４及び再生時刻制御手段１０５等として機能する。   The control unit 10 executes a video playback program 110, which will be described later, so that the video information playback means 100, the material image information playback means 101, the synchronous composition means 102, the material area pattern information generation means 103, the material area selection means 104, and the playback. It functions as the time control means 105 and the like.

映像情報再生手段１００は、後述する映像情報（音声情報を含む）１１１を再生し、映像信号（音声信号を含む）を出力する。   The video information reproducing means 100 reproduces video information (including audio information) 111 described later and outputs a video signal (including audio signal).

資料画像情報再生手段１０１は、後述する資料画像情報１１２を再生し、資料画像信号を出力する。資料画像信号に応じて表示画面には資料画像情報１１２を再生した画像である再生画像が表示される。また、資料画像情報再生手段１０１は、後述する資料操作履歴情報を処理し、資料画像情報１１２の説明のために資料画像情報１１２の再生画像を指示する資料指示用カーソルを表示するための画像信号を出力する。   The material image information reproducing means 101 reproduces material image information 112, which will be described later, and outputs a material image signal. In accordance with the material image signal, a reproduced image that is an image obtained by reproducing the material image information 112 is displayed on the display screen. The material image information reproducing means 101 processes material operation history information to be described later, and displays an image signal for displaying a material instruction cursor for instructing a reproduced image of the material image information 112 for explaining the material image information 112. Is output.

同期合成手段１０２は、後述する同期情報１１３に基づいて映像情報再生手段１００の出力する映像信号と、資料画像情報再生手段１０１の出力する資料画像信号とを再生時刻において同期し、これらの映像信号を合成する。   The synthesizing and synthesizing unit 102 synchronizes the video signal output from the video information reproducing unit 100 and the material image signal output from the material image information reproducing unit 101 based on synchronization information 113 to be described later at the reproduction time. Is synthesized.

資料領域パターン情報生成手段１０３は、後述する資料操作履歴情報１１４に基づいて資料画像情報１１２の再生画像の表示領域上に定義される領域のパターンと、映像情報１１１の再生時刻とを関連付ける資料領域パターン情報１１５を生成する。   The material area pattern information generating unit 103 associates the pattern of the area defined on the display area of the reproduction image of the material image information 112 based on the material operation history information 114 described later and the reproduction time of the video information 111. Pattern information 115 is generated.

資料領域選択手段１０４は、資料画像情報１１２の再生画像の表示領域上の任意の位置が指示されると、資料領域パターン情報１１５に含まれる単一又は複数の領域から指示された位置に該当する領域を選択する。   When an arbitrary position on the display area of the reproduction image of the document image information 112 is instructed, the material area selection unit 104 corresponds to the position instructed from one or a plurality of areas included in the material area pattern information 115. Select an area.

再生時刻制御手段１０５は、資料領域パターン情報１１５に基づいて、資料領域選択手段１０４に選択されたパターンと関連付けられた映像情報１１１の再生時刻を取得し、その再生時刻において映像情報１１１を再生するよう映像情報再生手段１００を制御する。   Based on the material region pattern information 115, the reproduction time control unit 105 acquires the reproduction time of the video information 111 associated with the pattern selected by the material region selection unit 104, and reproduces the video information 111 at the reproduction time. The video information reproducing means 100 is controlled.

記憶部１１は、制御部１０を上述した各手段１００〜１０５として動作させる映像再生プログラム１１０と、映像を再生表示するためのＭＰＥＧやＶＯＢ等のフォーマットの動画データである映像情報１１１と、動画又は静止画を再生表示するための資料画像情報１１２と、映像情報１１１の再生時刻と資料画像情報１１２の再生時刻とを同期するための同期情報１１３と、資料画像情報１１２を後述する資料指示用カーソル等で指示操作した履歴を示す資料操作履歴情報１１４と、資料画像情報１１２の再生画像の表示領域上に定義される領域のパターンと映像情報１１１の再生時刻とを関連付ける資料領域パターン情報１１５とを記憶する。   The storage unit 11 includes a video playback program 110 that causes the control unit 10 to operate as the above-described units 100 to 105, video information 111 that is video data in a format such as MPEG or VOB for playing back and displaying video, Document image information 112 for reproducing and displaying a still image, synchronization information 113 for synchronizing the reproduction time of the video information 111 and the reproduction time of the document image information 112, and a document instruction cursor described later for the document image information 112 The material operation history information 114 indicating the history of instructed operation, etc., and the material region pattern information 115 that associates the pattern of the region defined on the display region of the reproduced image of the material image information 112 with the reproduction time of the video information 111. Remember.

図２は、同期情報１１３の一例を示す概略図である。   FIG. 2 is a schematic diagram illustrating an example of the synchronization information 113.

同期情報１１３は、映像情報１１１の再生時刻を示す映像再生時刻欄１１３ａと、映像情報１１１の再生時刻において再生される資料画像情報の識別子を示す資料画像情報ＩＤ欄１１３ｂとを有する。   The synchronization information 113 includes a video playback time column 113 a indicating the playback time of the video information 111 and a material image information ID column 113 b indicating the identifier of the material image information that is played back at the playback time of the video information 111.

つまり、映像再生時刻欄１１３ａの時刻に対応する資料画像情報ＩＤ欄１１３ｂの資料画像情報が１１２が再生される。   That is, the material image information 112 in the material image information ID column 113b corresponding to the time in the video reproduction time column 113a is reproduced.

図３は、資料操作履歴情報１１４の一例を示す概略図である。   FIG. 3 is a schematic diagram illustrating an example of the material operation history information 114.

資料操作履歴情報１１４は、図２に示す資料画像情報ＩＤ欄１１３ｂに対応する資料画像情報ＩＤ欄１１４ａと、資料画像情報１１２の再生画像中を資料指示用カーソルで指示した位置を示すカーソル指示位置欄１１４ｂと、資料指示用カーソルで指示したときの映像情報１１１の再生時刻を示す映像再生時刻欄１１４ｃとを有する。   The material operation history information 114 includes a material image information ID field 114a corresponding to the material image information ID field 113b shown in FIG. 2 and a cursor instruction position indicating a position in the reproduction image of the material image information 112 indicated by the material instruction cursor. A column 114b, and a video playback time column 114c indicating a playback time of the video information 111 when instructed by the material instruction cursor.

つまり、映像再生時刻欄１１４ｃの時刻において、資料画像情報ＩＤ欄１１４ａの資料画像情報１１２の再生画像のうちカーソル指示位置欄１１４ｂの座標が資料指示用カーソルによって指示される。   That is, at the time of the video reproduction time column 114c, the coordinates of the cursor instruction position column 114b in the reproduction image of the material image information 112 in the material image information ID column 114a are indicated by the material instruction cursor.

図４は、映像再生装置１の表示部１２が表示する表示画面の構成例を示す概略図である。   FIG. 4 is a schematic diagram illustrating a configuration example of a display screen displayed by the display unit 12 of the video reproduction device 1.

表示部１２に表示される表示画面１２０は、映像情報再生手段１００によって再生された映像情報１１１の映像を表示する映像表示領域１２１と、資料画像情報再生手段１０１によって再生された資料画像情報１１２の再生画像を表示する資料表示領域１２２と、資料画像情報再生手段１０１によって資料操作履歴情報１１４を処理することで表示され、資料画像情報１１２の表示画像を指示する資料指示用の矢印型の資料指示用カーソル１２２ａと、表示画面１２０を視聴中の視聴者が操作部１３を操作することでその表示位置が制御され、表示位置に表示される対象画像の選択や決定等の操作を行う視聴者用の矢印型の視聴者用カーソル１２３とを有する。なお、必ずしも視聴者用カーソル１２３によって表示位置の選択や決定を行う必要はなく、例えば、表示画面１２０に重ねてタッチパッドが設置されている場合等は、タッチパッドに利用者が触れた位置で代替してもよい。また、キーボード等を用いて表示位置の座標を数値入力してもよい。   The display screen 120 displayed on the display unit 12 includes a video display area 121 for displaying a video of the video information 111 reproduced by the video information reproducing unit 100 and a material image information 112 reproduced by the material image information reproducing unit 101. A material display area 122 for displaying a replayed image and an arrow-type material instruction for displaying a material image indicating the display image of the material image information 112 displayed by processing the material operation history information 114 by the material image information reproducing means 101. When the viewer who is viewing the cursor 122a and the display screen 120 operates the operation unit 13, the display position is controlled, and the viewer performs operations such as selection and determination of a target image displayed at the display position. And an arrow-type cursor 123 for viewers. Note that it is not always necessary to select or determine the display position by the viewer cursor 123. For example, when a touch pad is installed on the display screen 120, the position touched by the user is touched. It may be replaced. Further, the coordinates of the display position may be numerically input using a keyboard or the like.

なお、映像表示領域１２１及び資料表示領域１２２の表示上の配置、表示領域の大きさ、縦横比、色や明るさ等は映像情報１１１及び資料画像情報１１２の作成者又は視聴者の設定により変更されるものであってもよい。また、映像表示領域１２１と資料表示領域１２２とは、半透明処理等が施され、重なり合わされて表示されるものでもよい。   The display arrangement of the video display area 121 and the material display area 122, the size of the display area, the aspect ratio, the color, the brightness, etc. are changed according to the settings of the creator or viewer of the video information 111 and the document image information 112. It may be done. Further, the video display area 121 and the material display area 122 may be subjected to semi-transparency processing or the like and displayed in an overlapping manner.

（映像再生装置の動作）
以下に、映像再生装置１の動作例を図１〜図９を参照しつつ、（１）基本動作、（２）資料領域パターン情報生成動作、（３）資料領域選択による再生動作に分けて説明する。 (Operation of video playback device)
In the following, an operation example of the video reproduction apparatus 1 will be described by dividing into (1) basic operation, (2) material region pattern information generation operation, and (3) reproduction operation by material region selection, with reference to FIGS. To do.

（１）基本動作
まず、視聴者は、映像再生装置１の操作部１３を操作して、映像情報１１１の再生を指示する。操作部１３は、映像情報１１１の再生を指示する操作信号を制御部１０に出力する。 (1) Basic Operation First, the viewer operates the operation unit 13 of the video playback device 1 to instruct playback of the video information 111. The operation unit 13 outputs an operation signal instructing reproduction of the video information 111 to the control unit 10.

映像再生装置１の制御部１０が操作部１３から操作信号を受け付けると、映像情報再生手段１００は、映像情報１１１を再生して映像信号を表示部１２に出力する。また、資料画像情報再生手段１０１は、資料画像情報１１２及び資料操作履歴情報１１４を再生して資料画像信号を表示部１２に出力する。   When the control unit 10 of the video reproduction apparatus 1 receives an operation signal from the operation unit 13, the video information reproduction unit 100 reproduces the video information 111 and outputs the video signal to the display unit 12. The material image information reproducing unit 101 reproduces the material image information 112 and the material operation history information 114 and outputs a material image signal to the display unit 12.

次に、同期合成手段１０２は、映像信号及び資料画像信号を同期情報１１３に基づいて同期させるとともに、映像信号と資料画像信号とを図４に示すような予め定めた画面構成で合成した合成映像信号を出力する。表示部１２は、同期合成手段１０２が出力した合成映像信号を入力し、図４に示す表示画面１２０を表示する。   Next, the synthesizing and synthesizing unit 102 synchronizes the video signal and the document image signal based on the synchronization information 113, and combines the video signal and the document image signal with a predetermined screen configuration as shown in FIG. Output a signal. The display unit 12 receives the synthesized video signal output from the synthesizing and synthesizing unit 102 and displays the display screen 120 shown in FIG.

図５は、映像再生装置１の映像再生動作の一例を示す概略図である。   FIG. 5 is a schematic diagram illustrating an example of a video playback operation of the video playback device 1.

図４に示す映像表示領域１２１には、図５に示すように、映像情報１１１を構成する各映像１２１ａ〜１２１ｄが、図３に示す資料操作履歴情報１１４に基づいて、それぞれ映像情報１１１の映像再生時刻「００：００：３０」、「００：０２：０１」、「００：０５：４５」、「００：１５：００」に表示される。また、図４に示す資料画像表示領域１２２には、図２に示す同期情報１１３に基づいて「資料００１」に対応する再生画像である資料１２２ａ〜１２２ｄが表示される。   In the video display area 121 shown in FIG. 4, as shown in FIG. 5, the videos 121 a to 121 d constituting the video information 111 are each based on the material operation history information 114 shown in FIG. 3. The reproduction times are displayed at “00:00:30”, “00:02:01”, “00:05:45”, and “00:15:00”. In the material image display area 122 shown in FIG. 4, materials 122 a to 122 d that are reproduction images corresponding to “material 001” are displayed based on the synchronization information 113 shown in FIG. 2.

また、資料表示領域１２２に表示される資料１２２ａ〜１２２ｄには、資料指示用カーソル１２２ａが表示され、その指示位置は、図３に示す資料操作履歴情報１１４に基づいてそれぞれ位置Ａ〜位置Ｄに表示される。   In addition, a material instruction cursor 122a is displayed on the materials 122a to 122d displayed in the material display area 122, and the indicated positions are positions A to D based on the material operation history information 114 shown in FIG. Is displayed.

（２）資料領域パターン情報生成動作
以下に説明する資料領域パターン情報１１５の生成動作は、映像情報１１１及び資料画像情報１１２の再生前に行うことが望ましいが、再生中に行うものであってもよい。 (2) Material region pattern information generation operation The material region pattern information 115 generation operation described below is preferably performed before reproduction of the video information 111 and the material image information 112, but may be performed during reproduction. Good.

資料領域パターン情報生成手段１０３は、資料操作履歴情報１１４に基づいて以下に説明する資料領域パターン情報１１５を生成する。   The material area pattern information generation unit 103 generates material area pattern information 115 described below based on the material operation history information 114.

図６（ａ）及び（ｂ）は、映像再生装置１の生成する資料領域パターン情報１１５の一例である資料領域パターン情報１１５ａ及び１１５ｂを示す概略図である。   6A and 6B are schematic diagrams showing material region pattern information 115a and 115b, which are examples of the material region pattern information 115 generated by the video reproduction device 1.

資料領域パターン情報１１５ａは、資料画像情報１１２のうち図３に示す資料画像情報ＩＤが「資料００１」のもの、つまり、横書きの文章に図やグラフ等が含まれる資料に対して生成されたものである。   The material area pattern information 115a is generated for the material whose material image information ID shown in FIG. 3 is “material 001” in the material image information 112, that is, a material in which a horizontally written sentence includes a figure, a graph, or the like. It is.

資料領域パターン情報１１５ａは、図６（ａ）に示すように、資料指示用カーソル１２２ａが指示した位置Ａ〜Ｄを左上の基準として領域α〜δに区分されている。これは、横書きの資料の説明が一般的に左から右へ１行を進み、改行して上から下へと進んでいくためであり、領域γ及び領域δは図やグラフの配置に合わせたものである。   As shown in FIG. 6A, the material region pattern information 115a is divided into regions α to δ with the positions A to D indicated by the material instruction cursor 122a as the upper left reference. This is because the explanation of the horizontally written material generally proceeds from one line to the left from the left, proceeds from the top to the bottom with line breaks, and the region γ and the region δ match the layout of the figure and graph. Is.

また、資料領域パターン情報１１５ａとともに生成される資料領域パターン情報１１５ｂは、資料領域パターン情報１１５ａの領域α〜δに対応した領域ＩＤ欄と、各領域内を視聴者用カーソル１２３等で指示された場合に再生する映像情報１１１の映像再生時刻を示す映像再生時刻欄とを有する。映像再生時刻欄は、図３に示す資料操作履歴情報１１４の映像再生時刻欄１１４ｃに対応付けられたものである。   The material region pattern information 115b generated together with the material region pattern information 115a is designated by the region ID column corresponding to the regions α to δ of the material region pattern information 115a, the viewer cursor 123 and the like in each region. A video playback time column indicating the video playback time of the video information 111 to be played back. The video playback time column is associated with the video playback time column 114c of the material operation history information 114 shown in FIG.

資料領域パターン情報生成手段１０３は、生成した資料領域パターン情報１１５を記憶部１１に格納する。   The material region pattern information generation unit 103 stores the generated material region pattern information 115 in the storage unit 11.

（３）資料領域選択による再生動作
以下に説明する動作は、映像情報１１１及び資料画像情報１１２の再生中に行ってもよいし、資料画像情報１１２のみ再生して資料表示領域１２２に資料を表示して行ってもよい。 (3) Reproduction Operation by Selecting Material Area The operation described below may be performed during reproduction of the video information 111 and the material image information 112, or only the material image information 112 is reproduced and the material is displayed in the material display area 122. You may do it.

図８は、映像再生装置１の動作例を示すフローチャートである。   FIG. 8 is a flowchart showing an operation example of the video reproduction apparatus 1.

視聴者の操作部１３に対する操作に応じて資料表示領域１２２内の位置が視聴者用カーソル１２３により指示されると（Ｓ１；Ｙｅｓ）、資料領域選択手段１０４は、視聴者用カーソル１２３によって指示された位置の座標を取得し、その座標が領域α〜δのいずれに存在するかを判断する（Ｓ２）。   When the position in the material display area 122 is instructed by the viewer cursor 123 according to the viewer's operation on the operation unit 13 (S1; Yes), the material area selection means 104 is instructed by the viewer cursor 123. The coordinates of the selected position are acquired, and it is determined in any of the regions α to δ that the coordinates exist (S2).

図７は、映像再生装置１の資料画像情報の位置が指示される動作の一例を示す概略図である。   FIG. 7 is a schematic diagram illustrating an example of an operation in which the position of the document image information of the video reproduction device 1 is indicated.

図７に示す例において、視聴者用カーソル１２３は位置Ｂよりも右下であって、位置Ｃ及び位置Ｄよりも左上の位置を指示しているため、資料領域選択手段１０４は、視聴者用カーソル１２３が領域βを指示していると判断する（Ｓ２）。   In the example shown in FIG. 7, the viewer cursor 123 is located on the lower right side of the position B and indicates the upper left position of the position C and the position D. It is determined that the cursor 123 indicates the area β (S2).

次に、図６（ｂ）に示す資料領域パターン情報１１５ｂから「領域β」に対応する映像再生時刻「００：０２：０１」を取得し、映像情報再生手段１００が映像再生時刻「００：０２：０１」から映像情報１１１を再生するよう制御する（Ｓ３）。なお、この際、資料画像情報１１２及び資料操作履歴情報１１４を同期情報１１３に基づいて映像情報１１１の再生と同期して再生してもよい。   Next, the video playback time “00:02:01” corresponding to “region β” is acquired from the material region pattern information 115b shown in FIG. 6B, and the video information playback means 100 acquires the video playback time “00:02”. : "Is controlled to reproduce the video information 111 (S3). At this time, the material image information 112 and the material operation history information 114 may be reproduced in synchronization with the reproduction of the video information 111 based on the synchronization information 113.

［変形例］
資料領域パターン情報生成手段１０３は、資料画像情報１１２の構成、例えば、横書き、縦書き、図を含むか否か等の条件に応じて以下に説明するように資料領域パターン情報１１５の構成を変化させてもよい。 [Modification]
The material area pattern information generation unit 103 changes the structure of the material area pattern information 115 as described below according to the structure of the material image information 112, for example, horizontal writing, vertical writing, whether or not a figure is included, etc. You may let them.

図９（ａ）〜（ｃ）は、映像再生装置１の生成する資料領域パターン情報の変形例を示す概略図である。   FIGS. 9A to 9C are schematic diagrams illustrating modifications of the material region pattern information generated by the video reproduction device 1.

資料領域パターン情報１１５ｃは、図９（ａ）に示すように、資料画像情報１１２のうち、縦書きの文章に図やグラフ等が含まれる資料に対して生成されるものである。資料指示用カーソル１２２ａが指示した位置Ａ〜Ｄを右上の基準として領域α〜δに区分されている。これは、縦書きの資料の説明が一般的に上から下へ１行を進み、改行して右から左へと進んでいくためであり、領域γ及びδは、図やグラフ等の配置に合わせたものである。   As shown in FIG. 9A, the material area pattern information 115c is generated for material in the material image information 112 in which a vertically written sentence includes a figure, a graph, and the like. The positions A to D indicated by the material instruction cursor 122a are divided into regions α to δ with the upper right reference. This is because the description of vertically written material generally advances one line from top to bottom, and starts from right to left with line breaks. The regions γ and δ are arranged in diagrams, graphs, etc. It is a combination.

資料領域パターン情報１１５ｄは、図９（ｂ）に示すように、資料画像情報１１２のうち、横書きの文章のみで構成される資料に対して生成されるものである。資料指示用カーソル１２２ａが指示した位置Ａ〜Ｄを上の基準として領域α〜δに区分されている。これは、横書きの資料の説明が一般的に左から右へ１行を進み、改行して上から下へと進んでいくためである。また、領域α〜δは、文章の段落毎に分割するものであってもよい。   As shown in FIG. 9B, the material area pattern information 115d is generated for material composed of only horizontally written text in the material image information 112. The positions A to D pointed to by the document instruction cursor 122a are divided into regions α to δ with the upper reference. This is because the description of horizontally written material generally proceeds from left to right, one line, and then starts from top to bottom with line breaks. The regions α to δ may be divided for each paragraph of the sentence.

資料領域パターン情報１１５ｅは、図９（ｃ）に示すように、資料画像情報１１２のうち、横書きの文章のみで構成される資料に対して生成されるものである。資料指示用カーソル１２２ａが指示した位置Ａ〜Ｄを上の基準として領域α〜δに区分されている。これは、縦書きの資料の説明が一般的に上から下へ１行を進み、改行して右から左へと進んでいくためである。また、領域α〜δは、文章の段落毎に分割するものであってもよい。   As shown in FIG. 9C, the material area pattern information 115e is generated for material composed of only horizontally written text in the material image information 112. The positions A to D pointed to by the document instruction cursor 122a are divided into regions α to δ with the upper reference. This is because the description of vertically written material generally proceeds one line from top to bottom, and starts from right to left after a line feed. The regions α to δ may be divided for each paragraph of the sentence.

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々な変形が可能である。例えば、上記実施の形態では、資料画像情報の領域に映像情報の再生時刻を対応付けたが、音声情報の再生時刻を対応づけてもよい。 [Other embodiments]
The present invention is not limited to the above embodiment, and various modifications can be made without departing from the gist of the present invention. For example, in the above embodiment, the reproduction time of the video information is associated with the area of the document image information, but the reproduction time of the audio information may be associated.

また、上記映像再生プログラム１１０をＣＤ−ＲＯＭ等の記憶媒体に格納して提供することも可能であり、インターネット等のネットワークに接続されているサーバ装置等から装置内の記憶部にダウンロードしてもよい。また、映像情報再生手段１００、資料画像情報再生手段１０１、同期合成手段１０２、資料領域パターン情報生成手段１０３、資料領域選択手段１０４及び再生時刻制御手段１０５の一部又は全部をＡＳＩＣ等のハードウェアによって実現してもよい。なお、上記実施の形態の動作説明で示した各ステップは、順序の変更、ステップの省略、追加が可能である。   The video reproduction program 110 can be provided by being stored in a storage medium such as a CD-ROM, and can be downloaded from a server device connected to a network such as the Internet to a storage unit in the device. Good. In addition, some or all of the video information reproducing means 100, the material image information reproducing means 101, the synthesizing and synthesizing means 102, the material area pattern information generating means 103, the material area selecting means 104, and the reproduction time control means 105 are replaced with hardware such as an ASIC. It may be realized by. Note that each step shown in the operation description of the above embodiment can be changed in order, omitted or added.

１…映像再生装置、１０…制御部、１１…記憶部、１２…表示部、１３…操作部、１００…映像情報再生手段、１０１…資料画像情報再生手段、１０２…同期合成手段、１０３…資料領域パターン情報生成手段、１０４…資料領域選択手段、１０５…再生時刻制御手段、１１０…映像再生プログラム、１１１…映像情報、１１２…資料画像情報、１１３…同期情報、１１４…資料操作履歴情報、１１５、１１５ａ、１１５ｂ…資料領域パターン情報、１２０…表示画面、１２１…映像表示領域、１２２…資料表示領域、１２２ａ…資料指示用カーソル、１２３…視聴者用カーソル DESCRIPTION OF SYMBOLS 1 ... Video | video reproduction apparatus, 10 ... Control part, 11 ... Memory | storage part, 12 ... Display part, 13 ... Operation part, 100 ... Image | video information reproduction | regeneration means, 101 ... Material image information reproduction | regeneration means, 102 ... Synchronous composition means, 103 ... Material Area pattern information generating means, 104... Material area selecting means, 105... Reproduction time control means, 110... Video reproduction program, 111. 115a, 115b ... material region pattern information, 120 ... display screen, 121 ... video display region, 122 ... material display region, 122a ... cursor for material instruction, 123 ... cursor for viewer

Claims (4)

コンピュータを、
音声情報又は映像情報の再生時刻に対応付けられて再生画像として再生される画像情報と、外部から入力される操作信号に応じて指示された当該画像情報の再生画像上の位置を前記再生時刻に関連付けた履歴情報とに基づいて、前記再生画像を複数の領域に分割し、前記指示した位置に関連付けられた前記映像情報の再生時刻を当該複数の領域にそれぞれ関連付けて、当該再生時刻が関連付けられた前記複数の領域の情報を含む領域情報を生成する生成手段として機能させるための映像再生プログラム。 Computer
Image information to be reproduced as a reproduction image in association with the reproduction time of audio information or video information, and the position on the reproduction image of the image information instructed according to an operation signal input from the outside is the reproduction time. Based on the associated history information, the reproduction image is divided into a plurality of areas, the reproduction times of the video information associated with the designated position are respectively associated with the plurality of areas, and the reproduction times are associated with each other. A video reproduction program for causing a function to generate area information including information on the plurality of areas. 前記映像情報を再生する映像情報再生手段と、
外部から入力される操作信号に応じて前記領域情報の領域が指示されると、指示された領域に関連付けられた前記再生時刻から前記映像情報を再生するよう前記映像情報再生手段を制御する制御手段としてさらに機能させるための請求項１に記載の映像再生プログラム。 Video information reproducing means for reproducing the video information;
Control means for controlling the video information reproduction means to reproduce the video information from the reproduction time associated with the designated area when an area of the area information is designated according to an operation signal input from outside The video reproduction program according to claim 1 for further functioning as: 前記生成手段は、前記再生画像の書式又は配置に応じて、前記複数の領域の形状を変更する請求項１又は２に記載の映像再生プログラム。   The video reproduction program according to claim 1 or 2, wherein the generation unit changes the shape of the plurality of areas according to a format or an arrangement of the reproduction image. 音声情報又は映像情報の再生時刻に対応付けられて再生画像として再生される画像情報と、外部から入力される操作信号に応じて指示された当該画像情報の再生画像上の位置を前記再生時刻に関連付けた履歴情報とに基づいて、前記再生画像を複数の領域に分割し、前記指示した位置に関連付けられた前記映像情報の再生時刻を当該複数の領域にそれぞれ関連付けて、当該再生時刻が関連付けられた前記複数の領域の情報を含む領域情報を生成する生成手段を有する映像再生装置。

Image information to be reproduced as a reproduction image in association with the reproduction time of audio information or video information, and the position on the reproduction image of the image information instructed according to an operation signal input from the outside is the reproduction time. Based on the associated history information, the reproduction image is divided into a plurality of areas, the reproduction times of the video information associated with the designated position are respectively associated with the plurality of areas, and the reproduction times are associated with each other. And a video reproduction apparatus having generation means for generating area information including information on the plurality of areas.

JP2010208137A 2010-09-16 2010-09-16 Video playback device and video playback program Active JP5664055B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010208137A JP5664055B2 (en) 2010-09-16 2010-09-16 Video playback device and video playback program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010208137A JP5664055B2 (en) 2010-09-16 2010-09-16 Video playback device and video playback program

Publications (2)

Publication Number Publication Date
JP2012065170A true JP2012065170A (en) 2012-03-29
JP5664055B2 JP5664055B2 (en) 2015-02-04

Family

ID=46060425

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010208137A Active JP5664055B2 (en) 2010-09-16 2010-09-16 Video playback device and video playback program

Country Status (1)

Country Link
JP (1) JP5664055B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014164735A (en) * 2013-02-28 2014-09-08 Casio Comput Co Ltd Information management device, information management system and program
JP2015090674A (en) * 2013-11-07 2015-05-11 キヤノン株式会社 Information processing device, information processing method, and program
JP2015177432A (en) * 2014-03-17 2015-10-05 京セラドキュメントソリューションズ株式会社 Cue point control device and cue point control program
JP2017027144A (en) * 2015-07-16 2017-02-02 富士ゼロックス株式会社 Information processing apparatus and program
JP2019008419A (en) * 2017-06-21 2019-01-17 カシオ計算機株式会社 Data transmission method, data transmission device, and program
JP2019008035A (en) * 2017-06-21 2019-01-17 カシオ計算機株式会社 Data transmission method, data transmission device, and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06343146A (en) * 1993-03-15 1994-12-13 Toshiba Corp Reproducing device and reproducing method
JP2005167822A (en) * 2003-12-04 2005-06-23 Canon Inc Information reproducing device and information reproduction method
JP2006228059A (en) * 2005-02-18 2006-08-31 Tokyo Institute Of Technology System and method for presentation content search using positional information of pointer and computer-readable storage medium
JP2009267864A (en) * 2008-04-25 2009-11-12 Fuji Xerox Co Ltd Presentation recording apparatus, presentation reproducing apparatus and program
JP2009283020A (en) * 2008-05-19 2009-12-03 Fuji Xerox Co Ltd Recording apparatus, reproducing apparatus, and program
JP2010061343A (en) * 2008-09-03 2010-03-18 Oki Electric Ind Co Ltd Voice recording method, voice reproduction method, voice recording program and voice reproduction program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06343146A (en) * 1993-03-15 1994-12-13 Toshiba Corp Reproducing device and reproducing method
JP2005167822A (en) * 2003-12-04 2005-06-23 Canon Inc Information reproducing device and information reproduction method
JP2006228059A (en) * 2005-02-18 2006-08-31 Tokyo Institute Of Technology System and method for presentation content search using positional information of pointer and computer-readable storage medium
JP2009267864A (en) * 2008-04-25 2009-11-12 Fuji Xerox Co Ltd Presentation recording apparatus, presentation reproducing apparatus and program
JP2009283020A (en) * 2008-05-19 2009-12-03 Fuji Xerox Co Ltd Recording apparatus, reproducing apparatus, and program
JP2010061343A (en) * 2008-09-03 2010-03-18 Oki Electric Ind Co Ltd Voice recording method, voice reproduction method, voice recording program and voice reproduction program

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CSNG200800075010; 中川 聖一、外４名: '講義音声ドキュメントのコンテンツ化と視聴システム' 電子情報通信学会論文誌 第Ｊ９１-Ｄ巻，第２号, 20080201, ｐ．２３８-２４９, 社団法人電子情報通信学会 *
CSNG200800268007; 長尾 確: 'ディスカッションマイニング：会議からの知識発見' 第２回音声ドキュメント処理ワークショップ講演論文集 , 20080301, ｐ．４１-５０, 豊橋技術科学大学メディア科学リサーチセンター *
JPN6014020346; 中川 聖一、外４名: '講義音声ドキュメントのコンテンツ化と視聴システム' 電子情報通信学会論文誌 第Ｊ９１-Ｄ巻，第２号, 20080201, ｐ．２３８-２４９, 社団法人電子情報通信学会 *
JPN6014020349; 長尾 確: 'ディスカッションマイニング：会議からの知識発見' 第２回音声ドキュメント処理ワークショップ講演論文集 , 20080301, ｐ．４１-５０, 豊橋技術科学大学メディア科学リサーチセンター *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014164735A (en) * 2013-02-28 2014-09-08 Casio Comput Co Ltd Information management device, information management system and program
JP2015090674A (en) * 2013-11-07 2015-05-11 キヤノン株式会社 Information processing device, information processing method, and program
JP2015177432A (en) * 2014-03-17 2015-10-05 京セラドキュメントソリューションズ株式会社 Cue point control device and cue point control program
US9502076B2 (en) 2014-03-17 2016-11-22 Kyocera Document Solutions Inc. Cue point control apparatus and recording medium that facilitate search of cue point during playback
JP2017027144A (en) * 2015-07-16 2017-02-02 富士ゼロックス株式会社 Information processing apparatus and program
JP2019008419A (en) * 2017-06-21 2019-01-17 カシオ計算機株式会社 Data transmission method, data transmission device, and program
JP2019008035A (en) * 2017-06-21 2019-01-17 カシオ計算機株式会社 Data transmission method, data transmission device, and program

Also Published As

Publication number Publication date
JP5664055B2 (en) 2015-02-04

Similar Documents

Publication Publication Date Title
JP4599351B2 (en) Programmed window control system and method for consumer video player
JP5664055B2 (en) Video playback device and video playback program
JP5524653B2 (en) Display control apparatus and control method thereof
JP2006004292A (en) Content reproducing apparatus and menu screen display method
JP2013536528A (en) How to create and navigate link-based multimedia
JP2021141564A (en) Device, method, system and program for content distribution
JP2018180519A (en) Voice recognition error correction support device and program therefor
JP2013161205A (en) Information processing device, information processing method and program
JP2009140382A (en) Image editing device, image editing program, record medium, and method for editing image
JP7447422B2 (en) Information processing equipment and programs
JP5914126B2 (en) Information synchronization apparatus, recording medium, and information synchronization method
JP2013126184A (en) Content playback device, control method therefor, control program, and content display control device
JP2009128782A (en) Display controller and image forming apparatus using the same
KR101705561B1 (en) Content playing device having content forming function and method for forming content thereof
JP2013146511A (en) Electronic apparatus for recording, analyzing, and displaying change of human action
JP2012142881A (en) Caption editing device, caption editing method, and computer program
JP6116213B2 (en) Synthetic video content generation system
KR101116538B1 (en) Choreography production system and choreography production method
JP2005141424A (en) Information processing method and information processor
JP4771085B2 (en) Content information display device
JP2005292886A (en) Image display device, method and program
JP6089922B2 (en) Information processing apparatus and information editing program
JP2010039410A (en) Projector
JP2010039757A (en) Image display method, computer program for image display, and recording medium
JP7018645B2 (en) Video generator

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141124

R150 Certificate of patent or registration of utility model

Ref document number: 5664055

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350