JP2016058940A - Image editing method, apparatus, and program - Google Patents

Image editing method, apparatus, and program Download PDF

Info

Publication number
JP2016058940A
JP2016058940A JP2014185025A JP2014185025A JP2016058940A JP 2016058940 A JP2016058940 A JP 2016058940A JP 2014185025 A JP2014185025 A JP 2014185025A JP 2014185025 A JP2014185025 A JP 2014185025A JP 2016058940 A JP2016058940 A JP 2016058940A
Authority
JP
Japan
Prior art keywords
image
evaluation
moving image
graphic
still
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014185025A
Other languages
Japanese (ja)
Other versions
JP6641679B2 (en
Inventor
秀昭 近藤
Hideaki Kondo
秀昭 近藤
護 吉無田
Mamoru Yoshimuta
護 吉無田
暁生 下野
Akio Shimono
暁生 下野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014185025A priority Critical patent/JP6641679B2/en
Publication of JP2016058940A publication Critical patent/JP2016058940A/en
Application granted granted Critical
Publication of JP6641679B2 publication Critical patent/JP6641679B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

PROBLEM TO BE SOLVED: To reflect a drawing performed to a moving image to a still image.SOLUTION: In an image editing method, an apparatus, and a program, an input of a moving image is received, one or more still image is extracted from the moving image, the input of a figure or a sentence corresponding to any one of a position on a display image displaying the moving image is received, the received figure or sentence is overlapped to any one of the position on the display image displaying the moving image and is outputted, and the received figure or sentence is also overlapped to any one of the position on the display image displaying the still image and is outputted.SELECTED DRAWING: Figure 1

Description

本発明は、画像編集方法、画像編集装置、及び画像編集プログラムに関する。   The present invention relates to an image editing method, an image editing apparatus, and an image editing program.

従来、ビデオ・ディスプレー上に指導者又は受講者のスポーツ、演技又は行為等のビデオ動画を1コマずつの静止画とする体の動かし方を指導するための方法が提案されている。この方法では、静止画の上にそのコマを特徴付けている体の基本線をなぞって記入し、その線を画面上に残したまま次のコマに画面を切り換え、さらにその画像の上にそのコマを特徴付けている体の基本線をなぞって記入する。そして、次々とそのコマに於ける体の基本線をなぞって記入し、最後にそのスポーツ、演技又は行為等の画像を消去し、動画の代りに複数の基本線群のみを一画面上に表示し、その体の基本線の変化を受講者に理解させる。   2. Description of the Related Art Conventionally, a method has been proposed for instructing how to move a body by using a video animation such as sports, performance or action of an instructor or student on a video display. With this method, the basic line of the body characterizing the frame is drawn on the still image, the screen is switched to the next frame while leaving the line on the screen, and the image is further displayed on the image. Trace the basic body line that characterizes the frame. Then, after tracing the basic lines of the body in the frame one after another, the image of the sport, performance or action is erased, and only a plurality of basic line groups are displayed on one screen instead of the video. Then, let the students understand the changes in the basic line of the body.

特開2003−156994号公報JP 2003-156994 A

上記のように、従来の動画を用いた指導方法では、静止画上に記入した基本線群のみを表示しているが、動画または動画に含まれる静止画に対して行われた描画を、動画または動画に含まれる静止画と共に確認したい場合もある。   As described above, in the conventional teaching method using moving images, only the basic line group written on the still image is displayed, but the drawing performed on the moving image or the still image included in the moving image is displayed. Or you may want to check with the still images included in the video.

本発明は、一つの側面として、動画に対して行われた描画を静止画に反映させること、または静止画対して行われた描画を動画に反映させることを目的とする。   An object of the present invention is, as one aspect, to reflect a drawing performed on a moving image on a still image or to reflect a drawing performed on a still image on a moving image.

一つの態様では、動画の入力を受け付け、前記動画から1以上の静止画を抽出し、前記動画を表示する表示画像上のいずれかの位置に対する図形または文字の入力を受け付ける。そして、受け付けた前記図形または文字を、前記動画を表示する表示画像上の前記いずれかの位置に重畳して出力するとともに、前記静止画の表示画像上の前記いずれかの位置に対応する位置にも重畳して出力する。   In one aspect, an input of a moving image is received, one or more still images are extracted from the moving image, and an input of a graphic or a character at any position on a display image on which the moving image is displayed is received. Then, the received figure or character is superimposed and output at any position on the display image for displaying the moving image, and at a position corresponding to any position on the display image for the still image. Are also superimposed and output.

一つの側面として、動画に対して行われた描画を静止画に反映させること、または静止画対して行われた描画を動画に反映させることができる、という効果を有する。   As one aspect, there is an effect that the drawing performed on the moving image can be reflected on the still image, or the drawing performed on the still image can be reflected on the moving image.

第1及び第2実施形態に係る動画評価システムの機能ブロック図である。It is a functional block diagram of the moving image evaluation system which concerns on 1st and 2nd embodiment. 第1実施形態における動画評価情報データベースの各テーブルの一例を示す図である。It is a figure which shows an example of each table of the moving image evaluation information database in 1st Embodiment. 評価者用画面の一例を示す概略図である。It is the schematic which shows an example of the screen for evaluators. ユーザ用画面の一例を示す概略図である。It is the schematic which shows an example of the screen for users. 第1及び第2実施形態に係る画像編集装置として機能するコンピュータの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the computer which functions as an image editing apparatus which concerns on 1st and 2nd embodiment. ユーザ用処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process for users. 第1実施形態における評価者用処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process for evaluators in 1st Embodiment. 閲覧処理の一例を示すフローチャートである。It is a flowchart which shows an example of a browsing process. 評価依頼時の処理を示すシーケンス図である。It is a sequence diagram which shows the process at the time of an evaluation request. 評価時の処理を示すシーケンス図である。It is a sequence diagram which shows the process at the time of evaluation. 閲覧時の処理を示すシーケンス図である。It is a sequence diagram which shows the process at the time of browsing. 動画への評価図形の描画を説明するためのイメージ図である。It is an image figure for demonstrating drawing of the evaluation figure to a moving image. 静止画への評価図形の反映を説明するためのイメージ図である。It is an image figure for demonstrating reflection of the evaluation figure to a still image. 動画への評価図形の反映を説明するためのイメージ図である。It is an image figure for demonstrating reflection of the evaluation figure to a moving image. 動画への評価図形の反映を説明するためのイメージ図である。It is an image figure for demonstrating reflection of the evaluation figure to a moving image. 第2実施形態における動画評価情報データベースの各テーブルの一例を示す図である。It is a figure which shows an example of each table of the moving image evaluation information database in 2nd Embodiment. 静止画への評価図形の描画を説明するためのイメージ図である。It is an image figure for demonstrating drawing of the evaluation figure to a still image. 動画への評価図形の反映を説明するためのイメージ図である。It is an image figure for demonstrating reflection of the evaluation figure to a moving image. 静止画への評価図形の反映を説明するためのイメージ図である。It is an image figure for demonstrating reflection of the evaluation figure to a still image. 第2実施形態における評価者用処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process for evaluators in 2nd Embodiment.

以下、図面を参照して本発明に係る実施形態の一例を詳細に説明する。   Hereinafter, an example of an embodiment according to the present invention will be described in detail with reference to the drawings.

<第1実施形態>
図1に示すように、第1実施形態に係る動画評価システム100は、画像編集装置10と、複数のユーザ端末31と、複数の評価者端末32とを含む。画像編集装置10と、複数のユーザ端末31の各々、及び複数の評価者端末32の各々とは、ネットワークを介して接続されている。動画評価システム100では、ユーザ端末31及び評価者端末32の各々で動作するウェブブラウザを介して、動画評価システム100によるサービスが提供される。具体的には、ユーザがユーザ端末31から送信した動画データが示す動画に対して、評価者が評価者端末32で評価を行う。画像編集装置10では、動画に対する評価者の評価に応じて、動画データ及び動画データを構成する各フレームが示す静止画に対する画像編集を行い、評価結果をユーザ端末31へ返信する。
<First Embodiment>
As shown in FIG. 1, the moving image evaluation system 100 according to the first embodiment includes an image editing device 10, a plurality of user terminals 31, and a plurality of evaluator terminals 32. The image editing apparatus 10, each of the plurality of user terminals 31, and each of the plurality of evaluator terminals 32 are connected via a network. In the moving image evaluation system 100, a service by the moving image evaluation system 100 is provided via a web browser that operates on each of the user terminal 31 and the evaluator terminal 32. Specifically, the evaluator performs evaluation on the evaluator terminal 32 with respect to the moving image indicated by the moving image data transmitted from the user terminal 31 by the user. The image editing apparatus 10 performs image editing on the still image indicated by each frame constituting the moving image data and the moving image data according to the evaluation of the evaluator for the moving image, and returns the evaluation result to the user terminal 31.

ユーザ端末31及び評価者端末32は、パーソナルコンピュータ、タブレット端末、スマートフォン、携帯電話等の端末装置である。   The user terminal 31 and the evaluator terminal 32 are terminal devices such as a personal computer, a tablet terminal, a smartphone, and a mobile phone.

画像編集装置10は、図1に示すように、評価依頼受付部11と、静止画抽出部12と、評価図形受付部13と、出力部14とを含む。評価依頼受付部11は本発明の第1受付部の一例であり、静止画抽出部12は本発明の抽出部の一例であり、評価図形受付部13は第2受付部の一例である。また、画像編集装置10は、記憶部20を含み、記憶部20には、動画評価情報データベース(DB)21と、動画記憶部22と、評価図形記憶部23とが含まれる。また、動画評価情報DB21は、図2に示すように、動画評価情報テーブル21Aと、静止画用テーブル21Bと、動画用テーブル21Cとを含む。以下、各機能部及び動画評価情報DB21の各テーブルについて詳述する。   As shown in FIG. 1, the image editing apparatus 10 includes an evaluation request receiving unit 11, a still image extracting unit 12, an evaluation graphic receiving unit 13, and an output unit 14. The evaluation request receiving unit 11 is an example of the first receiving unit of the present invention, the still image extracting unit 12 is an example of the extracting unit of the present invention, and the evaluation graphic receiving unit 13 is an example of the second receiving unit. The image editing apparatus 10 includes a storage unit 20, and the storage unit 20 includes a moving image evaluation information database (DB) 21, a moving image storage unit 22, and an evaluation graphic storage unit 23. Further, as shown in FIG. 2, the moving image evaluation information DB 21 includes a moving image evaluation information table 21A, a still image table 21B, and a moving image table 21C. Hereinafter, each functional unit and each table of the moving image evaluation information DB 21 will be described in detail.

評価依頼受付部11は、ユーザ端末31から送信された評価依頼を受け付ける。評価依頼には、評価対象の動画を示す動画データ、及び評価依頼を送信したユーザを識別するためのユーザIDが含まれる。また、評価依頼には、評価者に対するコメント等のテキストデータを含めることもできる。なお、過去に受け付け済みの動画を評価対象の動画とする場合には、評価対象の動画を示す動画データに変えて、評価対象の動画を指定する情報を評価依頼に含めてもよい。評価依頼受付部11は、受け付けた評価依頼に含まれる動画データを動画記憶部22に記憶する。   The evaluation request receiving unit 11 receives an evaluation request transmitted from the user terminal 31. The evaluation request includes moving image data indicating a moving image to be evaluated and a user ID for identifying the user who transmitted the evaluation request. The evaluation request can also include text data such as comments for the evaluator. In addition, when a moving image that has been received in the past is used as a video to be evaluated, information that specifies the video to be evaluated may be included in the evaluation request instead of the video data indicating the video to be evaluated. The evaluation request receiving unit 11 stores the moving image data included in the received evaluation request in the moving image storage unit 22.

また、本実施形態では、同一の動画に対して異なる複数の評価依頼を受け付けることも可能としている。そこで、評価依頼受付部11は、評価依頼毎に、評価依頼を識別するための動画評価IDを付与する。そして、評価依頼受付部11は、動画評価IDに、ユーザID及び評価対象の動画を識別するための動画IDを対応付けて、例えば、図2に示すような動画評価情報テーブル21Aに登録する。動画IDは、動画データのファイル名や、動画データが記憶された動画記憶部22上の位置を示すパスなどとすることができる。なお、図2に示す動画評価情報テーブル21Aには、「評価者ID」の項目も含まれるが、評価依頼受付部11が動画を受け付けた段階では、「評価者ID」の項目はブランクである。   In the present embodiment, it is also possible to accept a plurality of different evaluation requests for the same moving image. Therefore, the evaluation request receiving unit 11 assigns a moving image evaluation ID for identifying the evaluation request for each evaluation request. Then, the evaluation request receiving unit 11 registers the moving image evaluation ID in the moving image evaluation information table 21A as shown in FIG. 2, for example, by associating the moving image evaluation ID with the moving image ID for identifying the moving image to be evaluated. The moving image ID can be a file name of moving image data, a path indicating a position on the moving image storage unit 22 where the moving image data is stored, or the like. The moving image evaluation information table 21A illustrated in FIG. 2 includes an item “evaluator ID”, but the item “evaluator ID” is blank when the evaluation request receiving unit 11 receives the moving image. .

静止画抽出部12は、動画データを構成する各フレームから、静止画として表示するための所定数のフレームを、静止画抽出ルールに従って抽出する。静止画抽出ルールとしては、例えば、10フレーム目、50フレーム目、100フレーム目、・・・のように予め定めたパターンでフレームを抽出するルールとすることができる。また、直接抽出するフレームを定めるのではなく、1秒目、2秒目、3秒目・・・のように動画の開始時からの時間を定めたパターンとしてもよい。   The still image extraction unit 12 extracts a predetermined number of frames to be displayed as a still image from each frame constituting the moving image data according to a still image extraction rule. As a still image extraction rule, for example, a frame can be extracted with a predetermined pattern such as the 10th frame, the 50th frame, the 100th frame, and so on. Further, instead of determining the frame to be directly extracted, a pattern in which the time from the start of the moving image is defined as in the first second, the second second, the third second,...

また、静止画抽出ルールとして、評価者から抽出するフレームの指定を受け付け、指定されたフレームを抽出するルールとしてもよい。評価者は、例えば、動画をコマ送り再生するなどして、所望のフレームを指定することができる。この場合も、抽出するフレームの指示に限らず、時間による指定を受け付けてもよい。なお、抽出するフレームが時間で指定された場合は、指定された時間に対応するフレームを抽出すればよい。さらに、静止画抽出ルールとして、予め定めた特徴を示すフレームを抽出するルールとしてもよい。予め定めた特徴を示すフレームは、例えば、パターンマッチングや、フレームが示す画像から抽出した特徴量と予め学習された学習モデルとの比較などにより抽出することができる。   The still image extraction rule may be a rule for accepting designation of a frame to be extracted from the evaluator and extracting the designated frame. The evaluator can designate a desired frame by, for example, frame-by-frame playback of the moving image. Also in this case, not only the instruction of the frame to be extracted but also designation by time may be accepted. When the frame to be extracted is designated by time, a frame corresponding to the designated time may be extracted. Further, the still image extraction rule may be a rule for extracting a frame showing a predetermined feature. A frame indicating a predetermined feature can be extracted by, for example, pattern matching or comparison between a feature amount extracted from an image indicated by the frame and a learning model learned in advance.

静止画抽出部12は、静止画として表示するためのフレームを抽出するための静止画抽出ルール、または実際に抽出したフレームのフレームIDを、動画評価IDと対応付けて、図2に示すような静止画用テーブル21Bに登録する。フレームIDは、開始フレームからの通し番号である。なお、図2に示す静止画用テーブル21Bには、「評価図形ID」の項目も含まれるが、後述する評価図形データが記憶されていない段階では、「評価図形ID」の項目はブランクである。   The still image extraction unit 12 associates the still image extraction rule for extracting a frame to be displayed as a still image or the frame ID of the actually extracted frame with the moving image evaluation ID as shown in FIG. Register in the still image table 21B. The frame ID is a serial number from the start frame. The still image table 21B shown in FIG. 2 includes an item “evaluation graphic ID”, but the item “evaluation graphic ID” is blank at a stage where evaluation graphic data described later is not stored. .

評価図形受付部13は、評価者端末32において、評価者が動画を評価するために描画した図形または文字(以下、「評価図形」という)を示す評価図形データを受け付け、受け付けた評価図形データを評価図形記憶部23に記憶する。評価図形の描画は、後述するように、評価者端末32において動画が再生される表示領域に対して行われる。評価図形データは、表示領域のどの位置に対して描画が行われたかを示す座標データ群と刷ることができる。また、評価図形受付部13は、評価図形を識別するための評価図形IDを評価図形データに付与し、静止画用テーブル21Bにおいて、対応する動画評価IDの「評価図形ID」の項目に登録する。   The evaluation graphic accepting unit 13 accepts evaluation graphic data indicating a graphic or a character (hereinafter referred to as “evaluation graphic”) drawn by the evaluator at the evaluator terminal 32 to evaluate the moving image. Stored in the evaluation graphic storage unit 23. As will be described later, the evaluation graphic is drawn on the display area in which the moving image is reproduced in the evaluator terminal 32. The evaluation graphic data can be printed with a coordinate data group indicating to which position in the display area the drawing is performed. Further, the evaluation graphic accepting unit 13 assigns an evaluation graphic ID for identifying the evaluation graphic to the evaluation graphic data, and registers it in the item of “evaluation graphic ID” of the corresponding video evaluation ID in the still image table 21B. .

出力部14は、評価者端末32で動作するウェブブラウザに、例えば図3に示すような評価者用画面70を表示する。評価者用画面70は、動画の再生または静止画の表示を行うためのメイン表示領域71と、静止画抽出部12で抽出された所定数(図3の例では3つ)のフレームが示す静止画のサムネイル画像が表示されるサブ表示領域72とを含む。また、評価者用画面70には、描画機能を実現するためのインターフェースとして、描画ツール73が選択可能に表示される。   The output unit 14 displays, for example, an evaluator screen 70 as shown in FIG. 3 on a web browser operating on the evaluator terminal 32. The evaluator screen 70 has a main display area 71 for playing a moving image or displaying a still image, and a still number indicated by a predetermined number (three in the example of FIG. 3) of frames extracted by the still image extraction unit 12. And a sub display area 72 in which thumbnail images of images are displayed. On the evaluator screen 70, a drawing tool 73 is displayed so as to be selectable as an interface for realizing the drawing function.

また、出力部14は、評価者により評価依頼が選択されると、図2に示す動画評価情報テーブル21Aにおいて、選択された評価依頼の「評価者ID」の項目に、評価者を識別するための評価者IDを仮登録する。また、出力部14は、動画評価情報テーブル21Aを参照して、選択された評価依頼における評価対象の動画を特定し、特定した動画を示す動画データを動画記憶部22から取得する。出力部14は、取得した動画データが示す動画をメイン表示領域71で再生する。また、出力部14は、静止画抽出部12により静止画が抽出されると、静止画用テーブル21Bを参照して、静止画として表示するフレームを特定し、特定したフレームが示す静止画のサムネイル画像をサブ表示領域72に表示する。   When the evaluation request is selected by the evaluator, the output unit 14 identifies the evaluator in the item “evaluator ID” of the selected evaluation request in the moving image evaluation information table 21A shown in FIG. Is temporarily registered. Further, the output unit 14 refers to the moving image evaluation information table 21 </ b> A, specifies a moving image to be evaluated in the selected evaluation request, and acquires moving image data indicating the specified moving image from the moving image storage unit 22. The output unit 14 reproduces the moving image indicated by the acquired moving image data in the main display area 71. When the still image extraction unit 12 extracts a still image, the output unit 14 refers to the still image table 21B to identify a frame to be displayed as a still image, and a still image thumbnail indicated by the identified frame. The image is displayed in the sub display area 72.

また、出力部14は、動画の全再生時間中のどの区間に評価図形を反映させるかを示す動画反映ルールを受け付ける。動画の「区間」は、本発明の動画の一部の画像の一例である。出力部14は、受け付けた動画反映ルール及び動画反映ルールに従って評価図形を重畳表示させる動画の区間を、例えば図2に示すような動画用テーブル21Cに登録する。   Further, the output unit 14 accepts a moving image reflection rule indicating which section in the entire reproduction time of the moving image the evaluation graphic is to be reflected. The “section” of the moving image is an example of a partial image of the moving image of the present invention. The output unit 14 registers a moving image reflection rule and a moving image section in which the evaluation graphic is superimposed and displayed according to the received moving image reflection rule in the moving image table 21 </ b> C as illustrated in FIG. 2, for example.

図2の例では、動画反映ルールが「全体」の場合は、動画の再生時間の全区間にわたって評価図形を重畳表示させることを表している。また、動画反映ルールが「代表前後」の場合には、動画を構成する複数のフレームのうち、評価者により選択された代表フレームを基準とした前後の所定フレーム数分の区間に評価図形を重畳表示させることを表している。例えば、フレームIDが60のフレームが代表フレームとして選択され、代表フレームの20フレーム前から30フレーム後までの区間が指定されたとする。この場合、出力部14は、「表示開始フレームID」に「40」、「表示終了フレームID」に「90」を登録する。また、「表示開始フレームID」及び「表示終了フレームID」が「null」の場合は、前後のフレーム数が指定されなかった場合を表している。この場合、代表フレームを基準とした予め定めた区間(例えば、前後15フレーム)を、評価図形を重畳表示する区間とすることができる。   In the example of FIG. 2, when the moving image reflection rule is “whole”, this indicates that the evaluation graphic is superimposed and displayed over the entire interval of the moving image playback time. In addition, when the video reflection rule is “before and after representative”, an evaluation figure is superimposed on a predetermined number of frames before and after the representative frame selected by the evaluator among a plurality of frames constituting the video. Indicates that it is displayed. For example, assume that a frame with a frame ID of 60 is selected as a representative frame, and a section from 20 frames before and 30 frames after the representative frame is designated. In this case, the output unit 14 registers “40” in the “display start frame ID” and “90” in the “display end frame ID”. Further, when “display start frame ID” and “display end frame ID” are “null”, the number of frames before and after is not specified. In this case, a predetermined section (for example, 15 frames before and after) based on the representative frame can be set as a section in which the evaluation graphic is superimposed and displayed.

また、動画反映ルールが「代表以降」の場合には、代表フレームから動画の最終フレームまでの区間に評価図形を重畳表示させることを表している。なお、代表フレームは、静止画抽出部12で抽出されたフレームから選択することができる。また、1つの評価依頼に対して1つの代表フレームが選択されてもよいし、複数の代表フレームが選択されてもよい。   In addition, when the moving image reflection rule is “representative or later”, this indicates that the evaluation graphic is superimposed and displayed in the section from the representative frame to the final frame of the moving image. The representative frame can be selected from the frames extracted by the still image extraction unit 12. One representative frame may be selected for one evaluation request, or a plurality of representative frames may be selected.

また、出力部14は、評価図形受付部13により評価図形データが受け付けられると、選択された評価依頼を示す動画評価IDに対応する評価図形を、静止画用テーブル21Bを参照して特定する。そして、出力部14は、特定した評価図形を示す評価図形データを評価図形記憶部23から取得する。また、出力部14は、動画用テーブル21Cを参照して、評価図形を重畳表示させる動画の区間を特定する。出力部14は、取得した評価図形データが示す評価図形を、メイン表示領域71で再生中の動画の、特定した区間において重畳して表示する。さらに、出力部14は、取得した評価図形データが示す評価図形を、サブ表示領域72に表示されている静止画に重畳して表示する。この際、メイン表示領域71のサイズに対するサムネイル画像のサイズで表される縮小率で評価図形を縮小し、動画に対して評価図形が描画された位置に対応する静止画の位置に評価図形を重畳する。   Further, when the evaluation graphic data is received by the evaluation graphic receiving unit 13, the output unit 14 specifies the evaluation graphic corresponding to the moving image evaluation ID indicating the selected evaluation request with reference to the still image table 21B. Then, the output unit 14 acquires evaluation graphic data indicating the specified evaluation graphic from the evaluation graphic storage unit 23. Further, the output unit 14 refers to the moving image table 21 </ b> C and specifies a moving image section in which the evaluation graphic is superimposed and displayed. The output unit 14 superimposes and displays the evaluation graphic indicated by the acquired evaluation graphic data in the specified section of the moving image being reproduced in the main display area 71. Furthermore, the output unit 14 superimposes and displays the evaluation graphic indicated by the acquired evaluation graphic data on the still image displayed in the sub display area 72. At this time, the evaluation graphic is reduced at a reduction ratio represented by the size of the thumbnail image with respect to the size of the main display area 71, and the evaluation graphic is superimposed on the position of the still image corresponding to the position where the evaluation graphic is drawn on the moving image. To do.

さらに、出力部14は、ユーザ端末31で動作するウェブブラウザに、例えば図4に示すようなユーザ用画面76を表示する。ユーザ用画面76は、描画ツール73が表示されない点を除いて、評価者用画面70と同様である。すなわち、ユーザ用画面76は、メイン表示領域77と、サブ表示領域78とを含む。   Further, the output unit 14 displays a user screen 76 as shown in FIG. 4 on the web browser operating on the user terminal 31. The user screen 76 is the same as the evaluator screen 70 except that the drawing tool 73 is not displayed. That is, the user screen 76 includes a main display area 77 and a sub display area 78.

また、出力部14は、ユーザにより評価結果の閲覧が要求されると、対象の動画をメイン表示領域77で再生すると共に、対応する動画反映ルールに従った動画の区間に、対応する評価図形を重畳表示する。また、出力部14は、対応する静止画抽出ルールに従って対象の動画から抽出された静止画に、対応する評価図形を重畳し、サムネイル画像としてサブ表示領域78に表示する。動画の再生、サムネイル画像の表示、及び評価図形の重畳表示の処理については、評価者用画面70に対する処理と同様であるため、詳細な説明を省略する。また、出力部14は、評価結果が閲覧されるユーザ端末31が、動画の再生機能を有さない場合には、メイン表示領域77に、サムネイル画像のいずれかから選択された静止画に評価図形を重畳して表示する。なお、サムネイル画像の選択を変更することにより、メイン表示領域77に表示される静止画は切り替えられる。また、評価者用画面70のメイン表示領域71にも、同様に、静止画を表示可能としてもよい。   In addition, when the user is requested to view the evaluation result, the output unit 14 reproduces the target moving image in the main display area 77 and displays a corresponding evaluation graphic in the moving image section according to the corresponding moving image reflection rule. Superimposed display. In addition, the output unit 14 superimposes the corresponding evaluation graphic on the still image extracted from the target moving image in accordance with the corresponding still image extraction rule, and displays it as a thumbnail image in the sub display area 78. The processing of playing a moving image, displaying thumbnail images, and superimposing an evaluation graphic is the same as the processing for the evaluator screen 70, and thus detailed description thereof is omitted. Further, when the user terminal 31 on which the evaluation result is browsed does not have a moving image playback function, the output unit 14 displays an evaluation graphic on the still image selected from any of the thumbnail images in the main display area 77. Is superimposed and displayed. Note that the still image displayed in the main display area 77 is switched by changing the selection of the thumbnail image. Similarly, still images may be displayed in the main display area 71 of the evaluator screen 70.

なお、出力部14は、ユーザ端末31及び評価者端末32に対するメニュー画面等の表示、各種情報の送受信も行う。出力部14によるユーザ端末31または評価者端末32への各種画面、動画、及び静止画の表示は、表示する画面等を示すHTML(HyperText Markup Language)データをユーザ端末31または評価者端末32に送信することにより行う。   The output unit 14 also displays a menu screen and the like on the user terminal 31 and the evaluator terminal 32 and transmits / receives various information. For display of various screens, moving images, and still images on the user terminal 31 or the evaluator terminal 32 by the output unit 14, HTML (HyperText Markup Language) data indicating the screen to be displayed is transmitted to the user terminal 31 or the evaluator terminal 32. To do.

画像編集装置10は、例えば図5に示すコンピュータ40で実現することができる。コンピュータ40はCPU41、一時記憶領域としてのメモリ42、及び不揮発性の記憶装置43を備える。また、コンピュータ40は、入出力装置48が接続される入出力インターフェース(I/F)44を備える。また、コンピュータ40は、記録媒体49に対するデータの読み込み及び書き込みを制御するread/write(R/W)部45、及びインターネット等のネットワークに接続されるネットワークI/F46を備える。CPU41、メモリ42、記憶装置43、入出力I/F44、R/W部45、及びネットワークI/F46は、バス47を介して互いに接続される。   The image editing apparatus 10 can be realized by, for example, a computer 40 shown in FIG. The computer 40 includes a CPU 41, a memory 42 as a temporary storage area, and a nonvolatile storage device 43. The computer 40 also includes an input / output interface (I / F) 44 to which an input / output device 48 is connected. The computer 40 also includes a read / write (R / W) unit 45 that controls reading and writing of data with respect to the recording medium 49 and a network I / F 46 connected to a network such as the Internet. The CPU 41, memory 42, storage device 43, input / output I / F 44, R / W unit 45, and network I / F 46 are connected to each other via a bus 47.

記憶装置43はHDD(Hard Disk Drive)、SSD(solid state drive)、フラッシュメモリ等によって実現できる。記憶媒体としての記憶装置43には、コンピュータ40を画像編集装置10として機能させるための画像編集プログラム50が記憶される。また、記憶装置43は、動画評価情報記憶領域61と、動画データ記憶領域62と、評価図形データ記憶領域63とを有する。   The storage device 43 can be realized by a hard disk drive (HDD), a solid state drive (SSD), a flash memory, or the like. The storage device 43 as a storage medium stores an image editing program 50 for causing the computer 40 to function as the image editing device 10. In addition, the storage device 43 includes a moving image evaluation information storage area 61, a moving image data storage area 62, and an evaluation graphic data storage area 63.

CPU41は、画像編集プログラム50を記憶装置43から読み出してメモリ42に展開し、画像編集プログラム50が有するプロセスを順次実行する。画像編集プログラム50は、評価依頼受付プロセス51と、静止画抽出プロセス52と、評価図形受付プロセス53と、出力プロセス54とを有する。   The CPU 41 reads the image editing program 50 from the storage device 43 and develops it in the memory 42, and sequentially executes the processes included in the image editing program 50. The image editing program 50 includes an evaluation request reception process 51, a still image extraction process 52, an evaluation graphic reception process 53, and an output process 54.

CPU41は、評価依頼受付プロセス51を実行することで、図1に示す評価依頼受付部11として動作する。また、CPU41は、静止画抽出プロセス52を実行することで、図1に示す静止画抽出部12として動作する。また、CPU41は、評価図形受付プロセス53を実行することで、図1に示す評価図形受付部13として動作する。また、CPU41は、出力プロセス54を実行することで、図1に示す出力部14として動作する。また、CPU41は、動画評価情報記憶領域61に記憶された情報を読み出して、例えば図2に示すような動画評価情報DB21の各テーブルとしてメモリ42に展開する。なお、動画データ記憶領域62は、図1に示す動画記憶部22として機能し、評価図形データ記憶領域63は、図1に示す評価図形記憶部23として機能する。これにより、画像編集プログラム50を実行したコンピュータ40が、画像編集装置10として機能することになる。   The CPU 41 operates as the evaluation request receiving unit 11 illustrated in FIG. 1 by executing the evaluation request receiving process 51. Further, the CPU 41 operates as the still image extraction unit 12 illustrated in FIG. 1 by executing the still image extraction process 52. In addition, the CPU 41 operates as the evaluation graphic receiving unit 13 illustrated in FIG. 1 by executing the evaluation graphic receiving process 53. Further, the CPU 41 operates as the output unit 14 illustrated in FIG. 1 by executing the output process 54. Further, the CPU 41 reads the information stored in the moving image evaluation information storage area 61 and develops it in the memory 42 as each table of the moving image evaluation information DB 21 as shown in FIG. The moving image data storage area 62 functions as the moving image storage section 22 shown in FIG. 1, and the evaluation graphic data storage area 63 functions as the evaluation graphic storage section 23 shown in FIG. As a result, the computer 40 that has executed the image editing program 50 functions as the image editing apparatus 10.

なお、画像編集装置10は、例えば半導体集積回路、より詳しくはASIC(Application Specific Integrated Circuit)等で実現することも可能である。   Note that the image editing apparatus 10 can be realized by, for example, a semiconductor integrated circuit, more specifically, an ASIC (Application Specific Integrated Circuit) or the like.

次に、第1実施形態に係る動画評価システム100の作用について説明する。まず、ユーザがユーザ端末31上で動作するウェブブラウザを介して、動画評価システム100によるサービスを受けるためのサイトにログインする。この場合、画像編集装置10では、図6に示すユーザ用処理が実行される。そして、評価者が評価者端末32上で動作するウェブブラウザを介して、動画評価システム100のサイトにログインする。この場合、画像編集装置10では、図7に示す評価者用処理が実行される。以下、各処理について、図9〜図11のシーケンス図も参照して説明する。なお、図9〜図11のシーケンス図では、例えばログインなどの一般的な処理については、一部記載を省略している。   Next, the operation of the moving image evaluation system 100 according to the first embodiment will be described. First, a user logs in to a site for receiving a service by the moving image evaluation system 100 via a web browser operating on the user terminal 31. In this case, the image editing apparatus 10 executes the user process shown in FIG. Then, the evaluator logs in to the site of the moving image evaluation system 100 via a web browser that operates on the evaluator terminal 32. In this case, the image editing apparatus 10 executes the evaluator process shown in FIG. Each process will be described below with reference to the sequence diagrams of FIGS. In addition, in the sequence diagrams of FIGS. 9 to 11, a part of general processing such as login is omitted.

図6に示すユーザ用処理のステップS11で、出力部14が、ログイン時に入力されたユーザのユーザIDを取得する。次に、ステップS12で、出力部14が、評価依頼または評価結果の閲覧のいずれかを選択するためのメニュー画面を、ユーザ端末31に表示する。次に、ステップS13で、出力部14が、ユーザによりメニュー画面から評価依頼が選択されたか否かを判定する。肯定判定の場合には、処理はステップS14へ移行し、否定判定の場合には、メニュー画面から評価結果の閲覧が選択されたと判定して、処理はステップS30へ移行し、後述する閲覧処理が実行される。   In step S11 of the user process shown in FIG. 6, the output unit 14 acquires the user ID of the user input at the time of login. Next, in step S <b> 12, the output unit 14 displays a menu screen on the user terminal 31 for selecting either the evaluation request or the browsing of the evaluation result. Next, in step S13, the output unit 14 determines whether an evaluation request is selected from the menu screen by the user. If the determination is affirmative, the process proceeds to step S14. If the determination is negative, it is determined that browsing of the evaluation result is selected from the menu screen, the process proceeds to step S30, and a browsing process described later is performed. Executed.

ステップS14では、出力部14が、ユーザが評価依頼を行うための評価依頼画面を表示する(図9の81)。評価依頼画面は、評価対象の動画の指定、評価者へのコメント等を入力可能な画面であり、評価依頼を画像編集装置10へ送信する際に選択される送信ボタンを含む。   In step S14, the output unit 14 displays an evaluation request screen for the user to make an evaluation request (81 in FIG. 9). The evaluation request screen is a screen on which a video to be evaluated, a comment to the evaluator, and the like can be input, and includes a transmission button that is selected when transmitting the evaluation request to the image editing apparatus 10.

ユーザは、評価してもらいたい動画を撮影し、評価依頼画面において、評価対象の動画として指定し、必要に応じてコメント等を入力する(図9の82)。そして、送信ボタンを選択することにより、撮影された動画を示す動画データ、上記ステップS11で取得したユーザID、及びコメント等を含む評価依頼が画像編集装置10へ送信される(図9の83)。なお、送信する動画データは、この時点で撮影された動画を示す動画データに限定されない。予め撮影し、ユーザ端末31内に記憶しておいた動画データ、または外部から取り込んだ動画データであってもよい。   The user shoots a video to be evaluated, designates it as a video to be evaluated on the evaluation request screen, and inputs a comment or the like as necessary (82 in FIG. 9). Then, by selecting a transmission button, an evaluation request including moving image data indicating the captured moving image, the user ID acquired in step S11, a comment, and the like is transmitted to the image editing apparatus 10 (83 in FIG. 9). . Note that the moving image data to be transmitted is not limited to moving image data indicating the moving image shot at this time. It may be moving image data previously captured and stored in the user terminal 31 or moving image data taken from the outside.

次に、ステップS15で、評価依頼受付部11が、ユーザ端末31から送信された評価依頼を受け付ける。次に、ステップS16で、評価依頼受付部11が、受け付けた評価依頼に含まれる動画データを動画記憶部22に記憶する。また、評価依頼受付部11が、受け付けた評価依頼に動画評価IDを付与し、評価対象の動画を識別するための動画IDと共に、例えば、図2に示すような動画評価情報テーブル21Aに登録し、ユーザ用処理を終了する。   Next, the evaluation request reception part 11 receives the evaluation request transmitted from the user terminal 31 in step S15. Next, in step S <b> 16, the evaluation request receiving unit 11 stores the moving image data included in the received evaluation request in the moving image storage unit 22. Further, the evaluation request receiving unit 11 assigns a moving image evaluation ID to the received evaluation request, and registers it in the moving image evaluation information table 21A as shown in FIG. 2 together with the moving image ID for identifying the moving image to be evaluated. The user process is terminated.

次に、図7に示す評価者用処理のステップS21で、出力部14が、ログイン時に入力された評価者の評価者IDを取得する。次に、ステップS22で、未処理の評価依頼が存在するか否かを判定する。この判定は、例えば、動画評価情報テーブル21Aの「評価者ID」がブランクの評価依頼を、未処理の評価依頼と判定することができる。肯定判定の場合には、処理はステップS23へ移行し、否定判定の場合には、評価者用処理を終了する。   Next, in step S21 of the process for evaluator shown in FIG. 7, the output unit 14 acquires the evaluator ID of the evaluator input at the time of login. Next, in step S22, it is determined whether there is an unprocessed evaluation request. In this determination, for example, an evaluation request having a blank “evaluator ID” in the moving image evaluation information table 21A can be determined as an unprocessed evaluation request. If the determination is affirmative, the process proceeds to step S23. If the determination is negative, the evaluator process ends.

ステップS23では、出力部14が、評価者によるユーザの指定(図10の85)として、評価者端末32からユーザIDを受け付ける(図10の86)。そして、出力部14は、動画評価情報テーブル21Aを参照して、指定されたユーザについての未処理の評価依頼を特定し、評価者端末32に、指定されたユーザの未処理の評価依頼の一覧を表示する(図10の86)。   In step S23, the output unit 14 receives a user ID from the evaluator terminal 32 (86 in FIG. 10) as a user designation (85 in FIG. 10) by the evaluator. Then, the output unit 14 refers to the video evaluation information table 21A, identifies an unprocessed evaluation request for the specified user, and sends a list of unprocessed evaluation requests for the specified user to the evaluator terminal 32. Is displayed (86 in FIG. 10).

次に、ステップS24で、出力部14が、評価者により、評価依頼の一覧から選択された(図10の88)評価依頼の動画評価IDを受け付ける(図10の89)。そして、出力部14が、評価者端末32に、例えば図3に示すような評価者用画面70を表示する(図10の90)。次に、出力部14は、図2に示す動画評価情報テーブル21Aにおいて、受け付けた動画評価IDに対応する「評価者ID」の項目に、ステップS21で取得した評価者IDを仮登録する。また、出力部14は、受け付けた動画評価IDに対応する動画を、動画評価情報テーブル21Aを参照して特定し、特定した動画を示す動画データを動画記憶部22から取得する(図10の91)。そして、出力部14は、取得した動画データが示す動画をメイン表示領域71で再生する(図10の92)。   Next, in step S24, the output unit 14 receives the video evaluation ID of the evaluation request (88 in FIG. 10) selected from the list of evaluation requests by the evaluator (89 in FIG. 10). Then, the output unit 14 displays an evaluator screen 70 as shown in FIG. 3, for example, on the evaluator terminal 32 (90 in FIG. 10). Next, the output unit 14 provisionally registers the evaluator ID acquired in step S21 in the “evaluator ID” item corresponding to the received video evaluation ID in the video evaluation information table 21A illustrated in FIG. Further, the output unit 14 specifies a video corresponding to the received video evaluation ID with reference to the video evaluation information table 21A, and acquires video data indicating the specified video from the video storage unit 22 (91 in FIG. 10). ). And the output part 14 reproduces | regenerates the moving image which the acquired moving image data show in the main display area 71 (92 of FIG. 10).

次に、ステップS25で、出力部14が、評価者端末32に、静止画抽出ルールを選択するための画面を表示する。そして、静止画抽出部12が、評価者により選択された(図10の93)静止画抽出ルールを受け付ける(図10の94)。次に、静止画抽出部12が、動画データを構成する各フレームから、静止画として表示するための所定数のフレームを、選択された静止画抽出ルールに従って抽出する。そして、静止画抽出部12は、選択された静止画抽出ルール、または静止画抽出ルールに従って実際に抽出したフレームのフレームIDを、動画評価IDと対応付けて、図2に示すような静止画用テーブル21Bに登録する(図10の95)。そして、出力部14が、静止画用テーブル21Bを参照して、静止画として表示するフレーム、すなわち、静止画抽出ルールに従って抽出されたフレームを特定し、特定したフレームが示す静止画のサムネイル画像をサブ表示領域72に表示する(図10の96)。   Next, in step S <b> 25, the output unit 14 displays a screen for selecting a still image extraction rule on the evaluator terminal 32. Then, the still image extraction unit 12 receives the still image extraction rule selected by the evaluator (93 in FIG. 10) (94 in FIG. 10). Next, the still image extraction unit 12 extracts a predetermined number of frames to be displayed as a still image from each frame constituting the moving image data according to the selected still image extraction rule. Then, the still image extraction unit 12 associates the frame ID of the frame actually extracted according to the selected still image extraction rule or the still image extraction rule with the moving image evaluation ID, as shown in FIG. It is registered in the table 21B (95 in FIG. 10). Then, the output unit 14 refers to the still image table 21B, identifies a frame to be displayed as a still image, that is, a frame extracted according to the still image extraction rule, and selects a still image thumbnail image indicated by the identified frame. This is displayed in the sub display area 72 (96 in FIG. 10).

次に、ステップS26で、評価図形受付部13が、動画が再生されている状態のメイン表示領域71に対して描画された評価図形を示す評価図形データを受け付ける。例えば、評価者による描画(図10の97)が完了した際に、評価者用画面70に設けられた完了ボタン(図示省略)が評価者により選択されることにより、描画された評価図形を示す評価図形データが画像編集装置10に送信される(図10の98)。   Next, in step S26, the evaluation graphic receiving unit 13 receives evaluation graphic data indicating an evaluation graphic drawn on the main display area 71 in a state where a moving image is being reproduced. For example, when drawing by the evaluator (97 in FIG. 10) is completed, a completed button (not shown) provided on the evaluator screen 70 is selected by the evaluator to show the drawn evaluation graphic. The evaluation graphic data is transmitted to the image editing apparatus 10 (98 in FIG. 10).

次に、ステップS27で、評価図形受付部13が、受け付けた評価図形データを評価図形記憶部23に記憶する。また、評価図形受付部13は、評価図形IDを評価図形データに付与し、静止画用テーブル21Bにおいて、上記ステップS24で受け付けた動画評価IDに対応する「評価図形ID」の項目に登録する(図10の99)。   Next, in step S <b> 27, the evaluation graphic receiving unit 13 stores the received evaluation graphic data in the evaluation graphic storage unit 23. Further, the evaluation graphic accepting unit 13 assigns the evaluation graphic ID to the evaluation graphic data, and registers it in the item of “evaluation graphic ID” corresponding to the moving image evaluation ID received in step S24 in the still image table 21B ( 99 in FIG.

次に、ステップS28で、出力部14が、上記ステップS24で受け付けた動画評価IDに対応する評価図形を、静止画用テーブル21Bを参照して特定し、特定した評価図形を示す評価図形データを評価図形記憶部23から取得する。そして、出力部14は、取得した評価図形データが示す評価図形を、サブ表示領域72に表示されている静止画に重畳して表示する(図10の101)。これにより、図12に示すように、静止画ではなく、再生されている動画に対して行った評価図形の描画を、図13に示すように、静止画に反映させることができる。   Next, in step S28, the output unit 14 specifies an evaluation graphic corresponding to the moving image evaluation ID received in step S24 with reference to the still image table 21B, and evaluation graphic data indicating the specified evaluation graphic is obtained. Obtained from the evaluation graphic storage unit 23. Then, the output unit 14 superimposes and displays the evaluation graphic indicated by the acquired evaluation graphic data on the still image displayed in the sub display area 72 (101 in FIG. 10). Thereby, as shown in FIG. 12, the drawing of the evaluation graphic performed on the reproduced moving image instead of the still image can be reflected in the still image as shown in FIG.

また、ステップS29で、出力部14が、評価者端末32に、動画反映ルールを選択するための画面を表示する。そして、出力部14が、評価者により選択された(図10の102)動画反映ルールを受け付ける(図10の103)。出力部14は、受け付けた動画反映ルール及び動画反映ルールに従って評価図形を重畳表示させる動画の区間を、例えば図2に示すような動画用テーブル21Cに登録する(図10の104)。そして、出力部14は、動画用テーブル21Cを参照して、評価図形を重畳表示させる動画の区間を特定し、受け付けた動画評価IDに対応する評価図形を、メイン表示領域71で再生中の動画の、特定した区間において重畳して表示する(図10の105)。具体的には、再生する動画を構成するフレームのうち、特定した区間の開始フレームがメイン表示領域71に表示されるタイミングで評価図形の重畳表示を開始する。そして、特定した区間の終了フレームの次のフレームがメイン表示領域71に表示されるタイミングで評価図形の重畳表示を終了する。   In step S <b> 29, the output unit 14 displays a screen for selecting a moving image reflection rule on the evaluator terminal 32. Then, the output unit 14 accepts the movie reflection rule selected by the evaluator (102 in FIG. 10) (103 in FIG. 10). The output unit 14 registers the moving image reflection rule and the moving image section in which the evaluation graphic is superimposed and displayed according to the received moving image reflection rule, for example, in the moving image table 21C as illustrated in FIG. 2 (104 in FIG. 10). Then, the output unit 14 refers to the moving image table 21 </ b> C, identifies the moving image section in which the evaluation graphic is superimposed and displays the evaluation graphic corresponding to the received moving image evaluation ID in the main display area 71. Are superimposed and displayed in the specified section (105 in FIG. 10). Specifically, the superimposed display of the evaluation graphic is started at the timing when the start frame of the specified section is displayed in the main display area 71 among the frames constituting the moving image to be reproduced. Then, the superimposed display of the evaluation graphic is finished at the timing when the frame next to the end frame of the specified section is displayed in the main display area 71.

これにより、図12に示すように、動画に対して行った評価図形の描画を、図14に示すように、そのまま動画を再生する際に反映させることができる。また、評価図形を重畳表示させる動画の区間を指定した場合には、図15に示すように、必要な区間にのみ評価図形を反映させることができる。   Thereby, as shown in FIG. 12, the drawing of the evaluation graphic performed on the moving image can be reflected as it is when the moving image is reproduced as shown in FIG. In addition, when the moving image section on which the evaluation graphic is superimposed is designated, as shown in FIG. 15, the evaluation graphic can be reflected only in the necessary section.

次に、ステップS30で、出力部14が、上記ステップS24で、動画評価情報テーブル21Aにおいて仮登録としていた評価者IDを本登録することで、評価結果を確定する。なお、仮登録と本登録とは、「評価者ID」の項目に、仮登録の状態か本登録の状態かを示す属性情報を持たせること区別することができる。本ステップの処理が終了すると、評価者用処理は終了する。   Next, in step S30, the output unit 14 finalizes the evaluation result by performing main registration of the evaluator ID temporarily registered in the moving image evaluation information table 21A in step S24. Note that provisional registration and main registration can be distinguished by having attribute information indicating whether the item is “temporary registration” or “main registration” in the item “evaluator ID”. When the process of this step is finished, the process for the evaluator is finished.

次に、図6のステップS30で実行される閲覧処理について説明する。図8に示す閲覧処理のステップS31で、出力部14が、ログイン時に入力されたユーザのユーザIDを取得する。次に、ステップS32で、出力部14が、動画評価情報テーブル21Aを参照して、取得したユーザIDに対応し、かつ対応する「評価者ID」の項目が本登録されている動画評価IDの一覧を、ユーザ端末31に表示する(図11の106)。次に、ステップS33で、出力部14が、ユーザにより一覧から選択された(図11の107)評価結果を示す動画評価IDを受け付ける(図11の108)。   Next, the browsing process executed in step S30 in FIG. 6 will be described. In step S31 of the browsing process shown in FIG. 8, the output unit 14 acquires the user ID of the user input at the time of login. Next, in step S32, the output unit 14 refers to the moving image evaluation information table 21A, corresponds to the acquired user ID, and the corresponding “evaluator ID” item is the registered moving image evaluation ID. The list is displayed on the user terminal 31 (106 in FIG. 11). Next, in step S33, the output unit 14 receives a moving image evaluation ID indicating the evaluation result selected from the list by the user (107 in FIG. 11) (108 in FIG. 11).

次に、ステップS34で、出力部14が、評価結果の閲覧を要求しているユーザ端末31が動画再生の機能を備えた動画再生対応端末か否かを判定する。この判定は、例えば、上記ステップS31で、ユーザIDと共にユーザ端末31の機種情報など、動画再生対応端末か否かを判定可能な情報を取得しておくことで行える。ユーザ端末31が動画再生対応端末の場合には、処理はステップS35へ移行し、動画再生非対応端末の場合には、処理はステップS36へ移行する。   Next, in step S34, the output unit 14 determines whether or not the user terminal 31 requesting browsing of the evaluation result is a video playback compatible terminal having a video playback function. This determination can be made, for example, by acquiring information that can determine whether or not the terminal is a video playback compatible terminal, such as the model information of the user terminal 31 together with the user ID in step S31. If the user terminal 31 is a video playback compatible terminal, the process proceeds to step S35, and if the user terminal 31 is a video playback non-compatible terminal, the process proceeds to step S36.

ステップS35では、出力部14が、ユーザ端末31で動作するウェブブラウザに、例えば図4に示すようなユーザ用画面76を表示する(図11の109)。そして、出力部14は、上記ステップS33で受け付けた動画評価IDに対応する動画をメイン表示領域77で再生すると共に、動画反映ルールに従った動画の区間に、評価図形を重畳表示する。また、出力部14は、静止画抽出ルールに従って抽出された静止画に評価図形を重畳し、サムネイル画像としてサブ表示領域78に表示する(図11の110)。   In step S35, the output unit 14 displays a user screen 76 as shown in FIG. 4, for example, on the web browser operating on the user terminal 31 (109 in FIG. 11). And the output part 14 reproduces | regenerates the moving image corresponding to moving image evaluation ID received at the said step S33 in the main display area 77, and superimposes and displays an evaluation figure on the area of the moving image according to a moving image reflection rule. Further, the output unit 14 superimposes the evaluation graphic on the still image extracted according to the still image extraction rule, and displays it as a thumbnail image in the sub display area 78 (110 in FIG. 11).

一方、ステップS36では、出力部14が、ユーザ用画面76を表示し、メイン表示領域77に、サムネイル画像のいずれかから選択された静止画に評価図形を重畳して表示する(図11の111)。出力部14が、サムネイル画像の選択の変更を受け付けた場合には、メイン表示領域77に表示する静止画を切り替える。   On the other hand, in step S36, the output unit 14 displays the user screen 76 and displays the evaluation graphic superimposed on the still image selected from any of the thumbnail images in the main display area 77 (111 in FIG. 11). ). When the output unit 14 receives a change in selection of the thumbnail image, the output unit 14 switches the still image displayed in the main display area 77.

以上説明したように、第1実施形態に係る動画評価システムによれば、画像編集装置が、動画を再生中の表示領域に対して描画された評価図形を、動画を構成する複数のフレームから抽出した静止画上にも重畳表示する。これにより、動画に対して行った描画を静止画にも反映することができる。   As described above, according to the moving image evaluation system according to the first embodiment, the image editing apparatus extracts the evaluation graphic drawn on the display area where the moving image is reproduced from the plurality of frames constituting the moving image. Overlaid on the still image. Thereby, the drawing performed on the moving image can be reflected on the still image.

また、動画に評価図形を重畳する際の動画の区間を指定可能とすることで、必要以上に評価図形が表示されて、見難くなることを防止することができる。   In addition, by making it possible to designate a section of a moving image when the evaluation graphic is superimposed on the moving image, it is possible to prevent the evaluation graphic from being displayed more than necessary and becoming difficult to see.

従来技術のように、静止画に対して評価図形の描画を行う場合において、例えば、ゴルフのスウィングなど、体の動きやその動きに伴う用具の動きのスピードが速いために、描画の対象となる体や用具の部分が静止画上でぶれてしまう場合がある。このような場合には、適切に評価図形を描画することができない場合もある。また、動画の評価、すなわち体の動き等を評価することが目的であるため、動きに沿った評価図形を描画したい場合もあるが、これは静止画に対しては適用することができない。一方で、評価結果を、動画再生機能がない端末で閲覧する場合もある。また、あるワンポイントについて評価図形を確認したい場合など、静止画に評価図形が反映された方がよい場合がある。第1実施形態によれば、上記のように、動画に対して行った描画を静止画に反映させるため、これらの問題を解消することができる。   When drawing an evaluation graphic on a still image as in the prior art, for example, golf swing, etc., because the speed of the movement of the body and the movement of the tool accompanying the movement is fast, it becomes the drawing target There are cases where parts of the body and tools are blurred on the still image. In such a case, there are cases where the evaluation graphic cannot be drawn appropriately. In addition, since the purpose is to evaluate a moving image, that is, to evaluate the movement of the body, there are cases where it is desired to draw an evaluation figure along the movement, but this cannot be applied to a still image. On the other hand, the evaluation result may be viewed on a terminal that does not have a video playback function. Further, there are cases where it is better to reflect the evaluation graphic on the still image, for example, when it is desired to confirm the evaluation graphic for a certain point. According to the first embodiment, as described above, since the drawing performed on the moving image is reflected in the still image, these problems can be solved.

なお、第1実施形態では、動画に対してどの区間に対して描画が行われるかという点は考慮していないが、この点を考慮した上で、評価図形を静止画に反映させてもよい。例えば、描画開始時に表示領域に表示されていたフレームのフレームID、及び描画終了時に表示領域に表示されていたフレームのフレームIDを記録しておく。そして、描画開始時に対応するフレームから描画終了時に対応するフレームまでを、動画のうちの一部の区間とすることができる。この場合、静止画に評価図形を反映させる際に、上記の区間に含まれるフレームから抽出された静止画に対して、評価図形を重畳表示し、区間外のフレームから抽出された静止画に対しては、評価図形を重畳表示しないようにすることができる。これにより、評価図形に関係ない静止画に対して評価図形が重畳されることを防止することができる。また、静止画抽出部12により静止画を抽出する際に、描画開始時に対応するフレームから描画終了時に対応するフレームまでの区間から抽出するようなルールを定めてもよい。   Although the first embodiment does not consider which section is drawn with respect to the moving image, the evaluation figure may be reflected in the still image in consideration of this point. . For example, the frame ID of the frame displayed in the display area at the start of drawing and the frame ID of the frame displayed in the display area at the end of drawing are recorded. A part from the frame corresponding to the start of drawing to the frame corresponding to the end of drawing can be set as a part of the moving image. In this case, when the evaluation graphic is reflected on the still image, the evaluation graphic is superimposed on the still image extracted from the frame included in the section, and the still image extracted from the frame outside the section is displayed. Therefore, it is possible to prevent the evaluation graphic from being superimposed and displayed. Thereby, it is possible to prevent the evaluation graphic from being superimposed on a still image not related to the evaluation graphic. Further, when a still image is extracted by the still image extraction unit 12, a rule may be set such that extraction is performed from a section from a frame corresponding to the start of drawing to a frame corresponding to the end of drawing.

また、第1実施形態では、ユーザが評価依頼をする際に評価者の指名は行っていないが、評価者を指名した評価依頼をしてもよい。この場合、評価依頼に、指名する評価者を特定可能な情報を含めておき、画像編集装置10で評価依頼を受け付けた際に、動画評価情報テーブル21Aに「指名評価者」の項目を設け、指名する評価者を示す評価者IDも合わせて登録すればよい。評価者がログインした際には、「指名評価者」の項目がログインした評価者の評価者IDに一致する評価依頼の一覧を、評価者に提示するようにすればよい。   In the first embodiment, when the user makes an evaluation request, the evaluator is not designated. However, an evaluation request may be made with the evaluator designated. In this case, the evaluation request includes information that can specify an evaluator to be designated, and when the image editing apparatus 10 receives the evaluation request, an item “designated evaluator” is provided in the video evaluation information table 21A. An evaluator ID indicating an evaluator to be nominated may be registered together. When the evaluator logs in, a list of evaluation requests in which the item “designated evaluator” matches the evaluator ID of the evaluator who logged in may be presented to the evaluator.

<第2実施形態>
次に、第2実施形態について説明する。第1実施形態では、動画に描画した評価図形を静止画及び動画に反映する場合について説明したが、第2実施形態では、静止画に描画した評価図形を動画及び静止画に反映する場合について説明する。なお、第1実施形態に係る動画評価システム100と同一の部分については、同一符号を付して詳細な説明を省略する。
Second Embodiment
Next, a second embodiment will be described. In the first embodiment, the case where the evaluation graphic drawn in the moving image is reflected in the still image and the moving image is described. In the second embodiment, the case where the evaluation graphic drawn in the still image is reflected in the moving image and the still image is described. To do. In addition, about the same part as the moving image evaluation system 100 which concerns on 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.

第2実施形態に係る画像編集装置210は、図1に示すように、評価依頼受付部11と、静止画抽出部212と、評価図形受付部213と、出力部214とを含む。また、画像編集装置210は、記憶部20を含み、記憶部20には、動画評価情報DB221と、動画記憶部22と、評価図形記憶部23とが含まれる。また、動画評価情報DB221は、図16に示すように、動画評価情報テーブル21Aと、静止画用テーブル221Bと、動画用テーブル221Cとを含む。以下、各機能部及び動画評価情報DB221の各テーブルについて、主に第1実施形態と異なる点について詳述する。   As illustrated in FIG. 1, the image editing apparatus 210 according to the second embodiment includes an evaluation request reception unit 11, a still image extraction unit 212, an evaluation graphic reception unit 213, and an output unit 214. The image editing apparatus 210 includes a storage unit 20, and the storage unit 20 includes a moving image evaluation information DB 221, a moving image storage unit 22, and an evaluation graphic storage unit 23. Further, as shown in FIG. 16, the moving image evaluation information DB 221 includes a moving image evaluation information table 21A, a still image table 221B, and a moving image table 221C. Hereinafter, with respect to each table of the functional units and the moving image evaluation information DB 221, differences from the first embodiment will be mainly described in detail.

静止画抽出部212は、第1実施形態における静止画抽出部12と同様に、動画データを構成する各フレームから、静止画として表示するための所定数のフレームを、静止画抽出ルールに従って抽出する。第2実施形態における静止画抽出部212は、実際に抽出したフレームのフレームID毎に、動画評価IDと対応付けて、図16に示すような静止画用テーブル221Bに登録する。すなわち、静止画用テーブル221Bは、抽出した1フレームにつき1行(1レコード)のテーブルとなる。   Similar to the still image extraction unit 12 in the first embodiment, the still image extraction unit 212 extracts a predetermined number of frames to be displayed as a still image from each frame constituting the moving image data according to the still image extraction rule. . The still image extraction unit 212 in the second embodiment registers each frame ID of the actually extracted frame in the still image table 221B as shown in FIG. 16 in association with the moving image evaluation ID. That is, the still image table 221B is a table of one row (one record) per extracted frame.

第2実施形態における評価図形の描画は、静止画が表示された状態のメイン表示領域71に対して行われる。評価図形受付部213は、評価図形データと共に、その評価図形データが示す評価図形が描画された際にメイン表示領域71に表示されていた静止画を示すフレームIDを受け付ける。評価図形受付部213は、評価図形IDを評価図形データに付与し、静止画用テーブル21Bにおいて、対応する動画評価IDかつ抽出フレームIDの「評価図形ID」の項目に登録する。   The drawing of the evaluation graphic in the second embodiment is performed on the main display area 71 in a state where a still image is displayed. The evaluation graphic accepting unit 213 receives the frame ID indicating the still image displayed in the main display area 71 when the evaluation graphic indicated by the evaluation graphic data is drawn together with the evaluation graphic data. The evaluation graphic accepting unit 213 assigns the evaluation graphic ID to the evaluation graphic data, and registers it in the item of “evaluation graphic ID” of the corresponding moving image evaluation ID and extraction frame ID in the still image table 21B.

出力部214は、評価者により評価依頼が選択されると、一旦、第1実施形態の出力部14と同様に、選択された評価依頼に対応する動画をメイン表示領域71で再生する。また、選択された評価依頼に対応する動画から抽出された静止画のサムネイル画像をサブ表示領域72に表示する。この状態で、評価者により、いずれかのサムネイル画像が選択されると、出力部214は、選択されたサムネイル画像に対応する静止画をメイン表示領域71に表示し、描画可能な状態とする。これにより、図17に示すように、抽出された静止画の各々に対して、それぞれ異なる評価図形を描画することができる。   When the evaluation request is selected by the evaluator, the output unit 214 once reproduces the moving image corresponding to the selected evaluation request in the main display area 71 as in the output unit 14 of the first embodiment. In addition, a thumbnail image of a still image extracted from the moving image corresponding to the selected evaluation request is displayed in the sub display area 72. In this state, when any one of the thumbnail images is selected by the evaluator, the output unit 214 displays a still image corresponding to the selected thumbnail image in the main display area 71 so that the drawing can be performed. Thereby, as shown in FIG. 17, different evaluation figures can be drawn for each of the extracted still images.

また、出力部214は、静止画に対して描画された評価図形を動画にも反映する。具体的には、出力部214は、評価者から、各静止画に対して描画された評価図形を、動画の全再生時間中のどの区間に各々反映させるかを示す動画反映ルールを受け付ける。出力部214は、受け付けた動画反映ルールに従って評価図形を重畳表示させる動画の区間を、例えば図16に示すような動画用テーブル221Cに登録する。   The output unit 214 also reflects the evaluation graphic drawn on the still image in the moving image. Specifically, the output unit 214 receives from the evaluator a moving image reflection rule indicating in which section during the entire reproduction time of the moving image the evaluation figure drawn for each still image is to be reflected. The output unit 214 registers a moving image section in which the evaluation graphic is superimposed and displayed according to the received moving image reflection rule, for example, in the moving image table 221C as illustrated in FIG.

図16の例では、「抽出フレームID」で示されるフレームは、静止画抽出部212により抽出されたフレームである。「表示開始フレーム」及び「表示終了フレーム」は、「抽出フレームID」で示されるフレームの静止画に対して描画された評価図形を重畳表示する区間を示す。「表示優先度」は、異なる複数の評価図形の各々を表示する区間が重複した場合に、いずれの評価図形を優先して表示するか定めるものである。図16の例では、表示優先度=1,2,3・・・の順に優先度が高いことを示す。例えば、動画評価ID=4の抽出フレームID=40と90とでは、フレームID=40〜50の部分で区間が重複している。この場合、フレームID=40〜50の部分では、表示優先度の高い抽出フレームID=40のフレームの静止画に対して描画された評価図形が表示される。なお、表示優先度が「null」の場合は、区間が重複している評価図形は全て重畳して表示したり、先に表示している評価図形を優先的に表示したりなど、予め定めた表示方法に従う。   In the example of FIG. 16, the frame indicated by “extraction frame ID” is a frame extracted by the still image extraction unit 212. “Display start frame” and “display end frame” indicate sections in which the evaluation graphic drawn on the still image of the frame indicated by “extraction frame ID” is displayed in a superimposed manner. “Display priority” determines which evaluation graphic is to be preferentially displayed when sections for displaying each of a plurality of different evaluation graphics overlap. The example of FIG. 16 indicates that the priority is higher in the order of display priority = 1, 2, 3. For example, in the extracted frame IDs = 40 and 90 with the moving image evaluation ID = 4, the sections overlap in the portion of the frame ID = 40-50. In this case, in the portion of frame ID = 40 to 50, the evaluation graphic drawn on the still image of the frame of extraction frame ID = 40 having a high display priority is displayed. When the display priority is “null”, all of the evaluation figures with overlapping sections are displayed in a superimposed manner, or the evaluation figure displayed earlier is preferentially displayed. Follow the display method.

出力部214は、評価図形受付部213により評価図形データが受け付けられると、選択された評価依頼を示す動画評価IDに対応する各抽出フレームの評価図形を、静止画用テーブル221Bを参照して特定する。出力部214は、特定した評価図形を示す評価図形データの各々を評価図形記憶部23から取得する。また、出力部214は、動画用テーブル221Cを参照して、各評価図形を重畳表示させる動画の区間を、評価図形毎に特定する。出力部214は、取得した評価図形データが示す評価図形を、メイン表示領域71で再生中の動画の、特定した区間において重畳して表示する。   When the evaluation graphic data is received by the evaluation graphic receiving unit 213, the output unit 214 specifies the evaluation graphic of each extracted frame corresponding to the moving image evaluation ID indicating the selected evaluation request with reference to the still image table 221B. To do. The output unit 214 acquires each of the evaluation graphic data indicating the specified evaluation graphic from the evaluation graphic storage unit 23. In addition, the output unit 214 refers to the moving image table 221C to specify a moving image section in which each evaluation graphic is superimposed and displayed for each evaluation graphic. The output unit 214 superimposes and displays the evaluation graphic indicated by the acquired evaluation graphic data in the specified section of the moving image being reproduced in the main display area 71.

例えば、図16に示す動画用テーブル221Cに登録されている動画評価ID=4の例は、図18に示すように、フレームID=20〜50の区間では、フレームID=40のフレームの静止画に対して描画された評価図形が重畳表示される。また、フレームID=50〜100の区間では、フレームID=90のフレームの静止画に対して描画された評価図形が重畳表示される。さらに、フレームID=100〜150の区間では、フレームID=130のフレームの静止画に対して描画された評価図形が重畳表示される。   For example, in the example of the moving image evaluation ID = 4 registered in the moving image table 221C illustrated in FIG. 16, as illustrated in FIG. 18, the still image of the frame having the frame ID = 40 in the section having the frame ID = 20 to 50 is illustrated. The evaluation figure drawn on is superimposed and displayed. In the section of frame ID = 50 to 100, the evaluation graphic drawn on the still image of the frame with frame ID = 90 is superimposed and displayed. Further, in the section with the frame ID = 100 to 150, the evaluation graphic drawn on the still image of the frame with the frame ID = 130 is superimposed and displayed.

また、出力部214は、例えば図19に示すように、取得した評価図形データが示す評価図形の各々を、サブ表示領域72に表示されている対応する静止画の各々に重畳して表示する。この際、メイン表示領域71のサイズに対するサムネイル画像のサイズで表される縮小率で評価図形を縮小し、動画に対して評価図形が描画された位置に対応する静止画の位置に評価図形を重畳表示する。   Further, for example, as illustrated in FIG. 19, the output unit 214 superimposes and displays each evaluation graphic indicated by the acquired evaluation graphic data on each corresponding still image displayed in the sub display area 72. At this time, the evaluation graphic is reduced at a reduction ratio represented by the size of the thumbnail image with respect to the size of the main display area 71, and the evaluation graphic is superimposed on the position of the still image corresponding to the position where the evaluation graphic is drawn on the moving image. indicate.

画像編集装置210は、例えば図5に示すコンピュータ40で実現することができる。記憶装置43には、コンピュータ40を画像編集装置210として機能させるための画像編集プログラム250が記憶される。CPU41は、画像編集プログラム250を記憶装置43から読み出してメモリ42に展開し、画像編集プログラム250が有するプロセスを順次実行する。画像編集プログラム250は、評価依頼受付プロセス51と、静止画抽出プロセス252と、評価図形受付プロセス253と、出力プロセス254とを有する。   The image editing device 210 can be realized by, for example, the computer 40 shown in FIG. The storage device 43 stores an image editing program 250 for causing the computer 40 to function as the image editing device 210. The CPU 41 reads the image editing program 250 from the storage device 43 and develops it in the memory 42, and sequentially executes the processes included in the image editing program 250. The image editing program 250 includes an evaluation request reception process 51, a still image extraction process 252, an evaluation graphic reception process 253, and an output process 254.

CPU41は、静止画抽出プロセス252を実行することで、図1に示す静止画抽出部212として動作する。また、CPU41は、評価図形受付プロセス253を実行することで、図1に示す評価図形受付部213として動作する。また、CPU41は、出力プロセス254を実行することで、図1に示す出力部214として動作する。他のプロセス及び記憶領域については、第1実施形態と同様に機能する。   The CPU 41 operates as the still image extraction unit 212 illustrated in FIG. 1 by executing the still image extraction process 252. Further, the CPU 41 operates as the evaluation graphic receiving unit 213 illustrated in FIG. 1 by executing the evaluation graphic receiving process 253. Further, the CPU 41 operates as the output unit 214 illustrated in FIG. 1 by executing the output process 254. Other processes and storage areas function in the same manner as in the first embodiment.

なお、画像編集装置210は、例えば半導体集積回路、より詳しくはASIC等で実現することも可能である。   Note that the image editing apparatus 210 can be realized by, for example, a semiconductor integrated circuit, more specifically, an ASIC or the like.

次に、第2実施形態に係る動画評価システム100の作用について説明する。第1実施形態とは、評価者用処理が異なるため、図20を参照して、評価者用処理について説明する。なお、第1実施形態における評価者端末処理と同一の処理については、同一符号を付して詳細な説明を省略する。   Next, the operation of the moving image evaluation system 100 according to the second embodiment will be described. Since the evaluator process is different from the first embodiment, the evaluator process will be described with reference to FIG. In addition, about the process same as the evaluator terminal process in 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.

図20に示す評価者用処理のステップS21〜S24を経て、次のステップS225で、静止画抽出部212が、動画データを構成する各フレームから、静止画として表示するための所定数のフレームを、静止画抽出ルールに従って抽出する。そして、静止画抽出部212は、実際に抽出したフレームのフレームID毎に、動画評価IDと対応付けて、図16に示すような静止画用テーブル221Bに登録する。さらに、抽出された静止画のサムネイル画像をサブ表示領域72に表示する。   Through the evaluator processing steps S21 to S24 shown in FIG. 20, in the next step S225, the still image extraction unit 212 generates a predetermined number of frames to be displayed as a still image from each frame constituting the moving image data. Extract according to the still image extraction rule. Then, the still image extraction unit 212 registers each frame ID of the actually extracted frame in the still image table 221B as shown in FIG. 16 in association with the moving image evaluation ID. Further, the thumbnail image of the extracted still image is displayed in the sub display area 72.

次に、ステップS231で、出力部214が、評価者により選択されたサムネイル画像に対応する静止画をメイン表示領域71に表示し、描画可能な状態とする。次に、ステップS226で、評価図形受付部213が、評価図形データと共に、その評価図形データが示す評価図形が描画された際にメイン表示領域71に表示されていた静止画を示すフレームIDを受け付ける。次に、ステップS227で、評価図形受付部213は、受け付けた評価図形データを評価図形記憶部23に記憶する。そして、評価図形受付部213は、評価図形IDを評価図形データに付与し、静止画用テーブル221Bにおいて、対応する動画評価IDかつ抽出フレームIDの「評価図形ID」の項目に登録する。   Next, in step S231, the output unit 214 displays a still image corresponding to the thumbnail image selected by the evaluator in the main display area 71 so that it can be drawn. Next, in step S226, the evaluation graphic receiving unit 213 receives the frame ID indicating the still image displayed in the main display area 71 when the evaluation graphic indicated by the evaluation graphic data is drawn together with the evaluation graphic data. . Next, in step S227, the evaluation graphic receiving unit 213 stores the received evaluation graphic data in the evaluation graphic storage unit 23. Then, the evaluation graphic receiving unit 213 assigns the evaluation graphic ID to the evaluation graphic data, and registers the evaluation graphic ID in the item “evaluation graphic ID” of the corresponding moving image evaluation ID and extracted frame ID in the still image table 221B.

次に、ステップS232で、出力部214が、評価者によりサムネイル画像の選択が変更されたか否かを判定する。変更された場合には、処理はステップS231に戻る。選択が変更されない場合には、処理はステップS228へ移行する。ステップS228では、出力部214が、選択された評価依頼を示す動画評価IDに対応した評価図形データが示す評価図形の各々を、サブ表示領域72に表示されている対応する静止画の各々に重畳して表示する。   Next, in step S232, the output unit 214 determines whether or not the thumbnail image selection has been changed by the evaluator. If changed, the process returns to step S231. If the selection is not changed, the process proceeds to step S228. In step S228, the output unit 214 superimposes each evaluation graphic indicated by the evaluation graphic data corresponding to the moving image evaluation ID indicating the selected evaluation request on each corresponding still image displayed in the sub display area 72. And display.

次に、ステップS229で、出力部214が、評価者から、動画反映ルールを受け付け、動画反映ルールに従って評価図形を重畳表示させる動画の区間を、例えば図16に示すような動画用テーブル221Cに登録する。そして、出力部214は、選択された評価依頼を示す動画評価IDに対応する各抽出フレームの評価図形を、静止画用テーブル221Bを参照して特定する。出力部214は、特定した評価図形を示す評価図形データの各々を評価図形記憶部23から取得する。また、出力部214は、動画用テーブル221Cを参照して、各評価図形を重畳表示させる動画の区間を、評価図形毎に特定する。出力部214は、取得した評価図形データが示す評価図形を、メイン表示領域71で再生中の動画の、特定した区間において重畳して表示する。   Next, in step S229, the output unit 214 receives a moving image reflection rule from the evaluator, and registers a moving image section in which an evaluation graphic is superimposed and displayed in accordance with the moving image reflection rule, for example, in the moving image table 221C as illustrated in FIG. To do. Then, the output unit 214 identifies the evaluation graphic of each extracted frame corresponding to the moving image evaluation ID indicating the selected evaluation request with reference to the still image table 221B. The output unit 214 acquires each of the evaluation graphic data indicating the specified evaluation graphic from the evaluation graphic storage unit 23. In addition, the output unit 214 refers to the moving image table 221C to specify a moving image section in which each evaluation graphic is superimposed and displayed for each evaluation graphic. The output unit 214 superimposes and displays the evaluation graphic indicated by the acquired evaluation graphic data in the specified section of the moving image being reproduced in the main display area 71.

以上説明したように、第2実施形態に係る動画評価システムによれば、画像編集装置が、静止画を表示中の表示領域に対して描画された評価図形を、再生される動画上にも重畳表示する。これにより、静止画に対して行った描画を動画にも反映することができる。   As described above, according to the moving image evaluation system according to the second embodiment, the image editing apparatus also superimposes the evaluation graphic drawn on the display area displaying the still image on the reproduced moving image. indicate. Thereby, the drawing performed on the still image can be reflected on the moving image.

なお、第1及び第2実施形態における画像編集装置が有する機能の一部は、ユーザ端末または評価者端末上のウェブブラウザで実現されるようにしてもよい。   In addition, you may make it implement | achieve a part of function which the image editing apparatus in 1st and 2nd embodiment has with the web browser on a user terminal or an evaluator terminal.

また、上記では、画像編集プログラム50が記憶装置43に予め記憶(インストール)されている態様を説明したが、CD−ROMやDVD−ROM等の記憶媒体に記録された形態で提供することも可能である。   In the above description, the image editing program 50 is stored (installed) in the storage device 43 in advance. However, the image editing program 50 may be provided in a form recorded in a storage medium such as a CD-ROM or DVD-ROM. It is.

以上の各実施形態に関し、更に以下の付記を開示する。   Regarding the above embodiments, the following additional notes are disclosed.

(付記1)
動画の入力を受け付け、
前記動画から1以上の静止画を抽出し、
前記動画を表示する表示画像上のいずれかの位置に対する図形または文字の入力を受け付け、
受け付けた前記図形または文字を、前記動画を表示する表示画像上の前記いずれかの位置に重畳して出力するとともに、前記静止画の表示画像上の前記いずれかの位置に対応する位置にも重畳して出力する
コンピュータにより実行される画像編集方法。
(Appendix 1)
Accept video input,
Extracting one or more still images from the video,
Accepts input of figures or characters for any position on the display image that displays the video,
The received figure or character is superimposed and output at any position on the display image for displaying the moving image, and is also superimposed at a position corresponding to any position on the display image for the still image. An image editing method executed by a computer.

(付記2)
前記出力する処理は、抽出した1以上の前記静止画の全てに対して、前記図形または文字を重畳して出力することを特徴とする付記1記載の画像編集方法。
(Appendix 2)
2. The image editing method according to claim 1, wherein the output processing includes outputting the graphic or the character superimposed on all of the one or more extracted still images.

(付記3)
前記動画に対する図形または文字の入力を受け付ける処理は、該動画のうちの一部の画像に対する入力を受け付け、
前記出力する処理は、抽出した1以上の前記静止画のうち、前記図形または文字の入力を受け付けた前記動画のうちの一部の画像に対応する静止画に対して、前記図形または文字を重畳して出力する
ことを特徴とする付記1記載の画像編集方法。
(Appendix 3)
The process of accepting input of graphics or characters for the video accepts input for some images of the video,
In the output process, the graphic or character is superimposed on a still image corresponding to a part of the image of the moving image that has received an input of the graphic or character among the one or more extracted still images. The image editing method according to appendix 1, wherein the image editing method comprises:

(付記4)
動画の入力を受け付け、
前記動画から1以上の静止画を抽出し、
抽出した1以上の前記静止画のうちの第一の静止画に対する図形または文字の入力を受け付け、
受け付けた前記図形または文字を、前記第一の静止画に重畳して出力するとともに、前記動画に含まれる複数の静止画のうち、前記第一の静止画に対応する静止画を含む1以上の画像にも重畳した状態で、該動画を出力する
コンピュータにより実行される画像編集方法。
(Appendix 4)
Accept video input,
Extracting one or more still images from the video,
Accepting a graphic or character input for a first still image of the one or more extracted still images;
The received graphic or character is superimposed on the first still image and output, and one or more including a still image corresponding to the first still image among a plurality of still images included in the moving image An image editing method executed by a computer that outputs the moving image in a state of being superimposed on an image.

(付記5)
前記出力する処理は、受け付けた前記図形または文字を、前記第一の静止画に対応する静止画以後の画像全てに重畳させる付記4記載の画像編集方法。
(Appendix 5)
The image editing method according to appendix 4, wherein the process of outputting superimposes the received graphic or character on all images after the still image corresponding to the first still image.

(付記6)
動画の入力を受け付ける第1受付部と、
前記動画から1以上の静止画を抽出する抽出部と、
前記動画を表示する表示画像上のいずれかの位置に対する図形または文字の入力を受け付ける第2受付部と、
受け付けた前記図形または文字を、前記動画を表示する表示画像上の前記いずれかの位置に重畳して出力するとともに、前記静止画の表示画像上の前記いずれかの位置に対応する位置にも重畳して出力する出力部と、
を含む画像編集装置。
(Appendix 6)
A first accepting unit for accepting input of a video;
An extractor for extracting one or more still images from the moving image;
A second accepting unit for accepting an input of a graphic or a character at any position on a display image for displaying the moving image;
The received figure or character is superimposed and output at any position on the display image for displaying the moving image, and is also superimposed at a position corresponding to any position on the display image for the still image. An output unit that outputs
An image editing device.

(付記7)
前記出力部は、抽出された1以上の前記静止画の全てに対して、前記図形または文字を重畳して出力することを特徴とする付記5記載の画像編集装置。
(Appendix 7)
6. The image editing apparatus according to appendix 5, wherein the output unit superimposes and outputs the graphic or character on all of the one or more extracted still images.

(付記8)
前記第2受付部は、前記動画のうちの一部の画像に対する入力を受け付け、
前記出力部は、抽出した1以上の前記静止画のうち、前記図形または文字の入力を受け付けた前記動画のうちの一部の画像に対応する静止画に対して、前記図形または文字を重畳して出力する
ことを特徴とする付記6記載の画像編集装置。
(Appendix 8)
The second reception unit receives an input for a part of the images of the video,
The output unit superimposes the graphic or the character on a still image corresponding to a part of the image of the moving image that has received an input of the graphic or the character among the one or more extracted still images. The image editing apparatus according to appendix 6, wherein the image editing apparatus outputs the image.

(付記9)
動画の入力を受け付ける第1受付部と、
前記動画から1以上の静止画を抽出する抽出部と、
抽出した1以上の前記静止画のうちの第一の静止画に対する図形または文字の入力を受け付ける第2受付部と、
受け付けた前記図形または文字を、前記第一の静止画に重畳して出力するとともに、前記動画に含まれる複数の静止画のうち、前記第一の静止画に対応する静止画を含む1以上の画像にも重畳した状態で、該動画を出力する出力部と、
を含む画像編集装置。
(Appendix 9)
A first accepting unit for accepting input of a video;
An extractor for extracting one or more still images from the moving image;
A second accepting unit for accepting an input of a graphic or a character for a first still image of the one or more extracted still images;
The received graphic or character is superimposed on the first still image and output, and one or more including a still image corresponding to the first still image among a plurality of still images included in the moving image An output unit that outputs the moving image in a state of being superimposed on the image;
An image editing device.

(付記10)
前記出力部は、受け付けた前記図形または文字を、前記第一の静止画に対応する静止画以後の画像全てに重畳させる付記9記載の画像編集装置。
(Appendix 10)
The image editing apparatus according to appendix 9, wherein the output unit superimposes the received graphic or character on all images after the still image corresponding to the first still image.

(付記11)
動画の入力を受け付け、
前記動画から1以上の静止画を抽出し、
前記動画を表示する表示画像上のいずれかの位置に対する図形または文字の入力を受け付け、
受け付けた前記図形または文字を、前記動画を表示する表示画像上の前記いずれかの位置に重畳して出力するとともに、前記静止画の表示画像上の前記いずれかの位置に対応する位置にも重畳して出力する
処理をコンピュータに実行させるための画像編集プログラム。
(Appendix 11)
Accept video input,
Extracting one or more still images from the video,
Accepts input of figures or characters for any position on the display image that displays the video,
The received figure or character is superimposed and output at any position on the display image for displaying the moving image, and is also superimposed at a position corresponding to any position on the display image for the still image. An image editing program that causes a computer to execute processing.

(付記12)
前記出力する処理は、抽出した1以上の前記静止画の全てに対して、前記図形または文字を重畳して出力することを特徴とする付記11記載の画像編集プログラム。
(Appendix 12)
12. The image editing program according to claim 11, wherein in the output process, the graphic or character is superimposed and output on all of the one or more extracted still images.

(付記13)
前記動画に対する図形または文字の入力を受け付ける処理は、該動画のうちの一部の画像に対する入力を受け付け、
前記出力する処理は、抽出した1以上の前記静止画のうち、前記図形または文字の入力を受け付けた前記動画のうちの一部の画像に対応する静止画に対して、前記図形または文字を重畳して出力する
ことを特徴とする付記11記載の画像編集プログラム。
(Appendix 13)
The process of accepting input of graphics or characters for the video accepts input for some images of the video,
In the output process, the graphic or character is superimposed on a still image corresponding to a part of the image of the moving image that has received an input of the graphic or character among the one or more extracted still images. The image editing program according to appendix 11, wherein the image editing program is output.

(付記14)
動画の入力を受け付け、
前記動画から1以上の静止画を抽出し、
抽出した1以上の前記静止画のうちの第一の静止画に対する図形または文字の入力を受け付け、
受け付けた前記図形または文字を、前記第一の静止画に重畳して出力するとともに、前記動画に含まれる複数の静止画のうち、前記第一の静止画に対応する静止画を含む1以上の画像にも重畳した状態で、該動画を出力する
処理をコンピュータに実行させるための画像編集プログラム。
(Appendix 14)
Accept video input,
Extracting one or more still images from the video,
Accepting a graphic or character input for a first still image of the one or more extracted still images,
The received graphic or character is superimposed on the first still image and output, and one or more including a still image corresponding to the first still image among a plurality of still images included in the moving image An image editing program for causing a computer to execute a process of outputting the moving image while being superimposed on an image.

(付記15)
前記出力する処理は、受け付けた前記図形または文字を、前記第一の静止画に対応する静止画以後の画像全てに重畳させる付記14記載の画像編集プログラム。
(Appendix 15)
15. The image editing program according to appendix 14, wherein the process of outputting superimposes the received graphic or character on all images after the still image corresponding to the first still image.

100 動画評価システム
10、210 画像編集装置
11 評価依頼受付部
12、212 静止画抽出部
13、213 評価図形受付部
14、214 出力部
20 記憶部
21、221 動画評価情報データベース
21A 動画評価情報テーブル
21B、221B 静止画用テーブル
21C、221C 動画用テーブル
22 動画記憶部
23 評価図形記憶部
31 ユーザ端末
32 評価者端末
40 コンピュータ
41 CPU
42 メモリ
43 記憶装置
50、250 画像編集プログラム
70 評価者用画面
71 メイン表示領域
72 サブ表示領域
73 描画ツール
76 ユーザ用画面
77 メイン表示領域
78 サブ表示領域
DESCRIPTION OF SYMBOLS 100 Movie evaluation system 10,210 Image editing apparatus 11 Evaluation request reception part 12,212 Still image extraction part 13,213 Evaluation figure reception part 14,214 Output part 20 Storage part 21,221 Movie evaluation information database 21A Movie evaluation information table 21B 221B Still image table 21C, 221C Movie table 22 Movie storage unit 23 Evaluation figure storage unit 31 User terminal 32 Evaluator terminal 40 Computer 41 CPU
42 Memory 43 Storage Device 50, 250 Image Editing Program 70 Evaluator Screen 71 Main Display Area 72 Sub Display Area 73 Drawing Tool 76 User Screen 77 Main Display Area 78 Sub Display Area

Claims (9)

動画の入力を受け付け、
前記動画から1以上の静止画を抽出し、
前記動画を表示する表示画像上のいずれかの位置に対する図形または文字の入力を受け付け、
受け付けた前記図形または文字を、前記動画を表示する表示画像上の前記いずれかの位置に重畳して出力するとともに、前記静止画の表示画像上の前記いずれかの位置に対応する位置にも重畳して出力する
コンピュータにより実行される画像編集方法。
Accept video input,
Extracting one or more still images from the video,
Accepts input of figures or characters for any position on the display image that displays the video,
The received figure or character is superimposed and output at any position on the display image for displaying the moving image, and is also superimposed at a position corresponding to any position on the display image for the still image. An image editing method executed by a computer.
前記出力する処理は、抽出した1以上の前記静止画の全てに対して、前記図形または文字を重畳して出力することを特徴とする請求項1記載の画像編集方法。   2. The image editing method according to claim 1, wherein in the output processing, the graphic or the character is superimposed and output on all of the one or more extracted still images. 前記動画に対する図形または文字の入力を受け付ける処理は、該動画のうちの一部の画像に対する入力を受け付け、
前記出力する処理は、抽出した1以上の前記静止画のうち、前記図形または文字の入力を受け付けた前記動画のうちの一部の画像に対応する静止画に対して、前記図形または文字を重畳して出力する
ことを特徴とする請求項1記載の画像編集方法。
The process of accepting input of graphics or characters for the video accepts input for some images of the video,
In the output process, the graphic or character is superimposed on a still image corresponding to a part of the image of the moving image that has received an input of the graphic or character among the one or more extracted still images. The image editing method according to claim 1, wherein the image editing method comprises:
動画の入力を受け付け、
前記動画から1以上の静止画を抽出し、
抽出した1以上の前記静止画のうちの第一の静止画に対する図形または文字の入力を受け付け、
受け付けた前記図形または文字を、前記第一の静止画に重畳して出力するとともに、前記動画に含まれる複数の静止画のうち、前記第一の静止画に対応する静止画を含む1以上の画像にも重畳した状態で、該動画を出力する
コンピュータにより実行される画像編集方法。
Accept video input,
Extracting one or more still images from the video,
Accepting a graphic or character input for a first still image of the one or more extracted still images;
The received graphic or character is superimposed on the first still image and output, and one or more including a still image corresponding to the first still image among a plurality of still images included in the moving image An image editing method executed by a computer that outputs the moving image in a state of being superimposed on an image.
前記出力する処理は、受け付けた前記図形または文字を、前記第一の静止画に対応する静止画以後の画像全てに重畳させる請求項4記載の画像編集方法。   5. The image editing method according to claim 4, wherein in the output process, the received graphic or character is superimposed on all images after the still image corresponding to the first still image. 動画の入力を受け付ける第1受付部と、
前記動画から1以上の静止画を抽出する抽出部と、
前記動画を表示する表示画像上のいずれかの位置に対する図形または文字の入力を受け付ける第2受付部と、
受け付けた前記図形または文字を、前記動画を表示する表示画像上の前記いずれかの位置に重畳して出力するとともに、前記静止画の表示画像上の前記いずれかの位置に対応する位置にも重畳して出力する出力部と、
を含む画像編集装置。
A first accepting unit for accepting input of a video;
An extractor for extracting one or more still images from the moving image;
A second accepting unit for accepting an input of a graphic or a character at any position on a display image for displaying the moving image;
The received figure or character is superimposed and output at any position on the display image for displaying the moving image, and is also superimposed at a position corresponding to any position on the display image for the still image. An output unit that outputs
An image editing device.
動画の入力を受け付ける第1受付部と、
前記動画から1以上の静止画を抽出する抽出部と、
抽出した1以上の前記静止画のうちの第一の静止画に対する図形または文字の入力を受け付ける第2受付部と、
受け付けた前記図形または文字を、前記第一の静止画に重畳して出力するとともに、前記動画に含まれる複数の静止画のうち、前記第一の静止画に対応する静止画を含む1以上の画像にも重畳した状態で、該動画を出力する出力部と、
を含む画像編集装置。
A first accepting unit for accepting input of a video;
An extractor for extracting one or more still images from the moving image;
A second accepting unit for accepting an input of a graphic or a character for a first still image of the one or more extracted still images;
The received graphic or character is superimposed on the first still image and output, and one or more including a still image corresponding to the first still image among a plurality of still images included in the moving image An output unit that outputs the moving image in a state of being superimposed on the image;
An image editing device.
動画の入力を受け付け、
前記動画から1以上の静止画を抽出し、
前記動画を表示する表示画像上のいずれかの位置に対する図形または文字の入力を受け付け、
受け付けた前記図形または文字を、前記動画を表示する表示画像上の前記いずれかの位置に重畳して出力するとともに、前記静止画の表示画像上の前記いずれかの位置に対応する位置にも重畳して出力する
処理をコンピュータに実行させるための画像編集プログラム。
Accept video input,
Extracting one or more still images from the video,
Accepts input of figures or characters for any position on the display image that displays the video,
The received figure or character is superimposed and output at any position on the display image for displaying the moving image, and is also superimposed at a position corresponding to any position on the display image for the still image. An image editing program that causes a computer to execute processing.
動画の入力を受け付け、
前記動画から1以上の静止画を抽出し、
抽出した1以上の前記静止画のうちの第一の静止画に対する図形または文字の入力を受け付け、
受け付けた前記図形または文字を、前記第一の静止画に重畳して出力するとともに、前記動画に含まれる複数の静止画のうち、前記第一の静止画に対応する静止画を含む1以上の画像にも重畳した状態で、該動画を出力する
処理をコンピュータに実行させるための画像編集プログラム。
Accept video input,
Extracting one or more still images from the video,
Accepting a graphic or character input for a first still image of the one or more extracted still images,
The received graphic or character is superimposed on the first still image and output, and one or more including a still image corresponding to the first still image among a plurality of still images included in the moving image An image editing program for causing a computer to execute a process of outputting the moving image while being superimposed on an image.
JP2014185025A 2014-09-11 2014-09-11 Image editing method, apparatus, and program Active JP6641679B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014185025A JP6641679B2 (en) 2014-09-11 2014-09-11 Image editing method, apparatus, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014185025A JP6641679B2 (en) 2014-09-11 2014-09-11 Image editing method, apparatus, and program

Publications (2)

Publication Number Publication Date
JP2016058940A true JP2016058940A (en) 2016-04-21
JP6641679B2 JP6641679B2 (en) 2020-02-05

Family

ID=55759044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014185025A Active JP6641679B2 (en) 2014-09-11 2014-09-11 Image editing method, apparatus, and program

Country Status (1)

Country Link
JP (1) JP6641679B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022107605A (en) * 2018-03-14 2022-07-22 株式会社セガ Game image capturing system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197366A (en) * 2000-01-12 2001-07-19 Hitachi Ltd Picture synthesis method and recording medium recording picture synthesis program
JP2003156994A (en) * 1993-08-10 2003-05-30 Katayama Midori Method for teaching body motion
JP2004180259A (en) * 2002-09-30 2004-06-24 Toshiba Corp Image composing method, image composing device, and image composing program
JP2004325941A (en) * 2003-04-25 2004-11-18 Pioneer Electronic Corp Drawing processor, drawing method, drawing program, and electronic conference system provided with them
JP2013229672A (en) * 2012-04-24 2013-11-07 Panasonic Corp Communication terminal, communication method, communication program, and communication system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003156994A (en) * 1993-08-10 2003-05-30 Katayama Midori Method for teaching body motion
JP2001197366A (en) * 2000-01-12 2001-07-19 Hitachi Ltd Picture synthesis method and recording medium recording picture synthesis program
JP2004180259A (en) * 2002-09-30 2004-06-24 Toshiba Corp Image composing method, image composing device, and image composing program
JP2004325941A (en) * 2003-04-25 2004-11-18 Pioneer Electronic Corp Drawing processor, drawing method, drawing program, and electronic conference system provided with them
JP2013229672A (en) * 2012-04-24 2013-11-07 Panasonic Corp Communication terminal, communication method, communication program, and communication system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022107605A (en) * 2018-03-14 2022-07-22 株式会社セガ Game image capturing system
JP7334818B2 (en) 2018-03-14 2023-08-29 株式会社セガ Game image shooting system

Also Published As

Publication number Publication date
JP6641679B2 (en) 2020-02-05

Similar Documents

Publication Publication Date Title
JP6102588B2 (en) Information processing apparatus, information processing method, and program
CN109803180B (en) Video preview generation method and device, computer equipment and storage medium
JP6384474B2 (en) Information processing apparatus and information processing method
JP6336052B2 (en) Method, system, and computer program product for provisioning IT resources, and computer program
JP2015503152A (en) Measuring the rendering time of a web page
US20210051374A1 (en) Video file playing method and apparatus, and storage medium
JP6949612B2 (en) Video playback device, its control method, and program
JP2010108012A (en) Information processing apparatus, information processing method, and program
JP2017162434A (en) Method, program and device for generating web-based copy of document
US20160217109A1 (en) Navigable web page audio content
TW201237764A (en) Method, apparatus, and computer program product for overlapped handwriting
JP6149862B2 (en) Display control device, display control system, and display control method
US9910576B2 (en) Automated multimedia content editing
TWI625964B (en) Video playback device and method
US20180075879A1 (en) Method, System, and Apparatus for Generating Video Content
JP2008109289A5 (en)
CN104156421A (en) Method, device and system for displaying page
US20170004859A1 (en) User created textbook
CN113391745A (en) Method, device, equipment and storage medium for processing key contents of network courses
JP6641679B2 (en) Image editing method, apparatus, and program
US11910055B2 (en) Computer system and method for recording, managing, and watching videos
CN112601129B (en) Video interaction system, method and receiving terminal
JP6672645B2 (en) Information terminal device and program
CN105335917A (en) Test result processing method and device
JP5923495B2 (en) Playback device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170605

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191216

R150 Certificate of patent or registration of utility model

Ref document number: 6641679

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150