JP2022068012A - Information processing device and information processing method - Google Patents
Information processing device and information processing method Download PDFInfo
- Publication number
- JP2022068012A JP2022068012A JP2020176922A JP2020176922A JP2022068012A JP 2022068012 A JP2022068012 A JP 2022068012A JP 2020176922 A JP2020176922 A JP 2020176922A JP 2020176922 A JP2020176922 A JP 2020176922A JP 2022068012 A JP2022068012 A JP 2022068012A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- information processing
- worker
- annotation
- annotation work
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、動画に対するアノテーション作業に係る技術に関するものである。 The present invention relates to a technique relating to annotation work for moving images.
機械学習に用いられる学習データを作成するためのプログラムとして、対象となるデータに対して学習すべき正解情報（正解ラベル）を付与するアノテーションツールが利用されている。アノテーションツールには、例えば、学習データの作成に係るユーザへの作業負荷を低減するための機能群（すなわち、ユーザ補助のための機能群）が用意されている場合がある。動画のアノテーションを行う際においては、シーンの切り替わりや動画再生時間の長さに応じて作業量が増加することから、任意の数に分割した上でアノテーション作業者に割り当てることがある。 As a program for creating learning data used for machine learning, an annotation tool that assigns correct answer information (correct answer label) to be learned to the target data is used. The annotation tool may be provided with, for example, a function group for reducing the workload on the user related to the creation of learning data (that is, a function group for accessibility). When annotating a moving image, the amount of work increases according to the change of scenes and the length of the moving image playback time, so the annotation worker may be assigned after dividing into an arbitrary number.
動画のアノテーション作業における作業工数を最小限にすることを優先させる場合、既存ツールにおいてもフレーム単位で動画を分割して複数名のアノテーション作業者に割り当てることは可能である。しかし、人手で行われる動画のアノテーション作業は作業難易度が高く、アノテーション作業者のスキル不足・経験不足により、付加するラベルを誤って選択するような状況が想定され得る。そのため、品質チェックの取り組みは重要である。しかしながら、重複箇所を確保せずに単純分割を行った場合には、システムによる作業内容の自動チェックを行うことができないため、品質確保が難しい。 When giving priority to minimizing the work man-hours in the annotation work of the video, it is possible to divide the video in frame units and assign it to a plurality of annotation workers even in the existing tool. However, the manual animation annotation work has a high degree of difficulty, and it is possible that the annotation worker may mistakenly select the label to be added due to lack of skill or experience. Therefore, quality check efforts are important. However, if simple division is performed without securing overlapping parts, it is difficult to ensure quality because the system cannot automatically check the work contents.
一方で、品質確保を優先的に行う場合、複数名のアノテーション作業者が同一の対象動画に対してアノテーション作業を行うことは可能である。しかし、長時間のアノテーション対象動画に対して、重複する動画に対するアノテーション作業になるため、トータルの作業工数（コスト）として増大してしまう可能性が高い。 On the other hand, when quality assurance is prioritized, it is possible for a plurality of annotation workers to perform annotation work on the same target video. However, there is a high possibility that the total work man-hours (cost) will increase because the annotation work is performed for duplicate videos for a long-time annotation target video.
本発明では、動画に対するアノテーション作業の品質および該アノテーション作業の工数を考慮して、該動画からそれぞれのアノテーション作業者がアノテーション作業を行うフレーム区間の部分動画を取得するための技術を提供する。 The present invention provides a technique for acquiring a partial moving image of a frame section in which each annotation worker performs an annotation work from the moving image in consideration of the quality of the annotation work for the moving image and the man-hours of the annotating work.
本発明の一様態は、動画から、第１フレーム区間に対応する第１部分動画と、該第１フレーム区間と重複部分を有する第２フレーム区間に対応する第２部分動画と、を取得する取得手段と、前記第１部分動画および前記第２部分動画のそれぞれに対するアノテーション作業を行う作業者の熟練度を表すパラメータおよび／または前記動画に係るパラメータに基づいて、前記重複部分の長さを制御する制御手段とを備えることを特徴とする。 The uniform state of the present invention is to acquire, from a moving image, a first partial moving image corresponding to a first frame section and a second partial moving image corresponding to a second frame section having an overlapping portion with the first frame section. The length of the overlapping portion is controlled based on the means and the parameter representing the skill level of the operator performing the annotation work for each of the first partial moving image and the second partial moving image and / or the parameter related to the moving image. It is characterized by being provided with a control means.
本発明の構成によれば、動画に対するアノテーション作業の品質および該アノテーション作業の工数を考慮して、該動画からそれぞれのアノテーション作業者がアノテーション作業を行うフレーム区間の部分動画を取得することができる。 According to the configuration of the present invention, the partial moving image of the frame section in which each annotation worker performs the annotation work can be obtained from the moving image in consideration of the quality of the annotation work for the moving image and the man-hours of the annotating work.
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The following embodiments do not limit the invention according to the claims. Although a plurality of features are described in the embodiment, not all of the plurality of features are essential for the invention, and the plurality of features may be arbitrarily combined. Further, in the attached drawings, the same or similar configurations are given the same reference numbers, and duplicate explanations are omitted.
所謂機械学習に基づいて学習モデルの学習（学習モデルの構築）を行う手法の一例として、教師あり学習が挙げられる。教師あり学習では、学習モデルへの入力となるデータと、該データから予測すべき正解ラベルと、を関連付けた学習データを含むデータセットが、学習モデルの構築に使用される。このようなデータセットが存在しない場合には、例えば、入力となるデータを収集した後に、アノテーション作業者（作業者）が該データに対してアノテーションとして正解ラベルを付加するアノテーション作業を行うことでデータセットの構築を行う。このようなアノテーション作業において作業者がより容易にアノテーション作業を行えるようにすることを目的として、データに対して正解ラベルを付加する作業を支援する機能を有したアノテーションツールが用いられる場合がある。 Supervised learning is an example of a method for learning a learning model (construction of a learning model) based on so-called machine learning. In supervised learning, a data set containing training data in which data to be input to the learning model and a correct answer label to be predicted from the data are associated with each other is used for constructing the learning model. When such a data set does not exist, for example, after collecting input data, an annotation worker (worker) performs annotation work to add a correct answer label as an annotation to the data. Build the set. For the purpose of making it easier for workers to perform annotation work in such annotation work, an annotation tool having a function of supporting the work of adding a correct answer label to data may be used.
アノテーションツールは、アノテーションの対象となる画像・動画・文書等のようなデータ（以下、「対象データ」とも称する）を作業者に対して提示したうえで、作業者から該対象データに対してアノテーションとして付加する正解ラベルの指定を受け付ける。そして、アノテーションツールは、対象データに対して、作業者から指定された正解ラベルをアノテーションとして付加することで、データセットに含める学習データを生成する。 The annotation tool presents data such as images, videos, documents, etc. to be annotated (hereinafter, also referred to as "target data") to the worker, and then the worker annotates the target data. Accepts the specification of the correct answer label to be added as. Then, the annotation tool generates learning data to be included in the data set by adding the correct answer label specified by the worker as an annotation to the target data.
各種のアノテーションツールの中には、上述した対象データに対して正解ラベルを付加するラベル付け作業を効率化するために、事前の機械学習に基づき構築された学習モデル（以降では、「学習済みモデル」とも称する）を利用するツールがある。具体的な一例として、学習済みモデルを利用するツールは、該学習済みモデルに対象データを解析させることで、該対象データにアノテーションとして付加される正解ラベルの候補を抽出させ、抽出された正解ラベルの候補を作業者に提示する。これにより、作業者は、アノテーションツールから提示された候補の中から、対象データに対して正解ラベルとして付加する候補を選択することが可能となる。 Among various annotation tools, a learning model constructed based on prior machine learning in order to streamline the labeling work of adding a correct label to the above-mentioned target data (hereinafter, "trained model"). There is a tool that uses (also called). As a specific example, a tool that uses a trained model causes the trained model to analyze the target data to extract candidates for correct labels to be added as annotations to the target data, and the extracted correct label. Candidates for the worker are presented to the worker. As a result, the worker can select a candidate to be added as a correct label to the target data from the candidates presented by the annotation tool.
以下の説明では、アノテーション作業の対象となる動画（映像・アニメーション・ストリーミングデータなどを含む）にアノテーションとして付加する正解ラベルは、少なくとも文字情報を含むものとする。しかし、正解ラベルがどのような情報であっても、どのような情報を含んでもよく、正解ラベルが特定の情報であること、特定の情報を含むこと、に限定しない。 In the following description, the correct label to be added as an annotation to the moving image (including video, animation, streaming data, etc.) to be annotated shall include at least character information. However, the correct answer label may contain any information, and is not limited to the fact that the correct answer label is specific information or contains specific information.
上記に例示したアノテーションツールによる、動画に対するアノテーション作業用の機能として、該動画におけるシーンの切り替わりのフレームや動画再生時間の長さに応じて該動画を複数の部分動画に分割し、該分割したそれぞれの部分動画を複数の作業者のそれぞれに割り当てることがある。 As a function for annotating a video by the annotation tool exemplified above, the video is divided into a plurality of partial videos according to the frame of scene switching in the video and the length of the video playback time, and each of the divided videos is divided. Partial video may be assigned to each of multiple workers.
一方で、人手で行われる動画のアノテーション作業においては、作業者の習熟度が低い場合や作業ミスによって誤ってラベルを選択するような状況が想定される。そのため、品質確保の対応として、部分動画に対して作業者がアノテーション付けした結果に対して人手による目視確認を行っており、品質確保に労力が掛かってしまう可能性がある。また、品質確保を優先的に行う場合には、上記の如く、トータルの作業工数としては増大してしまう可能性が高い。 On the other hand, in the manual annotation work of moving images, it is assumed that the worker's proficiency level is low or that a label is mistakenly selected due to a work mistake. Therefore, as a measure to ensure quality, the result of annotation by the worker on the partial moving image is visually confirmed manually, which may take labor to ensure quality. Further, when quality assurance is prioritized, there is a high possibility that the total work man-hours will increase as described above.
以下では、動画に対するアノテーション作業の品質および該アノテーション作業の工数を考慮し、該動画からそれぞれの作業者がアノテーション作業を行うフレーム区間の部分動画を取得するための技術について説明する。 Hereinafter, a technique for acquiring a partial moving image of a frame section in which each worker performs an annotation work will be described in consideration of the quality of the annotation work for the moving image and the man-hours of the annotating work.
まず、本実施形態に係るシステムの構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、情報処理装置１００および端末装置１９０を有し、情報処理装置１００と端末装置１９０との間は有線および／または無線のネットワーク１８０を介して互いにデータ通信が可能なように構成されている。また、情報処理装置１００には、入力装置１０１および出力装置１１７が接続されている。
First, a configuration example of the system according to the present embodiment will be described with reference to the block diagram of FIG. As shown in FIG. 1, the system according to the present embodiment has an
まず、入力装置１０１について説明する。入力装置１０１は、情報処理装置１００への各種の情報入力を行うためにユーザが操作するユーザインターフェースである。このようなユーザインターフェースには、例えば、キーボード、マウス、タッチパネル画面、トラックボール、ペンタブレットなどが適用可能である。
First, the
次に、出力装置１１７について説明する。出力装置１１７は、情報処理装置１００による処理結果を画像や文字などでもって表示することができる表示装置である。このような表示装置には、例えば、液晶画面やタッチパネル画面を有する表示装置が適用可能である。なお、出力装置１１７は表示装置に限らず、例えば、各種の情報を外部の装置に対して送信する通信機器であっても良い。
Next, the
次に、端末装置１９０について説明する。端末装置１９０は、作業者が自身に割り当てられた部分動画に対するアノテーション作業を行うために操作する装置である。端末装置１９０は、アノテーション作業の対象となる部分動画を情報処理装置１００からダウンロードする。作業者は端末装置１９０を操作して部分動画に対するアノテーション作業を行い、端末装置１９０は、該アノテーション作業に応じて該部分画像の各フレームに対して正解ラベルを付与する。そして端末装置１９０は、作業者からアップロードの指示を受けると、該アノテーション作業済みの部分動画を情報処理装置１００にアップロードする。図１では、説明を簡単にするために、ネットワーク１８０に接続されている端末装置１９０の台数を１としているが、実際には、複数台（例えば作業者の人数分）の端末装置１９０がネットワーク１８０に接続されている。そしてそれぞれの端末装置１９０は同様に動作して、アノテーション作業済みの部分動画を生成し、該アノテーション作業済みの部分動画を情報処理装置１００にアップロードする。
Next, the
次に、情報処理装置１００について説明する。情報処理装置１００は、動画から各作業者に割り当てる部分動画を生成すると共に、各作業者によるアノテーション作業を評価するためのコンピュータ装置である。このようなコンピュータ装置には、例えば、スマートフォン、タブレット端末装置、ＰＣ（パーソナルコンピュータ）などが適用可能である。
Next, the
情報処理装置１００のハードウェア構成例について、図２のブロック図を用いて説明する。なお、図２に示した構成は、情報処理装置１００に適用可能なハードウェア構成の一例であり、図２に示した構成に限定するものではなく、適宜変更／変形が可能である。
An example of the hardware configuration of the
ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ２０１は、情報処理装置１００全体の動作制御を行うと共に、情報処理装置１００が行うものとして説明する各種の処理を実行もしくは制御する。
The
ＲＯＭ２０２には、情報処理装置１００の設定データ、情報処理装置１００の起動に係るコンピュータプログラムやデータ、情報処理装置１００の基本動作に係るコンピュータプログラムやデータ、などが格納されている。
The
ＲＡＭ２０３は、ＲＯＭ２０２や補助記憶装置２０４からロードされたコンピュータプログラムやデータを格納するためのエリア、Ｉ／Ｆ２０７を介して外部の装置から受信したデータを格納するためのエリア、を有する。さらにＲＡＭ２０３は、ＣＰＵ２０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ２０３は，各種のエリアを適宜提供することができる。
The
補助記憶装置２０４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの不揮発性メモリである。補助記憶装置２０４には、ＯＳ（オペレーティングシステム）、情報処理装置１００が行うものとして説明する各種の処理をＣＰＵ２０１に実行もしくは制御させるためのコンピュータプログラムやデータ、などが保存されている。補助記憶装置２０４に保存されているコンピュータプログラムやデータは、ＣＰＵ２０１による制御に従って適宜ＲＡＭ２０３にロードされ、ＣＰＵ２０１による処理対象となる。なお、図１に示したＤＢ１０３およびＤＢ１１３は補助記憶装置２０４内に設けることができる。
The
Ｉ／Ｆ２０７は、上記のネットワーク１８０を介して端末装置１９０との間のデータ通信を行うために利用される通信インターフェースである。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、出力装置１１７、入力装置１０１、Ｉ／Ｆ２０７は何れもシステムバス２０８に接続されている。
The I /
以下では、図１に示した情報処理装置１００の機能部を処理の主体として説明する。しかし実際には、該機能部の機能をＣＰＵ２０１に実行させるためのコンピュータプログラムを該ＣＰＵ２０１が実行することで、該機能部の機能が実現される。これは端末装置１９０についても同様である。つまり、以下では、図１に示した端末装置１９０の機能部を処理の主体として説明する。しかし、例えば、端末装置１９０が図２に示したハードウェア構成を有する場合、該機能部の機能をＣＰＵ２０１に実行させるためのコンピュータプログラムを該ＣＰＵ２０１が実行することで、該機能部の機能が実現される。
Hereinafter, the functional unit of the
以下では、動画に対するアノテーション作業を複数の作業者が行うので、情報処理装置１００は、該複数の作業者のそれぞれについて、該動画から、該作業者がアノテーション作業を行う対象となるフレーム区間の部分動画を取得する。そして情報処理装置１００は、それぞれの作業者の部分動画を管理し、作業者の端末装置１９０から部分画像のダウンロード要求を受けると、ダウンロード要求の対象となる部分画像を該端末装置１９０に対して送信する。情報処理装置１００がそれぞれの作業者に対する部分動画を生成するために行う処理について、図３のフローチャートに従って説明する。
In the following, since a plurality of workers perform annotation work on the moving image, the
＜ステップＳ３０１＞
取得部１０２は、アノテーション作業の対象となる動画を取得し、該取得した動画をＤＢ（データベース）１０３に格納する。取得部１０２による動画の取得方法は特定の取得方法に限らない。例えば、取得部１０２は、情報処理装置１００に接続されている外部の装置から動画を取得（受信）するようにしても良いし、撮像装置により撮像された動画を取得するようにしても良い。また、情報処理装置１００は、以下の処理のための様々な初期設定を行う。
<Step S301>
The
＜ステップＳ３０２＞
決定部１０４は、ステップＳ３０１でＤＢ１０３に格納された動画に対するアノテーション作業の難易度を取得する。決定部１０４による「動画に対するアノテーション作業の難易度」の取得方法は特定の取得方法に限らない。
<Step S302>
The
例えば、動画が長時間の動画（フレーム数が多い動画）であり、且つ該動画についてアノテーション作業を行う作業者の数が少ない場合は、一人の作業者がアノテーション作業を行うフレーム区間の長さは長くなる。このような状況では、集中力欠如などによりミスを誘発する可能性が高く、このような動画に対するアノテーション作業の難易度は比較的高くなる。 For example, if the video is a long-time video (a video with a large number of frames) and the number of workers annotating the video is small, the length of the frame section in which one worker performs the annotation work is become longer. In such a situation, there is a high possibility that mistakes will be induced due to lack of concentration, and the difficulty of annotation work for such a video will be relatively high.
また、動画（映像）が細かいほど（たとえば、動画に登場する物体のバリエーションの数が多いほど）、該動画に対するアノテーション作業の難易度は比較的高くなる。また、動画における映像が大まかなほど（たとえば、映像に登場する物体の大きさが大きいほど）、該動画に対するアノテーション作業の難易度は比較的低くなる。 Further, the finer the moving image (video) (for example, the larger the number of variations of the object appearing in the moving image), the higher the difficulty of the annotation work for the moving image. Further, the rougher the image in the moving image (for example, the larger the size of the object appearing in the image), the lower the difficulty of the annotation work for the moving image.
決定部１０４は、上記のような、動画のフレーム数や動画における映像の細かさなどといった、該動画における複雑度のみに基づいて難易度を取得しても良い。また決定部１０４は、それぞれの作業者のアノテーション作業の熟練度（たとえば、該作業者がこれまでに行ったアノテーション作業のトータル実績工数、該アノテーション作業に対する管理者による評価結果など）のみに基づいて難易度を取得しても良い。また決定部１０４は、動画における複雑度およびそれぞれの作業者のアノテーション作業の熟練度に基づいて難易度を取得しても良い。
The
「動画に対するアノテーション作業の難易度」は、様々な要因に応じて規定されるものである。以下では、「動画に対するアノテーション作業の難易度」の一例としていくつか述べる。 The "difficulty of annotation work for moving images" is defined according to various factors. In the following, some examples of "difficulty of annotation work for video" will be described.
＜ステップＳ３０３＞
情報処理装置１００のユーザが入力装置１０１を操作して「動画から、それぞれの作業者がアノテーション作業を行う部分動画を取得する」ための指示を入力すると、操作部１０７は、該指示を該入力装置１０１から取得する。そして操作部１０７は、該指示の取得に応じて分割部１０８に、処理の開始を指示する。
<Step S303>
When the user of the
分割部１０８は、操作部１０７から処理の開始の指示を受けると、複数の作業者のそれぞれについて、ステップＳ３０１でＤＢ１０３に格納された動画から、該作業者がアノテーション作業を行うフレーム区間の部分動画を取得する。その際、分割部１０８は、着目フレーム区間と、該着目フレーム区間と重複部分を有するフレーム区間と、において、該重複部分の長さ（重複幅）を、ステップＳ３０２で取得した難易度に基づいて制御する。次に、上記のステップＳ３０２およびステップＳ３０３における処理の詳細について、図８のフローチャートに従って説明する。
When the
＜ステップＳ８０１＞
決定部１０４は、管理部１０５が管理している「動画に対するアノテーション作業を行うそれぞれの作業者のアノテーション作業の熟練度を示すパラメータ」を取得する。管理部１０５が管理している「動画に対するアノテーション作業を行うそれぞれの作業者のアノテーション作業の熟練度を示すパラメータ」は、外部から設定されても良い。また、管理部１０５が管理している「動画に対するアノテーション作業を行うそれぞれの作業者のアノテーション作業の熟練度を示すパラメータ」は、作業者によるアノテーション作業に対する評価（評価を行う主体は問わない）の結果に応じて更新されても良い。
<Step S801>
The
＜ステップＳ８０２＞
判定部１０６は、ステップＳ３０１で取得した動画における複雑度を判定することで、「動画における複雑度を示すパラメータ」を取得する。上記の如く、「動画における複雑度」は、動画に係る様々な情報に基づいて規定することができる。
<Step S802>
The
「動画における複雑度」は、例えば、該動画のフレーム数が多いほど／少ないほど高い／低い。また例えば、「動画における複雑度」は、該動画に登場するオブジェクトの数が多いほど／少ないほど高い／低い。また例えば、「動画における複雑度」は、該動画に含まれるシーンの数が多いほど／少ないほど高い／低い。また例えば、「動画における複雑度」は、動画（映像）が細かいほど／大まかなほど（たとえば、動画に登場する物体のバリエーションの数が多いほど／少ないほど）高い／低い。 The “complexity in a moving image” is, for example, higher / lower as the number of frames in the moving image increases / decreases. Further, for example, the “complexity in a moving image” is higher / lower as the number of objects appearing in the moving image is larger / smaller. Further, for example, the “complexity in a moving image” is higher / lower as the number of scenes included in the moving image is larger / smaller. Further, for example, the "complexity in a moving image" is higher / lower as the moving image (video) is finer / roughly (for example, the larger / smaller the number of variations of the object appearing in the moving image).
＜ステップＳ８０３＞
決定部１０４は、ステップＳ８０１で取得したパラメータおよび／またはステップＳ８０２で取得したパラメータに基づいて、「動画に対するアノテーション作業の難易度」を取得する。
<Step S803>
The
＜ステップＳ８０４＞
分割部１０８は、複数の作業者のそれぞれについて、ステップＳ３０１でＤＢ１０３に格納された動画から、該作業者がアノテーション作業を行うフレーム区間の部分動画を取得する。その際、分割部１０８は、着目フレーム区間と、該着目フレーム区間と重複部分を有するフレーム区間と、において、該重複部分の長さを、ステップＳ８０３で取得した難易度に基づいて制御する。
<Step S804>
The
動画に対するアノテーション作業を行う複数の作業者をそれぞれＳ１,…,ＳＮ（Ｎは作業者の人数）と表記すると、分割部１０８は、動画の先頭フレーム側から、Ｓ１に対応するフレーム区間Ｆ１、…、ＳＮに対応するフレーム区間ＦＮを設定する。このとき分割部１０８は、フレーム区間Ｆｉ（１≦ｉ＜Ｎ）と重複部分を有するようにフレーム区間Ｆ（ｉ＋１）を設定するのであるが、該重複部分の長さＬを上記の難易度に応じて制御する。
When a plurality of workers performing annotation work on a moving image are expressed as S1, ..., SN (N is the number of workers), the
例えば、「それぞれの作業者のアノテーション作業の熟練度」を難易度とする場合、分割部１０８は、Ｓｉの熟練度およびＳ（ｉ＋１）の熟練度が高い（つまり難易度が低い）ほど長さＬを短くする。また、分割部１０８は、Ｓｉの熟練度およびＳ（ｉ＋１）の熟練度が低い（つまり難易度が高い）ほど長さＬを長くする。
For example, when the difficulty level is "the skill level of each worker's annotation work", the length of the divided
また例えば、「動画における複雑度」を難易度とする場合、分割部１０８は、「動画における複雑度」が高い（つまり難易度が高い）ほど長さＬを長くし、「動画における複雑度」が低い（つまり難易度が低い）ほど長さＬを短くする。
Further, for example, when the "complexity in the moving image" is set as the difficulty level, the
また例えば「それぞれの作業者のアノテーション作業の熟練度」および「動画における複雑度」を難易度とする場合、分割部１０８は、Ｓｉの熟練度およびＳ（ｉ＋１）の熟練度が高いほど長さＬを短くする。また分割部１０８は、Ｓｉの熟練度およびＳ（ｉ＋１）の熟練度が低いほど長さＬを長くする。このとき、分割部１０８は、「動画における複雑度」が高いほど長さＬを長くし、複雑度が低いほど長さＬを短くする。
Further, for example, when the difficulty level is "proficiency level of annotation work of each worker" and "complexity in moving image", the length of the divided
このようにして分割部１０８は、それぞれの作業者に対応するフレーム区間を設定すると共に、着目フレーム区間と、該着目フレーム区間と重複部分を有するフレーム区間と、において、該重複部分の長さを難易度に応じて制御することができる。
In this way, the
そして分割部１０８は、複数の作業者のそれぞれについて、ステップＳ３０１でＤＢ１０３に格納した動画から、該作業者について設定したフレーム区間の部分動画を取得する。そして分割部１０８は、それぞれの作業者について取得した部分動画をＤＢ１０３に格納する。
Then, the
端末装置１９０の通信部１９１はＤＢ１０３にアクセスして、該端末装置１９０のユーザである作業者に対応する部分動画をダウンロードする。該ダウンロード後、作業者は端末装置１９０を操作して該ダウンロードした部分動画に対するアノテーション作業を行うので、付与部１９２は、該アノテーション作業に応じて、該部分動画における各フレームに正解ラベルを付与する。
The
付与部１９２により部分動画に対してアノテーションとして正解ラベルを付加する処理は、アノテーション作業の種別に応じたタスクごとに異なってもよい。具体的な一例として、部分動画中に撮像された物体を検出するタスクの場合には、付与部１９２は、該物体の該部分動画中の位置の特定と、該物体を示すラベルの付加と、に係る処理を実行する。また、他の一例として、部分動画をシーンごとに分類するタスクの場合には、付与部１９２は、分類したシーンに対し、該シーンのカテゴリを示すラベルを付加する処理を実行する。このように、アノテーションの対象となる部分動画の種別や、アノテーションとしてのラベル付けの目的等に応じて、付与部１９２による部分動画に対するラベル付けに係る処理の内容が適宜変更されてもよい。
The process of adding the correct answer label as an annotation to the partial moving image by the assigning
アノテーション作業が完了すると、作業者は端末装置１９０を操作して、アノテーション作業済みの部分動画を情報処理装置１００にアップロードする指示を入力する。通信部１９１は、該入力を受けると、付与部１９２によるアノテーション作業済みの部分動画（各フレームに正解ラベルが付与された部分動画）をＤＢ１１３にアップロードする。なお、アノテーション作業済みの部分動画は、例えば、教師あり学習における教師データとして利用可能なデータ形式でＤＢ１１３に格納されても良い。
When the annotation work is completed, the operator operates the
なお、図１では、ＤＢ１０３およびＤＢ１１３は情報処理装置１００が有するものとして示している。しかし、これらのＤＢのうち１以上を情報処理装置１００がアクセス可能な外部の装置に設けても良い。
In addition, in FIG. 1,
ＤＢ１１３に全ての作業者のアノテーション作業済みの部分動画がアップロードされると、情報処理装置１００は、適当なタイミングで図４のフローチャートに従った処理を行う。
When the partial moving images having been annotated by all the workers are uploaded to the
例えば、情報処理装置１００は定期的若しくは不定期的に、全ての作業者のアノテーション作業済みの部分動画がＤＢ１１３にアップロードされているか否かを確認する。そして、情報処理装置１００は、ＤＢ１１３に全ての作業者のアノテーション作業済みの部分動画がアップロードされていることを確認すると、図４のフローチャートに従った処理を行う。
For example, the
また例えば、情報処理装置１００のユーザが、全ての作業者のアノテーション作業済みの部分動画がＤＢ１１３にアップロードされているか否かを確認する。そして、ユーザは、ＤＢ１１３に全ての作業者のアノテーション作業済みの部分動画がアップロードされていることを確認すると、入力装置１０１を用いて、図４のフローチャートに従った処理の開始指示を入力する。情報処理装置１００は、図４のフローチャートに従った処理の開始指示が入力されると、図４のフローチャートに従った処理を行う。
Further, for example, the user of the
＜ステップＳ４０１＞
読み込み部１１４は、ＤＢ１１３に格納されているアノテーション作業結果（それぞれの作業者の端末装置１９０からアップロードされたアノテーション作業済みの部分動画）を取得する。
<Step S401>
The reading unit 114 acquires the annotation work result (partial moving image of the annotation work uploaded from the
＜ステップＳ４０２＞
検査部１１５は、上記の重複部分ごとに、該重複部分についてそれぞれの作業者が行ったアノテーション作業のずれを検知する。例えば、検査部１１５は、重複部分を構成するフレームごとに正解ラベルの差（該フレームについて一方の作業者が付した正解ラベル（数値）と他方の作業者が付した正解ラベル（数値）との差分）を求める。そして検査部１１５は、該重複部分に含まれる全てのフレームについて求めた差分の合計Ｓを「該重複部分についてそれぞれの作業者が行ったアノテーション作業のずれ」として求める。
<Step S402>
The
＜ステップＳ４０３＞
通知部１１６は、ステップＳ４０２で求めた重複部分ごとの「ずれ」のうち１つでも異常と見なされる「ずれ」があった場合には、「動画に対するアノテーション作業に所定基準以上の異常がある」と判断する。例えば、通知部１１６は、ステップＳ４０２で求めた重複部分ごとの合計Ｓのうち１つでも閾値を超える合計Ｓがあれば、「動画に対するアノテーション作業に所定基準以上の異常がある」と判断する。
<Step S403>
When the
そして通知部１１６は、「動画に対するアノテーション作業に所定基準以上の異常がある」と判断した場合には、該判断の結果（アラート）を出力装置１１７に対して出力する。これにより出力装置１１７の画面には、「動画に対するアノテーション作業に所定基準以上の異常がある」ことをユーザに通知するための画面が表示される。
Then, when the
次に、上記の重複部分の長さをさらに調整するために情報処理装置１００が行う処理について、図５のフローチャートに従って説明する。図５のフローチャートに従った処理は、上記のステップＳ８０４で各作業者のフレーム区間を設定した後に、該フレーム区間の端部の位置（フレーム位置）を調整するために行われる。
Next, the process performed by the
＜ステップＳ５０２＞
分割部１０８は、上記のステップＳ８０４において設定した各作業者のフレーム区間の端部の位置（フレーム位置）を取得する。
<Step S502>
The
＜ステップＳ５０３＞
検知部１０９は、動画においてシーンが切り替わっているフレーム位置（シーン切り替わりフレーム位置）を取得する。シーン切り替わりフレーム位置の取得方法は特定の取得方法に限らない。例えば、事前に動画にメタ情報として添付されているシーン切り替わりフレーム位置を取得しても良いし、学習モデルなどを用いて動画から取得しても良い。
<Step S503>
The
そして分割部１０８は、ステップＳ５０２で取得したそれぞれのフレーム位置について、該フレーム位置から一定範囲（閾値としてのフレーム数）内にシーン切り替わりフレーム位置が存在するか否かをチェックする。つまり分割部１０８は、作業者がアノテーション作業を行うフレーム区間の端部の近傍にシーン切り替わりフレーム位置が存在するか否かをチェックする。
Then, the
そしてこのチェックの結果、ステップＳ５０２で取得したフレーム位置のうち、一定範囲内にシーン切り替わりフレーム位置が存在するフレーム位置がある（作業者がアノテーション作業を行うフレーム区間の端部の近傍にシーン切り替わりフレーム位置が存在する）場合には、処理はステップＳ５０４に進む。 Then, as a result of this check, among the frame positions acquired in step S502, there is a frame position in which the scene switching frame position exists within a certain range (the scene switching frame near the end of the frame section in which the worker performs annotation work). If the position exists), the process proceeds to step S504.
一方、ステップＳ５０２で取得したフレーム位置のうち、一定範囲内にシーン切り替わりフレーム位置が存在するフレーム位置はない（作業者がアノテーション作業を行うフレーム区間の端部の近傍にシーン切り替わりフレーム位置が存在しない）場合には、図５のフローチャートに従った処理は終了し、確定したフレーム区間から部分動画の取得を行う。 On the other hand, among the frame positions acquired in step S502, there is no frame position in which the scene switching frame position exists within a certain range (the scene switching frame position does not exist near the end of the frame section in which the operator performs the annotation work). ), The process according to the flowchart of FIG. 5 is completed, and the partial moving image is acquired from the fixed frame section.
＜ステップＳ５０４＞
分割部１０８は、ステップＳ５０２で取得したフレーム位置のうち、一定範囲内にシーン切り替わりフレーム位置が存在するフレーム位置（対象フレーム位置）を、シーン切り替わりフレーム位置との距離がより大きくなるように移動させる。つまり分割部１０８は、対象フレーム位置を端部とする重複部分の長さをより長くする。
<Step S504>
The dividing
作業者の習熟度や動画の複雑度をもとに上記の如く各作業者のフレーム区間を設定しても、フレーム区間の端部の近傍にシーン切り替わりフレーム位置が存在した場合、重複幅は十分ではない。しかるにこのようなケースにおいて、図５のフローチャートに従った処理によって重複幅の制御を行うことは有用である。 Even if the frame section of each worker is set as described above based on the proficiency level of the worker and the complexity of the video, if the scene switching frame position exists near the end of the frame section, the overlap width is sufficient. is not. However, in such a case, it is useful to control the overlap width by the process according to the flowchart of FIG.
ただし、シーンの切れ目が多数含まれる動画などの場合、図５のフローチャートに従った処理では重複幅を増やしすぎてしまい、結局は複数の作業者が同一の動画全体に対してアノテーション作業を行うことと同一になってしまう。よって、品質確保と作業効率のバランスを考慮するという考えに基づき、重複幅の増加については一定の上限・下限を設定するようにしても良い。 However, in the case of a video containing many breaks in the scene, the overlap width is increased too much by the processing according to the flowchart of FIG. 5, and in the end, a plurality of workers perform annotation work on the same video as a whole. Will be the same as. Therefore, based on the idea of considering the balance between quality assurance and work efficiency, a certain upper limit / lower limit may be set for the increase in the overlap width.
なお、ＤＢ１１３に全ての作業者のアノテーション作業済みの部分動画がアップロードされると、情報処理装置１００は、図４のフローチャートに従った処理の代わりに、図６のフローチャートに従った処理を行うようにしても良い。以下に、図６のフローチャートに従った処理について説明する。
When the partial moving images of all the workers having been annotated are uploaded to the
＜ステップＳ６０１＞
推定部６０１は、学習済みモデルを用いて、動画における推定単位ごとに正解ラベルを推定する。推定単位はフレームであっても良いし、シーンであっても良いし、部分動画であっても良い。
<Step S601>
The estimation unit 601 estimates the correct label for each estimation unit in the moving image using the trained model. The estimation unit may be a frame, a scene, or a partial moving image.
＜ステップＳ６０２＞
検査部１１５は、ステップＳ６０１における推定結果と、部分動画ごとのアノテーション作業結果と、を照合する。例えば、推定部６０１が動画のフレームごとに正解ラベルを推定した場合、検査部１１５は、部分動画ごとに、該部分動画における各フレームの正解ラベルと、該フレームの推定結果である推定ラベルと、が一致しているか否か（一致若しくは不一致）を判断する。
<Step S602>
The
＜ステップＳ６０３＞
通知部１１６は、ステップＳ６０２における検査部１１５による照合結果に基づいて「所定基準以上の異常がある」か否かを判断する。例えば通知部１１６は、部分動画に含まれるフレームのうち一定フレーム数以上のフレームについての照合の結果が「不一致」であった場合には、「所定基準以上の異常がある」と判断する。
<Step S603>
The
そして通知部１１６は、「所定基準以上の異常がある」と判断した場合には、該判断の結果（アラート）を出力装置１１７に対して出力する。これにより出力装置１１７の画面には、「所定基準以上の異常がある」ことをユーザに通知するための画面が表示される。
Then, when the
［第１の実施形態］
本実施形態では、情報処理装置１００の具体的なユースケースについて説明する。本実施形態では、図７に例示するＧＵＩ（グラフィカルユーザインターフェース）７０１を出力装置１１７に表示する。ユーザは入力装置１０１を用いてＧＵＩ７０１を操作する。以下では、ユーザがＧＵＩ７０１を操作して入力した各種の指示や情報は操作部１０７が受け取り、ＧＵＩ７０１の表示制御は通知部１１６が行うものとする。
[First Embodiment]
In this embodiment, a specific use case of the
本実施形態では、動画から特定の物体を検出するタスクを実行するモデルの学習に用いる正解データを作成するためのアノテーション作業を例にとる。そして、このようなアノテーション作業を行う作業者がアノテーション作業の対象とする部分動画を得るためのＧＵＩについて説明する。 In this embodiment, an annotation work for creating correct answer data used for learning a model that executes a task of detecting a specific object from a moving image is taken as an example. Then, a GUI for a worker who performs such annotation work to obtain a partial moving image to be annotated will be described.
領域７０２は、アノテーション作業の対象となる動画の各フレームが表示される領域である。領域７０３は、動画のタイムラインを表示するための領域である。図７では、動画からそれぞれの作業者の部分動画が得られた状態を示しており、作業者Ａに対応する部分動画には該作業者Ａの名称「作業者Ａ」が表示されており、作業者Ｂに対応する部分動画には該作業者Ｂの名称「作業者Ｂ」が表示されている。
The
領域７０４は、アノテーション作業の対象となる動画を選択するための領域である。領域７０４には、アノテーション作業の対象となる動画を指定するための「参照」ボタンと、指定した動画を取得する指示を入力するための「取込み」ボタンと、が設けられている。
The
ユーザが入力装置１０１を操作して「参照」ボタンを指示すると、出力装置１１７には、動画を保持しているフォルダを指定するための画面が表示される。ユーザは該画面において所望の動画（アノテーション作業の対象となる動画）を入力装置１０１を操作して指定することができる。アノテーション作業の対象となる動画を指定した後、ユーザが入力装置１０１を用いて「取込み」ボタンを指示すると、取得部１０２は、該指定した動画を情報処理装置１００に取得する。
When the user operates the
領域７０５は、領域７０４に対するユーザ操作に応じて取得した動画における複雑度を表示するための領域である。領域７０５には、動画の長さ（フレーム数や時間）、動画の粒度（動画に登場する物体のバリエーション数や物体自体の細かさ）、その他の情報、を表示するための領域が設けられている。
The
領域７０６は、動画に対するアノテーション作業を行う作業者を指定するための領域である。ユーザが入力装置１０１を用いて「選択」ボタンを指示すると、作業者の一覧が表示され、ユーザが入力装置１０１を用いてそのうちの一人を指定すると、該指定した作業者の名称がその左側の領域に表示される。作業者は、該作業者のアノテーション作業の熟練度（スキルレベル）と共に管理されており、作業者の名称と共に、該作業者のアノテーション作業のスキルレベルが表示される。図７では、動画に対するアノテーション作業を行う作業者として作業者Ａ、作業者Ｂ、作業者Ｃを指定したので、領域７０６には、作業者Ａとそのスキルレベル、作業者Ｂとそのスキルレベル、作業者Ｃとそのスキルレベルが表示されている。スキルレベルは、例えば、「高」、「中」、「低」や、「３」、「２」、「１」によって表される。
The
ユーザが入力装置１０１を用いてボタン７０７を指示すると、情報処理装置１００は、現在ＧＵＩ７０１を用いて行っている処理を終了する。なお、情報処理装置１００は、ボタン７０７が指示されると、前回に領域７０４に対するユーザ操作により取得した動画を領域７０２に表示し、該動画を以降にＧＵＩ７０１にて対象とする動画にするようにしても良い。
When the user instructs the
ユーザが入力装置１０１を用いてボタン７０８を指示すると、情報処理装置１００は、領域７０４に対するユーザ操作に応じて取得した動画を対象にして、図３のフローチャートに従った処理を行う。その際、情報処理装置１００は、領域７０５に表示した情報の１つ以上に基づく複雑度と、領域７０６に表示されているそれぞれの作業者のアノテーション作業の熟練度と、に基づいて上記の難易度を取得する。なお、上記の如く、難易度は複雑度のみに基づいて取得しても良いし、それぞれの作業者のアノテーション作業の熟練度のみに基づいて取得しても良い。そして情報処理装置１００は、領域７０４に対するユーザ操作により取得した動画から該難易度に基づいて、作業者Ａ、作業者Ｂ、作業者Ｃのそれぞれに対応する部分動画を取得してＤＢ１０３に格納する。
When the user instructs the
なお、領域７０６では、作業者Ａ、作業者Ｂ、作業者Ｃの順に上から並んでおり、この順に番号が振られている。よって、情報処理装置１００は、動画において先頭フレーム側から１番目の部分動画は、作業者Ａがアノテーション作業を行う対象とする部分動画とし、該部分動画に作業者Ａの識別情報を付与してＤＢ１０３に登録する。また情報処理装置１００は、動画において先頭フレーム側から２番目の部分動画は、作業者Ｂがアノテーション作業を行う対象とする部分動画とし、該部分動画に作業者Ｂの識別情報を付与してＤＢ１０３に登録する。また情報処理装置１００は、動画において先頭フレーム側から３番目の部分動画は、作業者Ｃがアノテーション作業を行う対象とする部分動画とし、該部分動画に作業者Ｃの識別情報を付与してＤＢ１０３に登録する。
In the
ユーザが入力装置１０１を用いてボタン７０９を指示すると、情報処理装置１００は、図４のフローチャートに従った処理、もしくは図６のフローチャートに従った処理を行う。アラートは図７のＧＵＩ７０１に表示しても良いし、該ＧＵＩ７０１とは異なるウィンドウ内に表示しても良い。
When the user instructs the
次に、重複部分の長さ（重複幅）の制御例について、図９および図１０を用いて説明する。図９は、作業者の熟練度に応じて重複幅を制御する制御例を示している。図９（ａ）に示す如く、作業者Ａの熟練度および作業者Ｂの熟練度が何れも低い場合には重複幅を長くし、図９（ｂ）に示す如く、作業者Ａの熟練度および作業者Ｂの熟練度が何れも高い場合には重複幅を短くする。 Next, a control example of the length (overlapping width) of the overlapping portion will be described with reference to FIGS. 9 and 10. FIG. 9 shows a control example in which the overlap width is controlled according to the skill level of the operator. As shown in FIG. 9A, when both the skill level of the worker A and the skill level of the worker B are low, the overlap width is lengthened, and as shown in FIG. 9B, the skill level of the worker A is increased. And when the skill level of the worker B is high, the overlap width is shortened.
図１０（ａ）、（ｂ）は動画における複雑度に応じて重複幅を制御する制御例を示している。図１０（ａ）に示す如く、「動画における複雑度」が高い場合には重複幅を長くし、図１０（ｂ）に示す如く、「動画における複雑度」が低い場合には重複幅を短くする。 FIGS. 10A and 10B show a control example in which the overlap width is controlled according to the complexity in the moving image. As shown in FIG. 10 (a), the overlap width is lengthened when the “complexity in the moving image” is high, and the overlapping width is shortened when the “complexity in the moving image” is low as shown in FIG. 10 (b). do.
図１０（ｃ）は作業者の熟練度および動画における複雑度に応じて重複幅を制御する制御例を示している。図１０（ｃ）に示す如く、作業者Ａの熟練度および作業者Ｂの熟練度の何れも高い場合には重複幅を短くするが、「動画における複雑度」が高いほど重複幅をより長くする。なお、「作業者Ａの熟練度および作業者Ｂの熟練度の何れも高い、且つ動画における複雑度が低い」という条件に応じて調整する重複幅は、「動画における複雑度が低い」という条件に応じて調整する重複幅よりも短くする。また、「作業者Ａの熟練度および作業者Ｂの熟練度の何れも低い、且つ動画における複雑度が高い」という条件に応じて調整する重複幅は、「動画における複雑度が高い」という条件に応じて調整する重複幅よりも長くする。 FIG. 10C shows a control example in which the overlap width is controlled according to the skill level of the operator and the complexity level in the moving image. As shown in FIG. 10 (c), when both the skill level of the worker A and the skill level of the worker B are high, the overlap width is shortened, but the higher the "complexity in the moving image", the longer the overlap width. do. The overlap width to be adjusted according to the condition that "both the skill level of the worker A and the skill level of the worker B are high and the complexity in the moving image is low" is the condition that the complexity in the moving image is low. Make it shorter than the overlap width to be adjusted according to. Further, the overlap width adjusted according to the condition that "both the skill level of the worker A and the skill level of the worker B are low and the complexity in the moving image is high" is the condition that the complexity in the moving image is high. Make it longer than the overlap width to be adjusted according to.
次に、図５のフローチャートに従った処理による重複幅の制御例について、図１１を用いて説明する。図１１（ａ）に示す如く、一方のフレーム区間の後端付近にシーン１とシーン２の境界位置（シーン１からシーン２に切り替わっているシーン切り替わりフレーム位置）があり、他方のフレーム区間の先端がシーン切り替わりフレーム位置の近傍にあるとする。このとき、図１１（ｂ）に示す如く、他方のフレーム区間の先端のフレーム位置を、シーン切り替わりフレーム位置との距離がより大きくなるように移動させる。つまり、一方のフレーム区間と他方のフレーム区間との重複部分の長さをより長くする。
Next, an example of controlling the overlap width by processing according to the flowchart of FIG. 5 will be described with reference to FIG. As shown in FIG. 11A, there is a boundary position between
本実施形態では、主に以下に挙げる技術思想に基づき、動画から作業者ごとの部分動画を取得する処理を行う際に品質と効率のバランスを確保する一例について提案した。具体的に技術思想とは、動画の複雑度が高い場合には、作業者の操作間違いや判断の誤りが発生する確率が高まる。また、作業者の熟練度が低ければ、操作間違いや判断の誤りが発生する確率が高まる。よって、そのような要因が直接的あるいは間接的にエラー発生につながった際のエラー検知するための対応が行われることが望ましいという考え方である。 In this embodiment, we have proposed an example of ensuring a balance between quality and efficiency when performing a process of acquiring a partial moving image for each worker from a moving image, mainly based on the following technical ideas. Specifically, the technical idea is that when the complexity of the moving image is high, the probability that the operator makes an operation error or a judgment error increases. Further, if the skill level of the worker is low, the probability that an operation error or a judgment error occurs increases. Therefore, the idea is that it is desirable to take measures to detect an error when such a factor directly or indirectly leads to the occurrence of an error.
このように、本実施形態によれば、複数の作業者が動画に対してアノテーションとして正解ラベルを付加する状況下において、作業者による正解ラベルの候補の選択をより好適な態様で支援することが可能となる。具体的には、上述した動画の複雑度や作業者のアノテーション作業の熟練度による重複幅の制御が適用されることで、アノテーション作業工数を抑制しつつ、作業者が意図する正解ラベルの候補とは異なる候補を誤って選択するような事態が発生した場合においてもエラーを検知できる可能性を高めることが可能となる。 As described above, according to the present embodiment, it is possible to support the selection of the correct label candidate by the worker in a more preferable manner in the situation where a plurality of workers add the correct label as an annotation to the moving image. It will be possible. Specifically, by applying the control of the overlap width according to the complexity of the video and the skill level of the annotation work of the worker described above, the man-hours for the annotation work can be suppressed and the candidate for the correct label intended by the worker can be used. Can increase the possibility of detecting an error even when a situation occurs in which a different candidate is mistakenly selected.
［第２の実施形態］
第１の実施形態では、情報処理装置１００とそれぞれの作業者の端末装置１９０とを別個の装置としている。しかし、情報処理装置１００と端末装置１９０とを一体化させて、情報処理装置１００の機能と端末装置１９０の機能とを有する１台のコンピュータ装置を構成しても良い。この場合、それぞれの作業者はこの１台のコンピュータ装置を共有してアノテーション作業を行うことになる。
[Second Embodiment]
In the first embodiment, the
また、情報処理装置１００を複数台のコンピュータ装置で実装しても良い。例えば、情報処理装置１００を、動画からそれぞれの作業者の部分動画を生成してＤＢ１０３に登録するコンピュータ装置と、ＤＢ１１３にアップロードされたアノテーション作業済みの部分動画に対して図４や図６のフローチャートに従った処理を行うコンピュータ装置と、で実装しても良い。
Further, the
上記の出力装置１１７は、他にも、音声を出力する装置であっても良く、その場合、上記のアラートを出力装置１１７によって音声として通知することができる。また、出力装置１１７は、表示および音声出力の両方の機能を有する装置であっても良い。
The
また、上記の入力装置１０１は、マイクロフォン等の集音デバイスを含んでもよく、例えば、ユーザが発話した音声を集音してもよい。この場合、操作部１０７は、入力装置１０１を介して入力されたユーザの音声に対して音響解析や自然言語処理等の各種解析処理を行って、該音声が示す内容をユーザから入力された指示として認識しても良い。
Further, the
また、アラートの通知方法は特定の通知方法に限らない。例えば、画面上における文字や画像の表示形態を制御することでアラートの通知を行っても良いし、情報処理装置１００にスピーカを設け、該スピーカを介してアラートを音声として通知しても良い。
Further, the alert notification method is not limited to a specific notification method. For example, the alert may be notified by controlling the display form of characters and images on the screen, or the
また、上記の各実施形態で使用した数値、処理タイミング、処理順、データ（情報）の構成／送信先／送信元、画面の構成やその操作方法などは、具体的な説明を行うために一例として挙げたものであり、このような一例に限定することを意図したものではない。 In addition, the numerical values, processing timing, processing order, data (information) configuration / destination / source, screen configuration, and its operation method used in each of the above embodiments are examples for giving a concrete explanation. It is not intended to be limited to such an example.
また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。 In addition, some or all of the above-described embodiments may be used in combination as appropriate. Further, a part or all of each of the above-described embodiments may be selectively used.
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the above embodiment, and various modifications and modifications can be made without departing from the spirit and scope of the invention. Therefore, a claim is attached to publicize the scope of the invention.
１００：情報処理装置 １０１：入力装置 １０２：取得部 １０３：ＤＢ １０４：決定部 １０５：管理部 １０６：判定部 １０７：操作部 １０８：分割部 １０９：カット検知部 １１３：ＤＢ １１４：読み込み部 １１５：検査部 １１６：通知部 １１７：出力装置 １１８：推定部 １９０：端末装置 １９１：通信部 １９２：付与部 100: Information processing device 101: Input device 102: Acquisition unit 103: DB 104: Determination unit 105: Management unit 106: Judgment unit 107: Operation unit 108: Division unit 109: Cut detection unit 113: DB 114: Reading unit 115: Inspection unit 116: Notification unit 117: Output device 118: Estimator unit 190: Terminal device 191: Communication unit 192: Grant unit
Claims (10)
前記第１部分動画および前記第２部分動画のそれぞれに対するアノテーション作業を行う作業者の熟練度を表すパラメータおよび／または前記動画に係るパラメータに基づいて、前記重複部分の長さを制御する制御手段と
を備えることを特徴とする情報処理装置。 An acquisition means for acquiring a first partial moving image corresponding to the first frame section and a second partial moving image corresponding to the second frame section having an overlapping portion with the first frame section from the moving image.
A control means for controlling the length of the overlapping portion based on a parameter representing the skill level of a worker performing annotation work for each of the first partial moving image and the second partial moving image and / or a parameter related to the moving image. An information processing device characterized by being equipped with.
前記動画に対するアノテーション作業の異常を検査する検査手段と、
前記異常があった場合にはアラートを通知する通知手段と
を備えることを特徴とする請求項１ないし５のいずれか１項に記載の情報処理装置。 moreover,
Inspection means for inspecting abnormalities in annotation work for the video, and
The information processing apparatus according to any one of claims 1 to 5, further comprising a notification means for notifying an alert when there is an abnormality.
前記情報処理装置の取得手段が、動画から、第１フレーム区間に対応する第１部分動画と、該第１フレーム区間と重複部分を有する第２フレーム区間に対応する第２部分動画と、を取得する取得工程と、
前記情報処理装置の制御手段が、前記第１部分動画および前記第２部分動画のそれぞれに対するアノテーション作業を行う作業者の熟練度を表すパラメータおよび／または前記動画に係るパラメータに基づいて、前記重複部分の長さを制御する制御工程と
を備えることを特徴とする情報処理方法。 It is an information processing method performed by an information processing device.
The acquisition means of the information processing device acquires a first partial moving image corresponding to the first frame section and a second partial moving image corresponding to the second frame section having an overlapping portion with the first frame section from the moving image. Acquisition process and
The overlapping portion is based on a parameter representing the skill level of a worker who performs annotation work for each of the first partial moving image and the second partial moving image and / or a parameter related to the moving image by the control means of the information processing apparatus. An information processing method characterized by comprising a control process for controlling the length of the device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020176922A JP2022068012A (en) | 2020-10-21 | 2020-10-21 | Information processing device and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020176922A JP2022068012A (en) | 2020-10-21 | 2020-10-21 | Information processing device and information processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022068012A true JP2022068012A (en) | 2022-05-09 |
Family
ID=81456189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020176922A Pending JP2022068012A (en) | 2020-10-21 | 2020-10-21 | Information processing device and information processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022068012A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7425166B1 (en) | 2022-11-30 | 2024-01-30 | カリツー株式会社 | Logistics work evaluation support system |
-
2020
- 2020-10-21 JP JP2020176922A patent/JP2022068012A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7425166B1 (en) | 2022-11-30 | 2024-01-30 | カリツー株式会社 | Logistics work evaluation support system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019080501A1 (en) | Electronic apparatus, multi-model sample training method and system, and computer-readable storage medium | |
| US20060259861A1 (en) | System and method for auto-sensed search help | |
| CN109388506B (en) | Data processing method and electronic equipment | |
| JP3910196B2 (en) | Sequence program editing device | |
| US9495650B2 (en) | Information display system, information processing device, and information display method | |
| US20130246610A1 (en) | Information processing apparatus, information processing system, information processing method, and non-transitory computer-readable medium | |
| JP2019032719A (en) | Information processing system, information processing method, and program | |
| JP5127895B2 (en) | Recording apparatus and recording method | |
| JP2007025497A (en) | Educational assistance program and educational assistant device | |
| JP2022068012A (en) | Information processing device and information processing method | |
| US20200094992A1 (en) | System and method for converting technical manuals for augmented reality | |
| CN107193465A (en) | A kind of touch page methods of exhibiting and system | |
| US9654523B2 (en) | Information processing system, and non-transitory computer readable medium for displaying electronic stickey notes transmitted from a participant device to a board of a shared device | |
| CN106155740A (en) | For the method and apparatus carrying out Unloading Control | |
| CN111401013B (en) | Form input interaction method, form processing device and electronic equipment | |
| CN113326113B (en) | Task processing method and device, electronic equipment and storage medium | |
| CN101114279A (en) | Document production support device, methods thereof and storage medium | |
| JP5181008B2 (en) | Automatic processing list creation apparatus, method and program | |
| JP2022107741A (en) | Information processing apparatus, personnel analysis support method, and program | |
| US9208409B2 (en) | Display apparatus, method for controlling the same, and storage medium for displaying a schedule screen for print jobs to be executed | |
| US11042274B2 (en) | Extracting demonstrations from in-situ video content | |
| JP2015022438A (en) | Report creation support device, method thereof, and program | |
| JP2020086559A (en) | Sentiment analysis system | |
| US20190318652A1 (en) | Use of intelligent scaffolding to teach gesture-based ink interactions | |
| JP2021064280A (en) | Information processing apparatus and method for controlling the same, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |