JP2020024520A - Subjective evaluation device and program - Google Patents
Subjective evaluation device and program Download PDFInfo
- Publication number
- JP2020024520A JP2020024520A JP2018147962A JP2018147962A JP2020024520A JP 2020024520 A JP2020024520 A JP 2020024520A JP 2018147962 A JP2018147962 A JP 2018147962A JP 2018147962 A JP2018147962 A JP 2018147962A JP 2020024520 A JP2020024520 A JP 2020024520A
- Authority
- JP
- Japan
- Prior art keywords
- sequence
- unit
- detected
- sequences
- common part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、並び順のランダムな評価対象を提示する主観評価装置及びプログラムに関する。 The present invention relates to a subjective evaluation device and a program for presenting a random evaluation target in an arrangement order.
複数の評価対象を主観評価する場合、評価者ごとの試行における評価対象の並び順は、順序効果を排除する目的で、何らかのランダム化手法を用いて評価者ごとに並び替える必要がある（例えば、非特許文献３，４参照）。実際の主観評価の手法について記された文献においても、評価対象の並び順をランダム化することが推奨されている（例えば、非特許文献１，２，５参照）。
When subjectively evaluating a plurality of evaluation targets, the order of the evaluation targets in the trial for each evaluator needs to be rearranged for each evaluator using some randomization method in order to eliminate the order effect (for example, Non-Patent
従来、主観評価装置におけるランダム化の手続きは、Ｅｘｃｅｌ（登録商標）に付属するｒａｎｄ関数を利用するなど、計算機のランダム化機能を応用することが多かった。しかし、これらのランダム化アルゴリズムは疑似乱数を利用した仕組みであり、部分的な並び順のランダム性まで保証するものではない。例えば、数列［１ ２ ３ ４ ５］と［３ ４ ５ １ ２］とは異なるが、並び順［１ ２］と［３ ４ ５］は双方で共通している。そのため、計算機が出力した並び順を目視して確認し、並び順に偏りがないかを確認する必要があった。しかしながら、実験実施者によるランダム度合いの評価や特定の並び順の除外は、特定のバイアスが掛かる可能性があり、公正な実験デザインとは言えない場合も出てくる。また、評価対象の個数や試行回数が多い場合は、実験実施者が全ての並び順を管理することは現実的に不可能であり、これらの手法によるランダム化には限界があった。 Conventionally, the randomization procedure in the subjective evaluation apparatus has often applied a randomizing function of a computer, for example, using a rand function attached to Excel (registered trademark). However, these randomization algorithms use a pseudo-random number, and do not guarantee partial randomness of arrangement. For example, the sequences [1 2 3 4 5] and [3 4 5 1 2] are different, but the arrangement order [1 2] and [3 4 5] are common to both. For this reason, it is necessary to visually check the arrangement order output by the computer and to check whether there is no bias in the arrangement order. However, the experimenter's evaluation of the degree of randomness and exclusion of a specific arrangement order may have a specific bias, and may not be a fair experimental design. In addition, when the number of evaluation targets and the number of trials are large, it is practically impossible for the experimenter to manage all the arrangement orders, and there is a limit to randomization by these methods.
かかる事情に鑑みてなされた本発明の目的は、評価対象の並び順のランダム性を評価することで、並び順がランダム化された評価対象を自動的に提示することが可能な主観評価装置及びプログラムを提供することにある。 An object of the present invention made in view of such circumstances is to evaluate the randomness of the arrangement order of the evaluation target, and to automatically present the evaluation target in which the arrangement order is randomized. To provide a program.
上記課題を解決するため、本発明に係る主観評価装置は、並び順のランダムな評価対象を提示する主観評価装置であって、並び順のランダムな数列を複数本生成する数列生成部と、複数の評価対象を前記数列に基づいて並べ替える評価対象並べ替え部と、前記評価対象並べ替え部により並べ替えられた評価対象を提示する評価対象提示部と、を備え、前記数列生成部は、それぞれ順列が異なる数列を複数本発生する数列発生部と、前記数列を記録する数列記録部と、前記数列記録部に記録されている数列から選択された数列である基準数列と、前記数列記録部に記録されている数列から選択した１本以上の数列である被検出数列との間で、部分的に並び順が共通する数列である共通部分数列を検出する共通部分数列検出部と、前記共通部分数列検出部によって共通部分数列を検出されなかった被検出数列の中から１本以上の数列を選択して出力するとともに、当該数列を前記基準数列に追加する数列選択出力部と、を備えることを特徴とする。 In order to solve the above-described problem, a subjective evaluation device according to the present invention is a subjective evaluation device that presents a random evaluation target in a sorting order, and a sequence generating unit that generates a plurality of random sequences in a sorting order; An evaluation target rearrangement unit that rearranges the evaluation targets based on the sequence, and an evaluation target presentation unit that presents the evaluation targets rearranged by the evaluation target rearrangement unit, and the sequence generation unit includes: A sequence generating unit that generates a plurality of sequences having different permutations, a sequence recording unit that records the sequence, a reference sequence that is a sequence selected from the sequences recorded in the sequence recording unit, and a sequence sequence. A common part sequence detector for detecting a common part sequence that is a sequence having a partial common order among a sequence to be detected, which is one or more sequence selected from the recorded sequence; number A sequence selection output unit that selects and outputs one or more sequences from the sequence of detected sequences for which the common part sequence has not been detected by the detection unit, and adds the sequence to the reference sequence. And
さらに、本発明に係る主観評価装置において、前記数列選択出力部は、被検出数列のうち、前記共通部分数列の長さが閾値を超えるもの、又は前記共通部分数列の出現回数が閾値を超えるものを除外し、残った被検出数列の中から１本以上の数列を選択することを特徴とする。 Furthermore, in the subjective evaluation device according to the present invention, the sequence selection output unit may include a sequence whose length of the common part sequence exceeds a threshold, or a case where the number of appearances of the common part sequence exceeds a threshold among the sequence to be detected. , And one or more sequences are selected from the remaining detected sequences.
さらに、本発明に係る主観評価装置において、前記数列発生部は、前記共通部分数列検出部が、前記被検出数列の全てに共通部分数列を検出した場合に、新たに数列を発生して前記数列記録部の数列を更新するか、あるいは、前記数列選択出力部が数列を出力するごとに、新たに数列を発生して前記数列記録部の数列を更新することを特徴とする。 Further, in the subjective evaluation apparatus according to the present invention, the sequence generating unit generates a new sequence when the common part sequence detecting unit detects a common part sequence in all of the detected sequences, and generates the sequence. It is characterized in that the sequence of the recording unit is updated, or every time the sequence selection output unit outputs the sequence, a new sequence is generated and the sequence of the sequence recording unit is updated.
さらに、本発明に係る主観評価装置において、前記共通部分数列検出部は、前記基準数列と前記被検出数列との間で前記共通部分数列を検出した場合には、前記基準数列と前記被検出数列との並び順の重複度を求め、前記数列選択出力部は、前記重複度が最小である数列を選択して出力することを特徴とする。 Further, in the subjective evaluation device according to the present invention, when the common part sequence detector detects the common part sequence between the reference sequence and the detected sequence, the reference sequence and the detected sequence are detected. The sequence selection and output unit selects and outputs a sequence having the minimum degree of redundancy.
さらに、本発明に係る主観評価装置において、前記共通部分数列検出部は、前記共通部分数列の長さｌ、及び長さｌの共通部分数列の出現回数ｍlをパラメータとした、次式に示す評価関数Ｅ
さらに、本発明に係る主観評価装置において、前記数列生成部は、前記共通部分数列検出部が出力する検出結果と被検出数列を受け取り、前記共通部分数列が検出されない被検出数列、あるいは前記重複度が閾値以下の被検出数列が複数本ある場合には、該被検出数列を被編集距離測定数列として選択する被編集距離測定数列選択部と、前記基準数列と前記被編集距離測定数列との間の編集距離を測定する編集距離測定部と、をさらに備え、前記数列選択出力部は、前記編集距離が最大の被編集距離測定数列を選択して出力することを特徴とする。 Further, in the subjective evaluation device according to the present invention, the sequence generation unit receives the detection result and the detected number sequence output from the common part number sequence detection unit, and the detected number sequence in which the common part number sequence is not detected, or the overlapping degree. When there are a plurality of detected number sequences that are equal to or less than the threshold value, an edited distance measurement sequence selection unit that selects the detected number sequence as an edited distance measurement sequence, and between the reference number sequence and the edited distance measurement number sequence. And an edit distance measuring unit that measures the edit distance of the edit distance, wherein the sequence selection output unit selects and outputs the edit distance measurement sequence with the largest edit distance.
さらに、本発明に係る主観評価装置において、前記編集距離測定部は、前記編集距離の操作が１数字、又はブロック単位の数字ごとの置換と移動のみを対象とすることを特徴とする。 Further, in the subjective evaluation device according to the present invention, the editing distance measuring unit is characterized in that the operation of the editing distance is performed only for replacement and movement for each numeral, or for each numeral in block units.
さらに、本発明に係る主観評価装置において、前記数列発生部は、予め除外すべき数列又は共通部分数列を入力し、該数列の発生を禁止することが望ましい。 Further, in the subjective evaluation apparatus according to the present invention, it is preferable that the sequence generating unit inputs a sequence to be excluded or a sequence of common parts in advance and prohibits the generation of the sequence.
さらに、本発明に係る主観評価装置において、前記数列発生部は、発生対象の数をカテゴリー別に複数のグループに分類し、層別ランダム化、及び適応的ランダム化の少なくとも一方を用いて数列を発生させることが望ましい。 Furthermore, in the subjective evaluation device according to the present invention, the sequence generator generates a sequence using at least one of stratified randomization and adaptive randomization by classifying the number of generation targets into a plurality of groups by category. It is desirable to make it.
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記主観評価装置として機能させることを特徴とする。 Further, in order to solve the above problems, a program according to the present invention causes a computer to function as the subjective evaluation device.
本発明によれば、並び順がランダム化された評価対象を自動的に提示することが可能になる。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to automatically show the evaluation object in which the arrangement order was randomized.
以下、本発明の実施形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
（第１の実施形態）
図１は、本発明の第１の実施形態に係る主観評価装置の構成例を示す図である。主観評価装置１は、並び順のランダムな評価対象を評価者に提示する装置であり、数列生成部１０と、評価対象記録部２０と、評価対象並べ替え部３０と、評価対象提示部４０と、評価結果記録部５０とを備える。
(First embodiment)
FIG. 1 is a diagram illustrating a configuration example of the subjective evaluation device according to the first embodiment of the present invention. The
評価対象記録部２０は、主観評価の対象となる複数の評価対象（例えば、文書データ、画像データ、音声データなど）を記録する。
The evaluation
数列生成部１０は、数列の長さｌ、及び必要な数列の本数ｘ（ｘ≧１）を入力し、並び順のランダムな長さｌの数列をｘ本生成し、評価対象並べ替え部３０に出力する。詳細については後述する。
The
評価対象並べ替え部３０は、評価対象記録部２０から複数の評価対象を取得し、取得した複数の評価対象を、数列生成部１０により生成された数列に基づいて並べ替え、並べ替えた評価対象を評価対象提示部４０に出力する。例えば、評価対象記録部２０から取得した評価対象がＡ，Ｂ，Ｃ，Ｄ，Ｅの５つで、数列生成部１０により生成された数列が［３ １ ５ ２ ４］であった場合には、Ａ，Ｂ，Ｃ，Ｄ，Ｅをそれぞれ３，１，５，２，４番目に並べ替える。あるいは、Ａ，Ｂ，Ｃ，Ｄ，Ｅにそれぞれ１〜５を付与し、数列生成部１０により生成された数列の順に並べ替えてもよい。その場合、数列生成部１０により生成された数列が［３ １ ５ ２ ４］であった場合には、評価対象はＣ，Ａ，Ｅ，Ｂ，Ｄの順に並び替えられる。
The evaluation
評価対象提示部４０は、評価対象並べ替え部３０により並べ替えられた評価対象を評価者に提示する。例えば、評価対象が文書データ又は画像データである場合には、評価対象をディスプレイに表示し、評価対象が音声データである場合には、評価対象をスピーカから出力する。評価対象提示部４０は、評価対象を１つずつ評価者に提示し、評価者は評価対象を１つずつ評価する。
The evaluation
評価結果記録部５０は、評価者による評価対象の評価結果を記録する。 The evaluation result recording unit 50 records the evaluation result of the evaluation target by the evaluator.
次に、数列生成部１０について詳細に説明する。
Next, the
図２は、数列生成部１０の構成例を示す図である。数列生成部１０は、数列発生部１１と、数列記録部１２と、共通部分数列検出部１３と、数列選択出力部１４とを備える。
FIG. 2 is a diagram illustrating a configuration example of the
数列発生部１１は、数列の長さ（数字の個数、ここではｎ）と必要な数列の本数ｘを入力し、それぞれ順列が異なる数列を複数本発生する。数列の発生には、既知の疑似乱数生成アルゴリズムを用いることができる。例えば、数列発生部１１は、発生対象の数をカテゴリー別に複数のグループに分類し、層別ランダム化、及び適応的ランダム化（最小化）の少なくとも一方を用いて数列を発生させる。これらのランダム化手法を用いることで、複数カテゴリー間での選択頻度のバランスを取るとともに、同一のカテゴリーに選択が集中しないように制御することができるため、ランダム化に好適である。
The
また数列発生部１１は、予め除外すべき数列又は共通部分数列を入力しておくことにより、該数列の発生を禁止することも可能である。このようにすることで、評価対象記録部２０での記録順が既知の場合に、主観評価上、偏った結果につながりやすい評価対象の並び順（差の小さい群や特定のカテゴリーに属する群の連続）を避けることができるため、ランダム化に好適である。
The
数列記録部１２は、数列発生部１１により発生された、ｘ本の長さｎの数列を記録する。
The
共通部分数列検出部１３は、数列記録部１２に記録されている数列から無作為に１本の数列を選択して数列記録部１２から消去して基準数列とするとともに、当該基準数列を数列生成部１０から出力する。そして、基準数列と、数列記録部１２に記録されている数列から任意に選択された1本以上の被検出数列との間で、部分的に並び順が共通する数列（以下、「共通部分数列」という。）を検出し、数列選択出力部１４に出力する。
The common part
数列選択出力部１４は、共通部分数列検出部１３によって共通部分数列が検出されなかった被検出数列が存在する場合には、共通部分数列が検出されなかった被検出数列の中から１本以上の数列を選択して出力する。
If there is a detected number sequence in which the common part number sequence has not been detected by the common part number
数列選択出力部１４は、被検出数列のうち、共通部分数列の長さが閾値を超えるもの、及び／又は、共通部分数列の出現回数が閾値を超えるものを除外し、残った被検出数列の中から１本以上の数列を選択して出力してもよい。例えば、共通部分数列検出部１３によって共通部分数列を検出されなかった被検出数列が１本のみである場合、数列選択出力部１４は、共通部分数列を検出されなかった被検出数列を出力するとともに、共通部分数列を検出された被検出数列のうち、共通部分数列の長さ及び出現回数が閾値以下の被検出数列を出力するようにしてもよい。
The sequence
また、共通部分数列検出部１３は、基準数列と被検出数列との間で共通部分数列が検出された場合には、基準数列と被検出数列との間の、並び順の重複度（数字の隣接頻度）を算出するようにしてもよい。
In addition, when a common part sequence is detected between the reference sequence and the detected sequence, the common part
共通部分数列検出部１３が重複度を算出する場合には、数列選択出力部１４は、被検出数列の中から重複度の小さい順に１本以上の数列を選択して出力する。
When the common part
共通部分数列検出部１３が、被検出数列の全てに共通部分数列を検出した場合には、数列発生部１１は新たに数列を発生し、共通部分数列検出部１３によって共通部分数列が検出されなくなるまで、数列記録部１２の数列を更新するようにしてもよい。同様に、重複度が閾値を超える場合には、数列発生部１１は新たに数列を発生し、数列記録部１２の数列を更新するようにしてもよい。
When the common
また、数列発生部１１は、数列選択出力部１４が数列を出力するごとに、新たに数列を発生し、数列記録部の数列を更新するようにしてもよい。
The
共通部分数列検出部１３は、基準数列格納部１３１と、被検出数列格納部１３２と、検出部１３３とを備える。
The common part
初回限定の処理として、基準数列格納部１３１は、数列記録部１２に記録されている任意の数列ａiを取得し、数列記録部１２から数列ａiを削除した上で、基準数列とし格納するとともに、数列生成部１０から出力する。
As a first-time limited process, the reference
被検出数列格納部１３２は、数列記録部１２に記録されている数列ａi以外の数列の中から任意の本数の数列を取得し、被検出数列として格納する。
The detected
検出部１３３は、基準数列と被検出数列との間の共通部分数列を総当たりで検出し、検出結果を数列選択出力部１４に出力する。
The
検出部１３３は、共通部分数列を検出した場合には、基準数列と前記被検出数列との並び順の重複度（数字の隣接頻度）を算出し、重複度を各被検出数列に紐づけて数列選択出力部１４に出力してもよい。具体的には、共通部分数列の長さｌ、及び長さｌの共通部分数列の本数（出現回数）ｍlを記憶する。そして、長さｌの共通部分数列に関する評価関数Ｅlを、式（１）に示すようにｌ及びｍlをパラメータとして定義することにより、重複度を算出する。
When detecting the common part sequence, the
図３に、一組の数列に関する共通部分数列検出部１３の検出例を示す。ここでは基準数列［１ ２ ３ ４ ５ ６ ７ ８ ９ １０］と、被検出数列［３ ４ ５ ６ ９ １ ２ １０ ７ ８］について、共通部分数列の長さごとに検出された回数を記録し、評価関数Ｅlを定義する。この例では、基準数列と被検出数列との間に、長さｌ＝４の共通部分数列［３ ４ ５ ６］が存在し（出現回数ｍ4＝１）、長さｌ＝２の共通部分数列［１ ２］及び［７ ８］（出現回数ｍ2＝２）が存在する。
FIG. 3 shows an example of detection performed by the common
共通部分数列に関する重複度は、例えば、式（２）に示す、式(１)をｌに関して総和した評価関数Ｅ＾を用いて、数値化することができる。図３に示す例では、Ｅ＾＝Ｅ2＋Ｅ4＝２＋３＝５となる。 The degree of overlap with respect to the common part sequence can be quantified using, for example, an evaluation function E ＾ obtained by summing the expression (1) with respect to 1 shown in the expression (2). In the example shown in FIG. 3, E ＾ = E 2 + E 4 = 2 + 3 = 5.
なお、評価関数Ｅ＾は式(２)に限定されることはなく、長さｌや出現回数ｍlの大きさで評価することも可能であるし、長さｌや出現回数ｍlを指数関数の指数として取り扱うことも可能である。また、長さｌの最大値がｎ−１であるのは、数列発生部１１が互いに完全に一致する数列を発生しないことを前提としているからである。そのため、数列発生部１１のアルゴリズムによっては互いに完全に一致する数列を発生する可能性がある場合には、長さｌの最大値をｎとしてもよい。
The evaluation function E ^ is not limited to equation (2), it is also possible to evaluate the magnitude of the length l and number of occurrences m l, index length l and Occurrences m l It can also be treated as an exponent of a function. The reason why the maximum value of the
図４に、共通部分数列検出用の疑似ＭＡＴＬＡＢコード（登録商標）の一例を示す。scoreTabに共通部分数列の場所と長さを格納する仕組みである。 FIG. 4 shows an example of a pseudo-MATLAB code (registered trademark) for detecting a common part sequence. It is a mechanism to store the location and length of the common part sequence in scoreTab.
図５に、図４に示した疑似ＭＡＴＬＡＢコードによる検出結果を示す。scoreTabは斜め右下方向に共通部分数列の長さがインクリメントされる仕組みになっている。１のみの場合は１数字だけの重複なので、共通部分数列ではない。図５から、長さｌ＝２の共通部分数列が２本（出現回数ｍl＝２）、長さｌ＝４の共通部分数列が１本（出現回数ｍl＝１）検出されたことが分かる。 FIG. 5 shows a detection result based on the pseudo MATLAB code shown in FIG. The scoreTab is structured so that the length of the common part sequence is incremented diagonally to the lower right. If there is only one, it is not a common part sequence because there is only one digit overlap. From FIG. 5, two common part sequences having a length l = 2 (number of appearances m l = 2) and one common part sequence having a length l = 4 (number of appearances m l = 1) were detected. I understand.
数列選択出力部１４は、重複度が最も小さい数列を選択し、評価対象並べ替え部３０に出力する。数列選択出力部１４は、出力した被検出数列の情報を数列記録部１２に送り、該数列は数列記録部１２から消去される。また、数列選択出力部１４は、出力した被検出数列を基準数列格納部１３１に格納し、基準数列に追加する。これにより、数列選択出力部１４が次に出力する数列は、過去に出力した全ての数列に対して重複度が小さい数列となる。
The sequence
また、数列選択出力部１４は、出力した数列の情報、及び重複度が閾値を超えた被検出数列の情報を被検出数列格納部１３２に送り、該数列は被検出数列格納部１３２から消去され、出力した数列が追加で基準数列格納部１３１に格納される。なお、被検出数列格納部１３２から消去された数列分の格納領域に、数列記録部１２から追加の数列を補充してもよいし、毎回、被検出数列格納部１３２の全数列を更新してもよい。
In addition, the sequence
２本目以降の数列を出力するにあたり、共通部分数列検出部１３は基準数列格納部１３１に格納されている複数の数列と、被検出数列格納部１３２に格納されている複数の数列との間の共通部分数列に関して、総当たりで評価する。数列選択出力部１４は前のプロセス同様、総当たりの検出結果から出力する数列を決定する。
In outputting the second and subsequent sequences, the common part
図６に、共通部分数列検出部１３に入力された全ての数列の組み合わせ、及び重複度の検出例を示す。基準数列格納部１３１に数列ｒiが、被検出数列格納部１３２に数列ｐiが格納されているものとする。前述のように検出は総当たりになるので、各被検出数列の重複度Ｅ＾piは式（３）により表される。
FIG. 6 shows a combination of all the sequences input to the common part
数列選択出力部１４は、共通部分数列検出部１３により検出された重複度Ｅ＾piを用いて、出力する数列を決定する。図６の例では、重複度Ｅ＾piが最も低い数列ｐ2を出力する。
The sequence
なお、本発明は数列のみならず文字列にも応用可能である。また、同じ数字を複数回用いる数列の場合は、［１ １ ２ ２］を［１ ２ ３ ４］のように便宜的に異なる数字を割り当てておくことで、本発明の手法を適用することができる。 The present invention is applicable not only to a sequence of numbers but also to a character string. In the case of a sequence using the same number a plurality of times, the method of the present invention can be applied by assigning different numbers to [1 1 2 2] for convenience as [1 2 3 4]. it can.
以上、主観評価装置１について説明したが、主観評価装置１として機能させるためにコンピュータを用いることも可能である。そのようなコンピュータは、主観評価装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。また、このプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。
As described above, the
以上説明したように、第１の実施形態では、基準数列と被検出数列との間で、共通部分数列を検出して重複度の低い数列を選択し、評価対象を重複度の低い数列に基づいて並べ替える。かかる構成により、主観評価装置１は、並び順がランダム化された、すなわち重複度が低く並び順に偏りが少ない評価対象を自動的に生成することが可能となる。
As described above, in the first embodiment, a common part sequence is detected between the reference sequence and the sequence to be detected, a sequence having a low degree of redundancy is selected, and an evaluation target is determined based on the sequence having a low degree of redundancy. To sort. With such a configuration, the
（第２の実施形態）
次に、本発明の第２の実施形態に係る主観評価装置について説明する。
(Second embodiment)
Next, a subjective evaluation device according to a second embodiment of the present invention will be described.
図７は、本発明の第２の実施形態に係る主観評価装置の構成例を示す図である。第２の実施形態に係る主観評価装置２は、第１の実施形態に係る主観評価装置１と比較して、数列生成部１０に代えて数列生成部１０’を備える点が相違する。その他の構成は同一であるため、以下、数列生成部１０’について説明する。
FIG. 7 is a diagram illustrating a configuration example of a subjective evaluation device according to the second embodiment of the present invention. The
図８は、数列生成部１０’の構成例を示す図である。数列生成部１０’は、数列発生部１１と、数列記録部１２と、共通部分数列検出部１３と、数列選択出力部１４と、被編集距離測定数列選択部１５と、編集距離測定部１６とを備える。数列生成部１０’は、第１の実施形態に示した数列生成部１０と比較して、被編集距離測定数列選択部１５及び編集距離測定部１６をさらに備える点が相違する。
FIG. 8 is a diagram illustrating a configuration example of the
数列生成部１０’は、共通部分数列とともに編集距離も勘案して数列を選択する。ここで、編集距離とは、数列に対する数字の挿入・削除・置換などによって一方の数列をもう一方の数列に一致させるのに必要な操作回数のことであり、回数が多いほど距離が遠いことになる。 The sequence generator 10 'selects a sequence in consideration of the edit distance as well as the common portion sequence. Here, the edit distance is the number of operations required to match one sequence to the other by inserting, deleting, or replacing numbers in the sequence, and the greater the number, the longer the distance Become.
共通部分数列検出部１３は、基準数列格納部１３１内の基準数列を編集距離測定部１６に出力する。また、共通部分数列検出部１３は、被検出数列及び重複度を出力し、被編集距離測定数列選択部１５に出力する。
The common part
被編集距離測定数列選択部１５は、共通部分数列検出部１３の検出結果に基づき、共通部分数列が検出されない被検出数列が複数本ある場合、あるいは重複度が最小又は閾値以下で等しい被検出数列が複数本ある場合には、該被検出数列を選択し、被編集距離測定数列として編集距離測定部１６に出力する。一方、共通部分数列が検出されない被検出数列、あるいは重複度が最小又は閾値以下の被検出数列が１本しかない場合には、被編集距離測定数列選択部１５は、編集距離測定そのものをパスして、該被検出数列を数列選択出力部１４に出力する。
Based on the detection result of the common part number
編集距離測定部１６は、基準数列と被編集距離測定数列との間の編集距離を測定し、測定結果と被編集距離測定数列を数列選択出力部１４に出力する。
The edit
数列選択出力部１４は、編集距離が最大の被編集距離測定数列を選択して出力する。
The sequence
既存の編集距離には、Levenshtein距離（１数字の挿入・削除・置換）、Damerau-Levenshtein距離（１数字の挿入・削除・置換・移動）、移動付き編集距離（１数字の挿入・削除・置換・複数数字の移動）などがあり、これらを応用することも可能である。しかしながら、数字が重複せず、かつ長さが一定の数列発生に関しては、挿入及び削除は編集操作として適当ではない。そこで、編集距離測定部１６は、編集距離の操作を、１数字、又はブロック単位の数字ごとの置換と移動のみを対象として行うのが好適である。このような、１数字、又はブロック単位の数字ごとの置換及び移動のみを対象とした編集距離のことを、以下、「ブロック編集距離」という。
Existing editing distances include Levenshtein distance (1 digit insertion / deletion / replacement), Damerau-Levenshtein distance (1 digit insertion / deletion / replacement / move), edit distance with movement (1 digit insertion / deletion / replacement)・ Move multiple numbers), etc., and these can be applied. However, regarding the generation of a sequence of numbers that do not overlap and have a fixed length, insertion and deletion are not suitable as editing operations. Therefore, it is preferable that the edit
図９に、編集距離測定部１６が測定するブロック編集距離の測定例を示す。基準数列を［１ ２ ３ ４ ５ ６ ７ ８ ９ １０］とし、被編集距離測定数列を［３ ４ ５ ６ ９ １ ２ １０ ７ ８］とした場合の、基準数列から被編集距離測定数列までのブロック編集距離の測定過程を示す。この例では、編集１回目では、基準数列に対してブロック単位の数字［３ ４ ５ ６］を移動させている。編集２回目では、編集１回目の数列に対してブロック単位の数字［７ ８］を移動させている。編集３回目では、編集２回目の数列に対してブロック単位の数字１数字［９］を移動させている。編集３回目で被編集距離測定数列と一致するため、この場合のブロック編集距離は「３」になる。
FIG. 9 shows a measurement example of the block edit distance measured by the edit
図１０は、数列生成部１０’における数列生成の動作例を示すフローチャートである。まず数列発生部１１により、発生する数列の長さと本数を取得し（ステップＳ１０１）、その条件に合わせて数列を発生する（ステップＳ１０２）。
FIG. 10 is a flowchart showing an operation example of sequence generation in the sequence generation unit 10 '. First, the
基準数列が基準数列格納部１３１に格納されていない場合には（ステップＳ１０３−Ｎｏ）、発生された数列の中から基準数列を選択し、基準数列格納部１３１に格納する（ステップＳ１０４）。そして、検出部１３３により共通部分数列を検出する（ステップＳ１０５）。一方、基準数列が基準数列格納部１３１に格納されている場合には（ステップＳ１０３−Ｙｅｓ）、ステップＳ１０４をスキップし、検出部１３３により共通部分数列を検出する（ステップＳ１０５）。
If the reference sequence is not stored in the reference sequence storage unit 131 (step S103-No), a reference sequence is selected from the generated sequences and stored in the reference sequence storage unit 131 (step S104). Then, the
ステップＳ１０５により共通部分数列を検出した結果、重複度が最小の数列が１本の場合には（ステップＳ１０６−Ｙｅｓ）、そのままその数列を出力する（ステップＳ１０９）。 As a result of detecting the common part sequence in step S105, if there is only one sequence having the minimum degree of duplication (step S106-Yes), the sequence is output as it is (step S109).
一方、共通部分数列が検出されない場合、あるいは重複度が閾値以下の被検出数列が複数本ある場合など、重複度が最小の数列が１本でない場合には（ステップＳ１０６−Ｎｏ）、被編集距離測定数列選択部１５によりそれらを被編集距離測定数列として選択し（ステップＳ１０７）、編集距離測定部１６により基準数列との間の編集距離を測定する（ステップＳ１０８）。その結果、数列選択出力部１４により編集距離の最も大きい数列を出力するとともに、該数列を基準数列格納部１３１に格納して基準数列に追加する（ステップＳ１０９）。
On the other hand, when the common part sequence is not detected, or when there are a plurality of detected sequences whose duplication degree is equal to or less than the threshold value, and there is not one sequence having the minimum duplication degree (step S106-No), the edit distance The measurement
この時点までに所定の本数の数列が生成されていた場合には（ステップＳ１１０−Ｙｅｓ）、生成処理を終了し、所定の本数に満たない場合には（ステップＳ１１０−Ｎｏ）、共通部分数列の検出（ステップＳ１０５）に戻って、所定の本数の数列を生成し終えるまでステップＳ１０５からステップＳ１０９までの処理を繰り返す。 If a predetermined number of sequences have been generated up to this point (step S110-Yes), the generation process is terminated. If the predetermined number is not reached (step S110-No), the common part number sequence Returning to the detection (step S105), the processing from step S105 to step S109 is repeated until the generation of a predetermined number of sequence is completed.
以上、主観評価装置２について説明したが、主観評価装置２として機能させるためにコンピュータを用いることも可能である。そのようなコンピュータは、主観評価装置２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。また、このプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。
As described above, the
以上説明したように、第２の実施形態では、基準数列と被検出数列との間で共通部分数列が検出されない場合、あるいは重複度が閾値以下の被検出数列が複数本ある場合には、基準数列と被編集距離測定数列との間で編集距離を測定し、編集距離が最大の被編集距離測定数列を選択して出力する。かかる構成により、重複度が最小の数列が１本でない場合であっても、数列選択出力部１４は数列を選択することができ、主観評価装置２は並び順がランダム化された評価対象を自動的に生成することが可能となる。
As described above, in the second embodiment, when the common part sequence is not detected between the reference sequence and the sequence to be detected, or when there are a plurality of sequence to be detected having a duplication degree equal to or less than the threshold value, The editing distance is measured between the sequence and the edited distance measuring sequence, and the edited distance measuring sequence having the largest editing distance is selected and output. With such a configuration, even when the number of sequences having the minimum degree of redundancy is not one, the sequence
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。 Although the above embodiments have been described as representative examples, it will be apparent to those skilled in the art that many changes and substitutions can be made within the spirit and scope of the present invention. Therefore, the present invention should not be construed as being limited by the above-described embodiment, and various modifications and changes can be made without departing from the scope of the claims. For example, a plurality of configuration blocks described in the configuration diagram of the embodiment can be combined into one, or one configuration block can be divided.
１，２ 主観評価装置
１０，１０’ 数列生成部
１１ 数列発生部
１２ 数列記録部
１３ 共通部分数列検出部
１４ 数列選択出力部
１５ 被編集距離測定数列選択部
１６ 編集距離測定部
２０ 評価対象記録部
３０ 評価対象並べ替え部
４０ 評価対象提示部
５０ 評価結果記録部
１３１ 基準数列格納部
１３２ 被検出数列格納部
１３３ 検出部
Claims (8)
並び順のランダムな数列を複数本生成する数列生成部と、
複数の評価対象を前記数列に基づいて並べ替える評価対象並べ替え部と、
前記評価対象並べ替え部により並べ替えられた評価対象を提示する評価対象提示部と、を備え、
前記数列生成部は、
それぞれ順列が異なる数列を複数本発生する数列発生部と、
前記数列を記録する数列記録部と、
前記数列記録部に記録されている数列から選択された数列である基準数列と、前記数列記録部に記録されている数列から選択した１本以上の数列である被検出数列との間で、部分的に並び順が共通する数列である共通部分数列を検出する共通部分数列検出部と、
前記共通部分数列検出部によって共通部分数列を検出されなかった被検出数列の中から１本以上の数列を選択して出力するとともに、当該数列を前記基準数列に追加する数列選択出力部と、
を備えることを特徴とする、主観評価装置。 A subjective evaluation device that presents a random evaluation target in a line-up order,
A sequence generator that generates a plurality of random sequences in the order of arrangement;
An evaluation target sorting unit that sorts a plurality of evaluation targets based on the sequence,
An evaluation target presentation unit that presents the evaluation targets sorted by the evaluation target sorting unit,
The sequence generating unit,
A sequence generator that generates a plurality of sequences each having a different permutation,
A sequence recording unit that records the sequence,
A partial sequence between a reference sequence, which is a sequence selected from the sequences recorded in the sequence recording unit, and a detected sequence, which is one or more sequences selected from the sequences recorded in the sequence recording unit, A common part sequence detector for detecting a common part sequence that is a sequence having a common arrangement order;
A sequence selection output unit that selects and outputs one or more sequences from the detected sequence in which the common sequence is not detected by the common sequence detection unit, and adds the sequence to the reference sequence;
A subjective evaluation device, comprising:
前記数列選択出力部は、被検出数列のうち、前記共通部分数列の長さが閾値を超えるもの、又は前記共通部分数列の出現回数が閾値を超えるものを除外し、残った被検出数列の中から１本以上の数列を選択することを特徴とする主観評価装置。 The subjective evaluation device according to claim 1,
The sequence selection output unit excludes, among the detected number sequences, those whose length of the common part sequence exceeds a threshold or those whose number of appearances of the common part sequence exceeds the threshold are included in the remaining detected sequence. A subjective evaluation apparatus for selecting one or more numerical sequences from the following.
前記数列発生部は、前記共通部分数列検出部が、前記被検出数列の全てに共通部分数列を検出した場合に、新たに数列を発生して前記数列記録部の数列を更新するか、あるいは、前記数列選択出力部が数列を出力するごとに、新たに数列を発生して前記数列記録部の数列を更新することを特徴とする主観評価装置。 It is a subjective evaluation device according to claim 1 or 2,
The sequence generating unit, when the common part sequence detecting unit detects a common part sequence in all of the detected sequence, generates a new sequence and updates the sequence of the sequence recording unit, or A subjective evaluation apparatus, wherein each time the sequence selection output unit outputs a sequence, a sequence is newly generated and the sequence of the sequence recording unit is updated.
前記共通部分数列検出部は、前記基準数列と前記被検出数列との間で前記共通部分数列を検出した場合には、前記基準数列と前記被検出数列との並び順の重複度を求め、
前記数列選択出力部は、前記重複度が最小である数列を選択して出力することを特徴とする主観評価装置。 The subjective evaluation device according to claim 1, wherein:
The common part sequence detector, when detecting the common part sequence between the reference sequence and the sequence to be detected, obtains the degree of overlap of the reference sequence and the sequence to be detected, the degree of overlap,
The subjective evaluation apparatus, wherein the sequence selection output unit selects and outputs a sequence having the minimum degree of overlap.
前記共通部分数列検出部は、前記共通部分数列の長さｌ、及び長さｌの共通部分数列の出現回数ｍlをパラメータとした、次式に示す評価関数Ｅ
The common part sequence detector uses the length l of the common part sequence and the number of appearances ml of the common part sequence having the length l as parameters, and evaluates the evaluation function E expressed by the following equation.
前記数列生成部は、
前記共通部分数列検出部が出力する検出結果と被検出数列を受け取り、前記共通部分数列が検出されない被検出数列、あるいは前記重複度が閾値以下の被検出数列が複数本ある場合には、該被検出数列を被編集距離測定数列として選択する被編集距離測定数列選択部と、
前記基準数列と前記被編集距離測定数列との間の編集距離を測定する編集距離測定部と、をさらに備え、
前記数列選択出力部は、前記編集距離が最大の被編集距離測定数列を選択して出力することを特徴とする主観評価装置。 It is a subjective evaluation device according to claim 4 or 5,
The sequence generating unit,
Upon receiving the detection result and the sequence to be detected output from the common part sequence detector, if there are a plurality of sequences to be detected in which the common part sequence is not detected, or if there are a plurality of sequences to be detected with the degree of duplication being equal to or less than a threshold, the sequence is detected. An edit distance measurement sequence selection unit that selects the detection sequence as the edit distance measurement sequence,
An editing distance measuring unit that measures an editing distance between the reference number sequence and the edited distance measurement number sequence,
The subjective evaluation apparatus, wherein the sequence selection output unit selects and outputs an edited distance measurement sequence having the largest edit distance.
前記編集距離測定部は、前記編集距離の操作を、１数字、又はブロック単位の数字ごとの置換と移動のみを対象として行うことを特徴とする主観評価装置。 It is a subjective evaluation device according to claim 6,
The subjective evaluation apparatus, wherein the editing distance measuring unit performs the operation of the editing distance only for replacement and movement for each numeral or for each numeral in block units.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018147962A JP7084817B2 (en) | 2018-08-06 | 2018-08-06 | Subjective evaluation device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018147962A JP7084817B2 (en) | 2018-08-06 | 2018-08-06 | Subjective evaluation device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020024520A true JP2020024520A (en) | 2020-02-13 |
| JP7084817B2 JP7084817B2 (en) | 2022-06-15 |
Family
ID=69618694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018147962A Active JP7084817B2 (en) | 2018-08-06 | 2018-08-06 | Subjective evaluation device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7084817B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210040855A (en) * | 2020-05-21 | 2021-04-14 | 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 | Content recommendation method, apparatus and device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003330705A (en) * | 2002-03-08 | 2003-11-21 | Ricoh Co Ltd | Multi-valued data series, information recording medium, multi-valued data series generating method, and program |
| JP2009151429A (en) * | 2007-12-19 | 2009-07-09 | Mitsubishi Electric Corp | Pseudo random number generator, information processing system and program |
| JP2013178294A (en) * | 2012-02-28 | 2013-09-09 | Mitsubishi Heavy Ind Ltd | Operation skill level evaluation system |
| JP2015060537A (en) * | 2013-09-20 | 2015-03-30 | 株式会社アイティ・イット | Shuffle table creation device, shuffle table creation program and shuffle table creation method, and test question creation device, test question creation program and test question creation method using shuffle table |
| JP2017091113A (en) * | 2015-11-06 | 2017-05-25 | 横河電機株式会社 | Event analysis device, event analysis system, event analysis method, and event analysis program |
-
2018
- 2018-08-06 JP JP2018147962A patent/JP7084817B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003330705A (en) * | 2002-03-08 | 2003-11-21 | Ricoh Co Ltd | Multi-valued data series, information recording medium, multi-valued data series generating method, and program |
| JP2009151429A (en) * | 2007-12-19 | 2009-07-09 | Mitsubishi Electric Corp | Pseudo random number generator, information processing system and program |
| JP2013178294A (en) * | 2012-02-28 | 2013-09-09 | Mitsubishi Heavy Ind Ltd | Operation skill level evaluation system |
| JP2015060537A (en) * | 2013-09-20 | 2015-03-30 | 株式会社アイティ・イット | Shuffle table creation device, shuffle table creation program and shuffle table creation method, and test question creation device, test question creation program and test question creation method using shuffle table |
| JP2017091113A (en) * | 2015-11-06 | 2017-05-25 | 横河電機株式会社 | Event analysis device, event analysis system, event analysis method, and event analysis program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210040855A (en) * | 2020-05-21 | 2021-04-14 | 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 | Content recommendation method, apparatus and device |
| KR102558867B1 (en) | 2020-05-21 | 2023-07-21 | 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. | Content recommendation method, apparatus and device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7084817B2 (en) | 2022-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6028567B2 (en) | Data storage program, data search program, data storage device, data search device, data storage method, and data search method | |
| Mizrahi et al. | The effect of declustering on the size distribution of mainshocks | |
| US11360873B2 (en) | Evaluation device, evaluation method, and evaluation program | |
| JP4591794B2 (en) | Information processing apparatus and method, and program | |
| US20080192995A1 (en) | Example-Based Diagnosis Decision Support | |
| US20050096880A1 (en) | Inverse model calculation apparatus and inverse model calculation method | |
| CN101496007B (en) | The automatic management of digital archives particularly audio frequency and/or video file | |
| US20230360621A1 (en) | Automatic preparation of a new midi file | |
| JP2020024520A (en) | Subjective evaluation device and program | |
| JPH04370833A (en) | Device and method for assisting knowledge acquisition of expert system | |
| CN113485988A (en) | Data quality monitoring method and device and computer readable storage medium | |
| KR102188115B1 (en) | Electronic device capable of selecting a biomarker to be used in cancer prognosis prediction based on generative adversarial networks and operating method thereof | |
| KR101628097B1 (en) | System and method for managing database | |
| JP4591793B2 (en) | Estimation apparatus and method, and program | |
| JPWO2018047256A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| Gamrath | Improving strong branching by domain propagation | |
| JP2017107472A (en) | Character string search method and device | |
| JPWO2019008961A1 (en) | Information processing apparatus, information processing method, and program | |
| JP2004534981A5 (en) | ||
| JP6648549B2 (en) | Mutation information processing apparatus, method and program | |
| JP7231012B2 (en) | Parameter adjustment device, parameter adjustment method, computer program and recording medium | |
| CN114416410A (en) | Anomaly analysis method and device and computer-readable storage medium | |
| CN113626090B (en) | Method, device, equipment and readable medium for configuring server firmware | |
| KR102594011B1 (en) | Apparatus and method for classifying document | |
| JP7010383B2 (en) | Judgment method and judgment program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210706 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220428 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220603 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7084817 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |