JP6913706B2 - Exam question prediction system and exam question prediction method - Google Patents
Exam question prediction system and exam question prediction method Download PDFInfo
- Publication number
- JP6913706B2 JP6913706B2 JP2019080130A JP2019080130A JP6913706B2 JP 6913706 B2 JP6913706 B2 JP 6913706B2 JP 2019080130 A JP2019080130 A JP 2019080130A JP 2019080130 A JP2019080130 A JP 2019080130A JP 6913706 B2 JP6913706 B2 JP 6913706B2
- Authority
- JP
- Japan
- Prior art keywords
- questions
- question
- test
- past
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 22
- 239000013598 vector Substances 0.000 claims description 54
- 239000000284 extract Substances 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000000306 recurrent effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 15
- 238000000605 extraction Methods 0.000 description 13
- 238000013473 artificial intelligence Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Description
本発明は、試験問題を予測するシステムに係り、特に、過去の問題の問題文をカテゴリに分類して出題のカテゴリを予測し、それに基づいて試験問題を予測する試験問題予測システム及び試験問題予測方法に関する。 The present invention relates to a system for predicting test questions, and in particular, a test question prediction system and a test question prediction system for predicting test questions based on classifying question sentences of past questions into categories and predicting question categories. Regarding the method.
[従来の技術]
従来、コンピュータを用いて試験問題を作成し、ネットワークを介して試験問題を提供するものがある。
しかしながら、過去の試験問題の問題文を分類して今年の試験問題を精度よく予測する手法は確立されていない。
[Conventional technology]
Conventionally, there is a method in which an examination question is created using a computer and the examination question is provided via a network.
However, no method has been established to classify the question sentences of past exam questions and accurately predict this year's exam questions.
[関連技術]
尚、関連する先行技術として、特開2007−248605号公報「試験問題作成方法、試験問題作成システム及び試験問題作成プログラム」(特許文献1)がある。
特許文献1には、試験の種別に応じた評価基準を満たす試験問題を作成できることが示されている。
[Related technology]
As a related prior art, there is Japanese Patent Application Laid-Open No. 2007-248605 "Examination Question Creation Method, Examination Question Creation System and Examination Question Creation Program" (Patent Document 1).
従来の試験問題作成方法では、過去の試験問題の文章を、人工知能を用いて効率的に分類し、分類した内容から出題カテゴリを分析して次回の試験問題を予測するものではないため、試験問題を効率的に精度よく予測できるものとはなっていないという問題点があった。 The conventional test question creation method does not predict the next test question by efficiently classifying the sentences of the past test questions using artificial intelligence and analyzing the question category from the classified contents. There was a problem that the problem could not be predicted efficiently and accurately.
特に、過去の試験問題の量が膨大になると、試験問題を出題カテゴリに分類する作業が増大し、効率的に精度よく出題カテゴリに分析して次回の試験問題を予測するのが困難となっていた。
特許文献1にも、過去の問題内容から次回の出題カテゴリを予測して試験問題を作成するものとはなっていないものである。
In particular, when the amount of past exam questions becomes enormous, the work of classifying exam questions into question categories increases, and it becomes difficult to efficiently and accurately analyze the exam questions into question categories and predict the next exam questions. rice field.
本発明は上記実情に鑑みて為されたもので、過去に出題された問題文をカテゴリに分類し、分類結果から次回の出題カテゴリを予測して、その予測結果を利用して過去の問題に基づいて試験対策用の予測問題を容易に作成できる試験問題予測システム及び試験問題予測方法を提供することを目的とする。 The present invention has been made in view of the above circumstances, classifies question sentences that have been asked in the past into categories, predicts the next question category from the classification results, and uses the prediction results to solve past problems. It is an object of the present invention to provide a test question prediction system and a test question prediction method that can easily create a prediction question for test preparation based on the test question.
上記従来例の問題点を解決するための本発明は、試験問題を予測する処理装置を備える試験問題予測システムであって、処理装置が、過去の試験問題の問題文から単語を抽出し、当該抽出した単語についてベクトルの要素毎に数値を付与してベクトルデータを生成するベクトル化を行い、ベクトルデータに基づいて試験問題をカテゴリに分類し、過去の年毎にカテゴリに分類された試験問題の出題回数を過去の時系列に配置し、当該配置を1年過去にシフトさせる配列を段階的に複数生成した階差系列を用いて次回の試験問題のカテゴリ毎の出題回数を機械学習により予測することを特徴とする。 The present invention for solving the problems of the above-mentioned conventional example is a test question prediction system including a processing device for predicting a test question, in which the processing device extracts a word from a question sentence of a past test question. For the extracted words, give numerical values to each element of the vector to generate vector data, perform vectorization, classify the exam questions into categories based on the vector data, and classify the exam questions into categories for each past year. The number of questions is arranged in the past time series, and the number of questions for each category of the next exam question is predicted by machine learning using the difference series that gradually generates multiple sequences that shift the arrangement to the past one year. It is characterized by that.
本発明は、上記試験問題予測システムにおいて、処理装置が、機械学習の学習モデルに教師データの問題文を用いて所望のベクトルデータが得られるよう学習させ、当該学習済みの学習モデルを用いてベクトル化を行うことを特徴とする。 In the present invention, in the above-mentioned test question prediction system, a processing device trains a machine learning learning model to obtain desired vector data by using a question sentence of teacher data, and uses the trained learning model to perform a vector. It is characterized by performing conversion.
本発明は、上記試験問題予測システムにおいて、処理装置が、機械学習の学習モデルに教師データのベクトルデータを用いて所望のカテゴリに分類されるよう学習させ、当該学習済みの学習モデルを用いてベクトル化されたベクトルデータから試験問題をカテゴリに分類することを特徴とする。 In the present invention, in the above-mentioned test question prediction system, a processing device trains a machine learning learning model to be classified into a desired category using vector data of teacher data, and uses the trained learning model to perform a vector. It is characterized by classifying exam questions into categories from the converted vector data.
本発明は、上記試験問題予測システムにおいて、処理装置が、機械学習に、再帰型ニューラルネットワークを用いることを特徴とする。 The present invention is characterized in that, in the test question prediction system, the processing device uses a recurrent neural network for machine learning.
本発明は、上記試験問題予測システムにおいて、処理装置が、予測されたカテゴリ毎の出題回数に従って過去の試験問題から問題を抽出して次回の予測問題を作成することを特徴とする。 The present invention is characterized in that, in the test question prediction system, the processing device extracts questions from past test questions according to the predicted number of questions for each category and creates the next predicted question.
本発明は、試験問題を処理装置に予測させる試験問題予測方法であって、過去の試験問題の問題文から単語を抽出させ、当該抽出させた単語についてベクトルの要素毎に数値を付与してベクトルデータを生成するベクトル化を行わせ、ベクトルデータに基づいて試験問題をカテゴリに分類させ、過去の年毎にカテゴリに分類された試験問題の出題回数を過去の時系列に配置させ、当該配置を1年過去にシフトさせる配列を段階的に複数生成した階差系列を用いて次回の試験問題のカテゴリ毎の出題回数を機械学習により予測させることを特徴とする。 The present invention provides a test question prediction method Ru is predictive of test questions to the processor, to extract words from the question sentence past exam, the word obtained by the extraction by applying a number to each element of the vector row Align vectorization of generating vector data, to classify the test problems based on the vector data in the category, so the question number in the past year each test problems classified into categories are arranged in time series in the past, the arrangement the characterized Rukoto is predicted by the machine learning question count for each category of the next exam using stepwise multiple generated differenced series arrangement for shifting a year past.
本発明によれば、処理装置が、過去の試験問題の問題文から単語を抽出し、当該抽出した単語についてベクトルの要素毎に数値を付与してベクトルデータを生成するベクトル化を行い、ベクトルデータに基づいて試験問題をカテゴリに分類し、過去の年毎にカテゴリに分類された試験問題の出題回数を過去の時系列に配置し、当該配置を1年過去にシフトさせる配列を段階的に複数生成した階差系列を用いて次回の試験問題のカテゴリ毎の出題回数を機械学習により予測する試験問題予測システムとしているので、過去の試験問題の問題文をカテゴリに分類し、分類結果から次回の試験出題のカテゴリ毎の出題回数を適正に予測できる効果がある。 According to the present invention, the processing apparatus extracts a word from a question sentence of a past test question, assigns a numerical value to each element of the vector to the extracted word, performs vectorization to generate vector data, and vector data. the test problems classified into categories based on the question number in the past year each test problems that are categorized into place in a time series in the past, stepwise multiple sequences to shift the arrangement to one year past Since it is a test question prediction system that predicts the number of questions for each category of the next test question by machine learning using the generated difference series, the question sentences of the past test questions are classified into categories, and the next test question is based on the classification result. It has the effect of appropriately predicting the number of questions in each test question category.
本発明の実施の形態について図面を参照しながら説明する。
[実施の形態の概要]
本発明の実施の形態に係る試験問題予測システム(本システム)は、予測問題作成処理装置(本装置)で、過去の試験問題の問題文から単語を抽出し、当該抽出した単語についてベクトルの要素毎に数値を付与してベクトルデータを生成するベクトル化を行い、ベクトルデータに基づいて試験問題をカテゴリに分類し、過去の年毎にカテゴリに分類された試験問題の出題回数から次回の試験問題のカテゴリ毎の出題回数を予測するものであり、過去の試験問題の問題文をカテゴリに分類し、分類結果から次回の試験出題のカテゴリ毎の出題回数を適正に予測できるものである。
Embodiments of the present invention will be described with reference to the drawings.
[Outline of Embodiment]
The test question prediction system (this system) according to the embodiment of the present invention is a prediction question creation processing device (this device) that extracts words from question sentences of past test questions, and vector elements for the extracted words. Perform vectorization to generate vector data by giving a numerical value for each, classify the exam questions into categories based on the vector data, and the next exam question from the number of questions of the exam questions classified into the category for each past year It predicts the number of questions for each category, classifies the question sentences of past exam questions into categories, and can appropriately predict the number of questions for each category of the next exam questions from the classification results.
更に、本システムでは、処理装置が、予測されたカテゴリ毎の出題回数に従って過去の試験問題から問題を抽出して次回の予測問題を作成するものであり、出題回数が適正に予測されたカテゴリについての予測問題を精度よく作成でき、受験者は予測精度が高い予測問題を試験対策用として受けることができるものである。 Furthermore, in this system, the processing device extracts questions from the past exam questions according to the predicted number of questions for each category and creates the next predicted question, and for the category in which the number of questions is properly predicted. Prediction questions can be created with high accuracy, and candidates can receive prediction questions with high prediction accuracy for exam preparation.
[本システム:図1]
本システムについて図1を参照しながら説明する。図1は、本システムの概略図である。
本システムは、図1に示すように、予測問題作成処理装置1と、予測問題提供サーバ2と、インターネット3と、受験者コンピュータ(PC)4とを基本的に有している。
各装置は、インターネット3を介して接続されており、受験者PC4は本来、複数台接続されるものである。
[This system: Fig. 1]
This system will be described with reference to FIG. FIG. 1 is a schematic view of this system.
As shown in FIG. 1, this system basically includes a prediction problem
Each device is connected via the Internet 3, and a plurality of
[予測問題作成処理装置1]
予測問題作成処理装置1は、過去の問題文をカテゴリに分類して出題カテゴリを分析し、次回の試験問題を予測して試験問題を作成する処理を行う。
予測問題作成処理装置1は、制御部11と、記憶部12と、インタフェース部13とを備え、インタフェース部13には、表示部14、入力部15が接続され、更にインターネット3に接続している。
[Prediction problem creation processing device 1]
The prediction question
The prediction problem
制御部11は、記憶部12に記憶する処理プログラムを読み込み、後述する処理を実行する。
記憶部12は、処理プログラムを記憶すると共に、過去の試験問題を記憶する。
表示部14は、予測問題を作成するに必要な表示を行う。
入力部15は、予測問題を作成するに必要な入力を行う。
The
The
The
The
[予測問題提供サーバ2]
予測問題提供サーバ2は、制御部と記憶部を備え、インターネット3に接続するコンピュータであり、予測問題作成処理装置1で作成された予測問題を入力して記憶し、受講者PC4に予測問題を配信する。請求項では「予測問題提供装置」としている。
図1では、予測問題作成処理装置1と予測問題提供サーバ2とをインターネット3を介して接続しているが、社内のネットワークで接続してもよい。
また、予測問題作成処理装置1と予測問題提供サーバ2とを一体の装置の構成としてもよい。
[Prediction problem providing server 2]
The prediction
In FIG. 1, the prediction problem
Further, the prediction problem
[受験者PC4]
受験者PC4は、インターネット3を介して予測問題提供サーバ2にアクセスし、提供される予測問題を受け取ることができるコンピュータである。請求項では「受験者装置」としており、コンピュータに限らずタブレット端末、スマートフォン等の端末装置であってもよい。
[Examinee PC4]
The
また、受験者PC4は、提供された予測問題に解答した場合に、解答データを予測問題提供サーバ2に送信するようにしてもよい。その場合、予測問題提供サーバ2が受験者の解答データを採点して、合格のためのアドバイスを行ったり、弱点について実力に応じた講義を受講するよう促したりするものである。
Further, the
[本実装エンジン:図2]
次に、予測問題作成処理装置1で動作するプログラム(ソフトウェア)で実現される実装エンジン(本実装エンジン)について図2を参照しながら説明する。図2は、本実装エンジンの概略図である。
本実装エンジン10は、図2に示すように、試験文章分類エンジン100と、出題傾向予測エンジン200とを備えている。
試験文章分類エンジン100は、文章特徴量抽出エンジンと文章分類エンジンを備えている。
[This mounting engine: Fig. 2]
Next, the mounting engine (main mounting engine) realized by the program (software) operating in the prediction problem
As shown in FIG. 2, the mounting
The test
試験文章分類エンジン100の文章特徴量抽出エンジンは、問題文の文章を大量に読み込み、文章のベクトル化を行うAI(Artificial Intelligence)の深層学習(Deep Learning)の学習済みモデルを習得しており、入力された問題から単語を抽出し、当該単語に対するベクトルデータを出力する。
The sentence feature extraction engine of the test
試験文章分類エンジン100の文章分類エンジンは、そのベクトルデータに基づき別の学習済みモデルを用いて当該試験問題(問題文)のカテゴリを分類する。
出題傾向予測エンジン200は、過去のカテゴリ別の出題数の推移や直近の出題の推移や直近の出題数から次回のカテゴリ毎の出題数を予測する。
以下、各エンジンについて具体的に説明する。
The sentence classification engine of the test
The question
Hereinafter, each engine will be specifically described.
[文章特徴量抽出エンジン:図3]
次に、文章特徴量抽出エンジンについて図3を参照しながら説明する。図3は、文章特徴量抽出エンジンの概略図である。
文章特徴量抽出エンジンは、図3に示すように、試験問題、例えば司法試験の選択肢等の文章データ(テキストデータ)を学習済みモデル110に読み込み、文章からキーワードの単語を抽出し、分類が容易なベクトルデータに変換する。
[Sentence feature extraction engine: Fig. 3]
Next, the text feature extraction engine will be described with reference to FIG. FIG. 3 is a schematic diagram of a text feature extraction engine.
As shown in FIG. 3, the sentence feature extraction engine reads test questions, for example, sentence data (text data) such as bar examination options into the trained
文章特徴量抽出エンジンでは、予めカテゴリ分類のキーとなる要素(向き)をベクトルv1,v2、v3,…として設定している。
ベクトルデータは、試験問題の文章データから抽出した単語(例えば「今日」「罰金」「申請」等)が、これらの要素とどの程度関連しているかを数値化したものである。
つまり、ベクトルデータは、要素を示す方向と、その方向に対する関連の強さを示す大きさとを備え、各単語の特徴量を表す情報(特徴ベクトル)となっている。
ここで、文章データから単語を抽出するのは、形態素解析を用いる。形態素解析は、品詞を分解して、不要な語句を削除することで、重要な単語を抽出する。
In the sentence feature amount extraction engine, the key elements (directions) of the category classification are set in advance as vectors v1, v2, v3, ....
The vector data is a numerical value of how much the words extracted from the text data of the examination questions (for example, "today", "fine", "application", etc.) are related to these elements.
That is, the vector data has a direction indicating the element and a size indicating the strength of the relationship with the direction, and is information (feature vector) representing the feature amount of each word.
Here, morphological analysis is used to extract words from sentence data. Morphological analysis extracts important words by decomposing part of speech and deleting unnecessary words.
学習済みモデル110は、教師データの問題文を大量に入力し、抽出した特定の単語についてベクトルv1,v2,v3…の各要素の大きさが最適な数値となるよう学習している。
学習済みモデル110で学習させる教師データは、第1に、問題文のみと分類ラベルのデータ、第2に、問題文と選択肢と問題の正解のデータ、第3に、書籍のテキストデータを用いる。
The trained
As the teacher data to be trained by the trained
具体的には、ベクトルv1をカテゴリaに関係する「平和」の要素、ベクトルv2をカテゴリbに関係する「懲役」の要素、ベクトルv3をカテゴリcに関係する「法人」の要素とする。
そして、文章特徴量抽出エンジンの学習済みモデル110は、入力した問題文から単語「今日」「懲役」「法人」を抽出したとすると、カテゴリ分類が容易となるよう、それら単語をベクトルデータに落とし込む変換処理を行う。
Specifically, vector v1 is an element of "peace" related to category a, vector v2 is an element of "imprisonment" related to category b, and vector v3 is an element of "corporation" related to category c.
Then, if the trained
図3の例では、単語「今日」は、v1が「0.8」、v2が「0」、v3が「0.1」の数値が付与され、単語「罰金」は、v1が「0」、v2が「0.5」、v3が「0.3」の数値が付与され、単語「申請」は、v1が「0.05」、v2が「0」、v3が「0.72」の各数値が付与される。
尚、問題文が異なれば、同じ単語「今日」が抽出された場合でも、ベクトルの数値が同じになるとは限らない。
また、入力される問題の文章は毎回異なるので、抽出される単語も毎回異なるものとなる。
In the example of FIG. 3, the word "today" is given a numerical value of "0.8" for v1, "0" for v2, and "0.1" for v3, and the word "fine" is given a numerical value of "0" for v1. , V2 is "0.5", v3 is "0.3", and the word "application" is v1 is "0.05", v2 is "0", v3 is "0.72". Each numerical value is given.
If the problem sentences are different, even if the same word "today" is extracted, the numerical values of the vectors are not always the same.
In addition, since the text of the question to be input is different each time, the extracted words are also different each time.
ベクトルは、試験問題の文章をカテゴリ分類するために設定される重要なファクタであり、文章の単語に対するベクトルの要素に対する数値が高いということは、そのベクトルに対応するカテゴリへの関連性が高いことを示している。 Vectors are an important factor set to categorize sentences in exam questions, and a high numerical value for a vector element for a word in a sentence is highly relevant to the category corresponding to that vector. Is shown.
そして、入力された文章の単語全体とベクトルの関連性、つまり、ベクトルの縦方向の数値全体が単語全体とベクトルとの関連性を示すものとなる。
これにより、個々の単語ではなく、入力された文章(問題文や選択肢)のベクトル毎の特徴量が抽出されるものである。
Then, the relationship between the entire word and the vector in the input sentence, that is, the entire vertical numerical value of the vector indicates the relationship between the entire word and the vector.
As a result, the feature amount for each vector of the input sentence (question sentence or option) is extracted instead of the individual word.
文章特徴量抽出エンジンの学習済みモデル110では、単語を1つ入力したときに前後に出てくる単語を予測させるタスクを学習させ中間層を獲得し、学習後の中間層を単語特徴ベクトルとして使用して算出するようにしてもよい。
つまり、入力単語について、中間層を利用して単語の前又は後に出てくる単語の予測確率を利用してベクトルの数値を求めてもよい。
In the trained
That is, for the input word, the numerical value of the vector may be obtained by using the prediction probability of the word appearing before or after the word by using the middle layer.
[文章分類エンジン:図4]
次に、文章分類エンジンについて図4を参照しながら説明する。図4は、文章分類エンジンの概略図である。
文章分類エンジンは、図4に示すように、図3の学習済みモデル110から出力されたベクトルデータをまず教師データとして学習済みモデル120に大量に入力し、所望のカテゴリに分類されるよう学習させる。
[Sentence classification engine: Fig. 4]
Next, the sentence classification engine will be described with reference to FIG. FIG. 4 is a schematic diagram of a sentence classification engine.
As shown in FIG. 4, the sentence classification engine first inputs a large amount of vector data output from the trained
そして、図3の文章特徴量抽出エンジンで教師データではない問題文について変換処理を行って得られたベクトルデータを、図4の文章分類エンジンの学習済みモデル120に入力して、カテゴリに分類する。
図4では、司法試験を想定しているので、分類されたカテゴリは「民法 第8編 親族 第2章 家族」となり、「章」が中カテゴリで、「節」が小カテゴリで、中カテゴリまでの分類であってもよく、小カテゴリまでの分類であってもよい。
Then, the vector data obtained by performing the conversion process on the problem sentence that is not the teacher data by the sentence feature amount extraction engine of FIG. 3 is input to the trained
In Fig. 4, since the bar examination is assumed, the classified categories are "Civil Code Vol. 8
[RNNの利用例:図5]
文章分類エンジンにおいて、再帰的ニューラルネットワーク(RNN:Recurrent Neural Network)を用い、前から順番に計算することで、系列データの前後関係を学習している。
ここで、過去から未来の方向だけでなく、未来から過去の方向への双方向に情報伝搬を行って未来の情報を予測する「Bidirectional」のモデルで、入力毎にユニット自体の重要性(重み)を使い分ける「Self-Attention」の利用例を図5に紹介する。図5は、RNNのSelf-Attention利用例を示す概略図である。
[Example of using RNN: Fig. 5]
In the sentence classification engine, a recurrent neural network (RNN) is used, and the context of the series data is learned by calculating in order from the front.
Here, in the "Bidirectional" model that predicts future information by propagating information not only from the past to the future but also from the future to the past, the importance (weight) of the unit itself for each input. ) Is used properly, and an example of using "Self-Attention" is introduced in Fig. 5. FIG. 5 is a schematic view showing an example of using Self-Attention of RNN.
図5に示すように、複数のユニット(メモリ)121〜126において、学習した単語に対してどのユニットが重要であるかを計算するが、その際に入力と同じ情報を用いている。
図5において、ユニット121,123,125がユニット122,124,126より重みがあり、また、ユニット126は、ユニット122,124より重みがあることを示している。
この図5の例は、文章分類エンジンで用いられる学習モデルであり、関連性の高い単語同士(例えば「懲役」と「年」など)のみを注視できるので、言語処理に優れている。
As shown in FIG. 5, in a plurality of units (memory) 121 to 126, which unit is important for the learned word is calculated, and the same information as the input is used at that time.
In FIG. 5, it is shown that the
The example of FIG. 5 is a learning model used in a sentence classification engine, and is excellent in language processing because it can watch only words with high relevance (for example, "imprisonment" and "year").
[出題傾向予測エンジン:図6]
次に、予測問題作成処理装置1に実装される出題傾向予測エンジンについて図6を参照しながら説明する。図6は、出題傾向予測エンジンの概略図である。
試験文章分類エンジン100で過去の年度毎、カテゴリ毎に分類された出題件数(数値データ)を学習済みモデル210に入力して、次の年のカテゴリ毎の出題件数(数値データ)を予測する。
学習済みモデル210には、重回帰、LSTM(Long Short-Term Memory network:長・短期記憶)等のモデルが用いられる。
尚、出題傾向予測及び問題作成の詳細は、以下に説明する。
[Question trend prediction engine: Fig. 6]
Next, the questioning tendency prediction engine implemented in the prediction problem
The test
As the trained
The details of questioning tendency prediction and question creation will be described below.
[予測と問題作成の処理:図7]
本装置における予測問題作成の処理(本処理)について図7を参照しながら説明する。図7は、予測と問題作成の処理の概略図である。
本処理は、図7に示すように、過去の特定期間(前回試験から連続して遡った期間)の試験問題を読み込んで、それら試験問題について内容に応じて予め定められた小カテゴリ(単に「カテゴリ」と称することがある)に分類したデータを基に次回試験の小カテゴリを予測する小カテゴリ予測ステップと、その小カテゴリ予測結果を用いて予測問題の作成を行う問題作成ステップとを有している。
[Forecasting and problem creation processing: Fig. 7]
The process of creating a prediction problem (this process) in this apparatus will be described with reference to FIG. 7. FIG. 7 is a schematic diagram of the process of prediction and problem creation.
As shown in FIG. 7, this process reads the exam questions for a specific period in the past (a period that goes back continuously from the previous exam), and for those exam questions, a predetermined subcategory (simply "" It has a small category prediction step that predicts the small category of the next exam based on the data classified into "category") and a question creation step that creates a prediction problem using the small category prediction result. ing.
尚、小カテゴリとは、問題の内容に応じて予め分野を分類したものであり、小カテゴリへの分類作業は、人手によって為されている。
また、小カテゴリに分類されたデータとは、カテゴリ毎の出題回数(出題件数)であり、例えば、カテゴリ1について出願回数2回、カテゴリ2について出題回数3回というものになる。
The small categories are those in which the fields are classified in advance according to the content of the problem, and the work of classifying into the small categories is performed manually.
The data classified into small categories is the number of questions (number of questions) for each category. For example, the number of applications for
図7の例は、既に分類された試験問題からカテゴリの予測を行って予測問題を作成するものであり、図2〜5で説明した処理は、カテゴリに分類されていない問題文からカテゴリ分類するものである。
従って、分類されていない問題文については、図2〜5でカテゴリ分類し、図6以降の予測プログラムによる処理でカテゴリ予測を行い、予測問題を作成することになる。
In the example of FIG. 7, a category is predicted from the already classified test questions to create a prediction question, and the processing described in FIGS. 2 to 5 classifies the questions from the question sentences that are not classified into categories. It is a thing.
Therefore, the problem sentences that are not classified are classified into categories in FIGS. 2 to 5, and the category prediction is performed by the processing by the prediction program in FIGS. 6 and 6 to create a prediction problem.
本処理の小カテゴリ予測ステップと問題作成ステップについて具体的に説明する。
[小カテゴリ予測ステップ]
本装置の制御部11は、記憶部12から処理プログラムを読み込んで、小カテゴリ予測ステップを実行するものであり、外部から過去の特定期間の試験問題(過去問)をCSV(Comma Separated Values)形式で入力し、試験毎に小カテゴリ毎の出題回数を集計し(ここまでの処理を試験文章分類エンジン100で行ってもよい)、その小カテゴリ毎の出題回数を基に予測プログラムを実行して小カテゴリ予測結果を出力する。この小カテゴリ予測結果は、次回の試験問題の小カテゴリ毎の予測出題回数である。
The sub-category prediction step and the problem creation step of this process will be specifically described.
[Small category prediction step]
The
ここで、予測プログラムとして時系列データを扱える再帰型のニューラルネットワーク(RNN)を用いたAIプログラムとなっており、中間層(隠れ層)のユニットをLSTMブロックに置き換えたものとなっている。RNNは、時系列情報と過去のデータを学習するのに適している。
尚、試験問題が複数科目から構成されている場合は、科目毎の出題数が決まっているので、その分類はルールベースで行う。
Here, the AI program uses a recurrent neural network (RNN) that can handle time-series data as a prediction program, and the unit of the intermediate layer (hidden layer) is replaced with an LSTM block. RNNs are suitable for learning time series information and past data.
If the exam questions consist of multiple subjects, the number of questions for each subject is fixed, so the classification is based on rules.
[問題作成ステップ]
本装置の制御部11は、記憶部12から処理プログラムを読み込んで、問題作成ステップを実行するものであり、小カテゴリ予測ステップで得られた小カテゴリ予測結果(小カテゴリ毎の予測出題回数)を入力し、問題作成プログラムを実行して過去問からランダムに問題を抽出して出題予測結果を出力する。
つまり、小カテゴリ毎の予測出題回数に従って、当該小カテゴリに対応する過去問の中からランダムに問題を抽出して全体としての予測問題を作成する。
[Problem creation step]
The
That is, according to the number of predicted questions for each subcategory, questions are randomly extracted from the past questions corresponding to the subcategory to create a predicted question as a whole.
本問題作成ステップでは、過去問をランダムに抽出するようにしているが、前回、前々回に出題された問題が選ばれにくいように抽出の際に、重み付けを行って選択してもよい。
また、過去問について、過去問そのものではなく、問題内容を少し変更したものを作成しておき、それらを含めて抽出するようにしてもよい。
In this question creation step, past questions are randomly extracted, but the questions that were asked last time or two times before the previous question may be weighted and selected at the time of extraction so that they are difficult to be selected.
In addition, for past questions, instead of the past questions themselves, questions may be created with slightly modified contents and extracted including them.
[ニューラルネットワークのモデル:図8]
次に、本装置で使用されるニューラルネットワークのモデルについて図8を参照しながら説明する。図8は、本装置におけるニューラルネットワークのモデルの概略図である。
本装置におけるニューラルネットワークは、図8に示すように、入力層111に入力データxが入力され、それが中間層のLSTMレイヤー112,113を介して、全結合レイヤー114に入力されて全結合がなされ、それが出力層115に予測値として出力データyが出力される。
[Neural network model: Fig. 8]
Next, the model of the neural network used in this apparatus will be described with reference to FIG. FIG. 8 is a schematic diagram of a neural network model in this device.
In the neural network in this apparatus, as shown in FIG. 8, input data x is input to the
中間層のLSTMレイヤー112,113は、時系列情報を一定の時間窓の期間メモリユニットで保持し、時間窓内の情報について学習を行う。
LSTMレイヤーは、RNNの短期間の記憶しか実現できないという限界を緩和するもので、メモリユニットには、入力層から入力されるものもあり、中間層からの出力を帰還させるものもあり、時系列情報の長期の記憶を可能としている。
図8のモデルを本装置が使用することで、小カテゴリの予測結果の精度を向上させることができるものである。
The LSTM layers 112 and 113 of the intermediate layer hold the time series information in the memory unit for a certain period of time window, and learn about the information in the time window.
The LSTM layer relaxes the limitation that only short-term memory of RNN can be realized, and some memory units are input from the input layer and some are fed back the output from the intermediate layer. It enables long-term memory of information.
By using the model of FIG. 8 in this apparatus, it is possible to improve the accuracy of the prediction result of the small category.
[年次毎のカテゴリの出題回数:図9]
次に、年次毎のカテゴリ(小カテゴリ)の出題回数について図9を参照しながら説明する。図9は、年次毎のカテゴリの出題回数を示す図である。
年次毎の出題回数は、図9に示すように、例えば、93のカテゴリに分類されており、平成1年(H1)から平成29年(H29)までの各年のカテゴリ毎の出題回数が得られる。
[Number of questions in each category for each year: Fig. 9]
Next, the number of questions in each category (small category) will be described with reference to FIG. FIG. 9 is a diagram showing the number of questions in the category for each year.
As shown in FIG. 9, the number of questions for each year is classified into, for example, 93 categories, and the number of questions for each category from 2001 (H1) to 2017 (H29) is can get.
尚、カテゴリ番号Iについてカテゴリの出題回数は、nijで表され、iはカテゴリの番号を示し、jは年次を表している。
以下に説明する階差データの作り方では、カテゴリ毎(カテゴリ番号毎)にH1〜H29の図9の行データを用いている。例えば、カテゴリ番号2では、n21,n22,n23,…の行データを単位として用いている。
Regarding the category number I, the number of questions in the category is represented by n ij , i represents the category number, and j represents the year.
In the method of creating the difference data described below, the row data of FIG. 9 of H1 to H29 is used for each category (each category number). For example, in
[階差データの作り方:図10]
次に、小カテゴリ毎の階差データの作り方について図10を参照しながら説明する。図10は、階差データの作り方を示す図である。
過去問の小カテゴリ毎の出題回数を単純にAIプログラムに入力するだけでは、精度のよい小カテゴリ予測結果を得るのに十分ではないため、以下に説明する階差データを作成し、その階差データから得られる行列の数値をAIプログラムに入力して予測精度を向上させている。
[How to create difference data: Fig. 10]
Next, how to create the difference data for each small category will be described with reference to FIG. FIG. 10 is a diagram showing how to create the difference data.
Simply inputting the number of questions for each small category of past questions into the AI program is not enough to obtain accurate small category prediction results. Therefore, create the difference data explained below and create the difference. The numerical value of the matrix obtained from the data is input to the AI program to improve the prediction accuracy.
図10に示すように、年度H1〜H29について、(1)〜(29)が元の時系列データである。例えば、図9で示したカテゴリ番号2についてのn21,n22,n23,…の行のデータが時系列データに該当する。
尚、丸括弧で表される数値は、実際の試験での出題回数であり、角括弧で表される数値は予測値である。
As shown in FIG. 10, (1) to (29) are the original time series data for the years H1 to H29. For example, the data in the rows n 21 , n 22 , n 23 , ... For
The numerical value represented by parentheses is the number of questions in the actual test, and the numerical value represented by square brackets is the predicted value.
そして、その時系列データを1年分左にシフトさせた配列をその下に配置し、それを繰り返し行って複数段の配列を生成し、例えば、13段の配列の階差データを生成する。
更に、H1の縦方向の列のデータ(1)〜(13)の値からH14のこのカテゴリの出題回数の数値[14]を予測する。
Then, an array in which the time-series data is shifted to the left by one year is placed below it, and this is repeated to generate a multi-stage array, for example, a 13-stage array difference data is generated.
Further, the numerical value [14] of the number of questions in this category of H14 is predicted from the values of the data (1) to (13) in the vertical column of H1.
更に、H1の縦方向の列のデータとH2の縦方向の列のデータ(2)〜(14)の値からH15の予測値[15]を得る。これは、13行×2列の行列の値を入力データとして予測値を得るものである。
同様に、H1〜H13の13行×14列の行列の値を入力データとしてH26の予測値[26]を得る。
Further, the predicted value [15] of H15 is obtained from the values of the vertical column data of H1 and the data (2) to (14) of the vertical column of H2. In this method, the predicted value is obtained by using the value of the matrix of 13 rows × 2 columns as input data.
Similarly, the predicted value [26] of H26 is obtained by using the value of the matrix of 13 rows × 14 columns of H1 to H13 as input data.
本装置では、時系列データを14年分使用することにしており、H30の予測値を得るのに、H4〜H17の13行×14列の行列の値を入力データとして小カテゴリ予測ステップのAIプログラムに入力して予測値[30]を得る。 In this device, time series data is used for 14 years, and in order to obtain the predicted value of H30, the value of the matrix of 13 rows × 14 columns of H4 to H17 is used as input data, and the AI of the small category prediction step. Input to the program to obtain the predicted value [30].
尚、小カテゴリは、93個あるので、図10に示したような階差データを93個分並べて(93,14,13)の配列をAIプログラムに入力して、全ての小カテゴリについて小カテゴリ予測結果を得ることになる。
このようにして得られた小カテゴリ予測結果は、精度が高く、問題作成ステップでの問題作成でも予測精度を向上させることができる。
Since there are 93 subcategories, 93 subdivision data as shown in FIG. 10 are arranged and an array (93, 14, 13) is input to the AI program, and all the subcategories are subcategories. You will get the prediction result.
The small category prediction result obtained in this way has high accuracy, and the prediction accuracy can be improved even in the problem creation in the problem creation step.
[予測問題提供サーバ2の処理]
次に、本システムの予測問題提供サーバ2での処理を説明する。
予測問題提供サーバ2は、予測問題作成処理装置1で作成された予測問題データを予測問題作成処理装置1からアップロードされて、記憶部に記憶し、その予測問題データを受験者PC4からのアクセスにより提供する。
[Processing of prediction problem providing server 2]
Next, the processing in the prediction
The prediction
予測問題提供サーバ2は、受験者PC4から予測問題に対する解答データを受け取り、採点を行い、採点結果を受験者PC4に通知してもよい。
また、採点結果を単に通知するだけでなく、予測問題の全解答者の解答内容の分析結果を提供したり、受験者個人の弱点を指摘し、合格のための有効な学習方法をアドバイスとして提供するようにしてもよい。当該アドバイスには、勉強に参考となるオンラインの講義を紹介してその講義に呼び込むことも含まれる。
The prediction
In addition to simply notifying the scoring results, it also provides analysis results of the answers of all the answerers of the prediction question, points out the weaknesses of individual examinees, and provides effective learning methods for passing as advice. You may try to do it. The advice also includes introducing online lectures that can be used as a reference for studying and inviting them to the lectures.
[実施の形態の効果]
本システム及び試験問題予測方法によれば、本装置1が、過去の試験問題の問題文から単語を抽出し、当該抽出した単語についてベクトルの要素毎に数値を付与してベクトルデータを生成するベクトル化を行い、ベクトルデータに基づいて試験問題をカテゴリに分類し、過去の年毎にカテゴリに分類された試験問題の出題回数から次回の試験問題のカテゴリ毎の出題回数を予測するものとしているので、過去の試験問題の問題文をカテゴリに分類し、分類結果から次回の試験出題のカテゴリ毎の出題回数を適正に予測できる効果がある。
[Effect of Embodiment]
According to this system and the test question prediction method, the
更に、本システムでは、処理装置が、予測されたカテゴリ毎の出題回数に従って過去の試験問題から問題を抽出して次回の予測問題を作成するものとしているので、出題回数が適正に予測されたカテゴリについての予測問題を精度よく作成でき、受験者は予測精度が高い予測問題を試験対策用として受けることができる効果がある。 Furthermore, in this system, the processing device extracts questions from past exam questions according to the predicted number of questions for each category and creates the next predicted question, so the category in which the number of questions is properly predicted. It is possible to create a prediction question with high accuracy, and the examinee can receive a prediction question with high prediction accuracy as a test preparation.
本発明は、過去に出題された問題内容から次回の出題カテゴリを予測して、その予測結果を利用して過去の問題に基づいて試験対策用の予測問題を容易に作成できる試験問題予測システム及び試験問題予測方法に好適である。 The present invention is an examination question prediction system capable of predicting the next question category from the contents of questions asked in the past and easily creating a prediction question for exam preparation based on the past question using the prediction result. It is suitable for the test question prediction method.
1…予測問題作成処理装置、 2…予測問題提供サーバ、 3…インターネット、 4…受験者PC、 10…実装エンジン、 11…制御部、 12…記憶部、 13…インタフェース部、 14…表示部、 15…入力部、 111…入力層、 100試験文章分類エンジン、 112,113…中間層、 114…全結合層、 115…出力層 1 ... Prediction question creation processing device, 2 ... Prediction question providing server, 3 ... Internet, 4 ... Candidate PC, 10 ... Mounting engine, 11 ... Control unit, 12 ... Storage unit, 13 ... Interface unit, 14 ... Display unit, 15 ... Input section, 111 ... Input layer, 100 Test sentence classification engine, 112, 113 ... Intermediate layer, 114 ... Fully connected layer, 115 ... Output layer
Claims (6)
前記処理装置は、過去の試験問題の問題文から単語を抽出し、当該抽出した単語についてベクトルの要素毎に数値を付与してベクトルデータを生成するベクトル化を行い、前記ベクトルデータに基づいて試験問題をカテゴリに分類し、過去の年毎にカテゴリに分類された試験問題の出題回数を過去の時系列に配置し、当該配置を1年過去にシフトさせる配列を段階的に複数生成した階差系列を用いて次回の試験問題のカテゴリ毎の出題回数を機械学習により予測することを特徴とする試験問題予測システム。 A test question prediction system equipped with a processing device that predicts test questions.
The processing device extracts words from the question sentences of past test questions, assigns numerical values to each of the vector elements to the extracted words, performs vectorization to generate vector data, and tests based on the vector data. The questions are classified into categories, the number of questions in the exam questions classified into categories for each past year is arranged in the past time series, and multiple sequences that shift the arrangement to the past one year are generated step by step. An exam question prediction system characterized by predicting the number of questions for each category of the next exam question by machine learning using a series.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019080130A JP6913706B2 (en) | 2019-04-19 | 2019-04-19 | Exam question prediction system and exam question prediction method |
JP2021075445A JP7303243B2 (en) | 2019-04-19 | 2021-04-27 | Exam question prediction system and exam question prediction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019080130A JP6913706B2 (en) | 2019-04-19 | 2019-04-19 | Exam question prediction system and exam question prediction method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021075445A Division JP7303243B2 (en) | 2019-04-19 | 2021-04-27 | Exam question prediction system and exam question prediction method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020177507A JP2020177507A (en) | 2020-10-29 |
JP6913706B2 true JP6913706B2 (en) | 2021-08-04 |
Family
ID=72936661
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019080130A Active JP6913706B2 (en) | 2019-04-19 | 2019-04-19 | Exam question prediction system and exam question prediction method |
JP2021075445A Active JP7303243B2 (en) | 2019-04-19 | 2021-04-27 | Exam question prediction system and exam question prediction method |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021075445A Active JP7303243B2 (en) | 2019-04-19 | 2021-04-27 | Exam question prediction system and exam question prediction method |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6913706B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102684423B1 (en) * | 2021-08-02 | 2024-07-12 | 네이버 주식회사 | Method and system for data searching |
KR20240070331A (en) | 2022-11-14 | 2024-05-21 | 가톨릭대학교 산학협력단 | Balloon dilatation catheter and its angioplasty |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002222198A (en) * | 2001-01-25 | 2002-08-09 | Central Japan Railway Co | Combination pattern determining method and device thereof |
JP2005181928A (en) * | 2003-12-24 | 2005-07-07 | Fuji Xerox Co Ltd | System and method for machine learning, and computer program |
JP5221294B2 (en) | 2008-11-19 | 2013-06-26 | ダイコク電機株式会社 | Game information management device |
JP5628151B2 (en) * | 2009-04-17 | 2014-11-19 | 株式会社ベネッセコーポレーション | Optimal learning item automatic generation system and method for controlling the system |
JP5439237B2 (en) | 2010-03-15 | 2014-03-12 | 株式会社日立ソリューションズ | Test preparation content providing program and test preparation content providing device |
JP6230501B2 (en) * | 2014-07-17 | 2017-11-15 | 日本電信電話株式会社 | Reduced feature generation apparatus, information processing apparatus, method, and program |
JP6957967B2 (en) * | 2017-05-16 | 2021-11-02 | 富士通株式会社 | Generation program, generation method, generation device, and parameter generation method |
WO2019224891A1 (en) * | 2018-05-21 | 2019-11-28 | 楽天株式会社 | Classification device, classification method, generation method, classification program, and generation program |
CN109299282A (en) | 2018-08-16 | 2019-02-01 | 山东女子学院 | Concept map automatic generation method based on text analyzing and association rule mining |
-
2019
- 2019-04-19 JP JP2019080130A patent/JP6913706B2/en active Active
-
2021
- 2021-04-27 JP JP2021075445A patent/JP7303243B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP7303243B2 (en) | 2023-07-04 |
JP2021106062A (en) | 2021-07-26 |
JP2020177507A (en) | 2020-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Fraiwan et al. | A review of chatgpt applications in education, marketing, software engineering, and healthcare: Benefits, drawbacks, and research directions | |
Suryadevara | Predictive modeling for student performance: harnessing machine learning to forecast academic marks | |
Tolsgaard et al. | The fundamentals of Artificial Intelligence in medical education research: AMEE Guide No. 156 | |
Biehler et al. | Introducing students to machine learning with decision trees using CODAP and Jupyter Notebooks | |
Rybinski et al. | Will artificial intelligence revolutionise the student evaluation of teaching? A big data study of 1.6 million student reviews | |
Rokade et al. | Automated grading system using natural language processing | |
CN111460101A (en) | Knowledge point type identification method and device and processor | |
JP7303243B2 (en) | Exam question prediction system and exam question prediction method | |
Bacolod et al. | Economic assimilation and skill acquisition: Evidence from the occupational sorting of childhood immigrants | |
CN116386862A (en) | Multi-modal cognitive impairment evaluation method, device, equipment and storage medium | |
Isljamovıc et al. | PREDICTING STUDENTS’ACADEMIC PERFORMANCE USING ARTIFICIAL NEURAL NETWORK: A CASE STUDY FROM FACULTY OF ORGANIZATIONAL SCIENCES | |
Hamim et al. | Student profile modeling using boosting algorithms | |
Wang et al. | Utilizing artificial intelligence to support analyzing self-regulated learning: A preliminary mixed-methods evaluation from a human-centered perspective | |
Czibula et al. | IntelliDaM: A machine learning-based framework for enhancing the performance of decision-making processes. A case study for educational data mining | |
Basyuk et al. | Peculiarities of an Information System Development for Studying Ukrainian Language and Carrying out an Emotional and Content Analysis. | |
Choi et al. | A Systematic Literature Review on Performance Prediction in Learning Programming Using Educational Data Mining | |
Cunningham-Nelson et al. | Text analysis in education: a review of selected software packages with an application for analysing students’ conceptual understanding | |
US20210358317A1 (en) | System and method to generate sets of similar assessment papers | |
CN112598202B (en) | Test question difficulty evaluation method and device, storage medium and computing equipment | |
Neda et al. | Feasibility of machine learning support for holistic review of undergraduate applications | |
Chaudhuri et al. | A human-centred deep learning approach facilitating design pedagogues to frame creative questions | |
Khanam | Sentiment analysis of user reviews in an online learning environment: analyzing the methods and future prospects | |
Ke et al. | Tracking representational flexibility development through speech data mining | |
Abuzinadah et al. | Role of convolutional features and machine learning for predicting student academic performance from MOODLE data | |
Dogra | A Framework for an automatic evaluation of image description based on an image accessibility guideline |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201215 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20201215 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210325 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210712 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6913706 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |