JP6540384B2 - 評価プログラム、手順書評価方法、および評価装置 - Google Patents
評価プログラム、手順書評価方法、および評価装置 Download PDFInfo
- Publication number
- JP6540384B2 JP6540384B2 JP2015170274A JP2015170274A JP6540384B2 JP 6540384 B2 JP6540384 B2 JP 6540384B2 JP 2015170274 A JP2015170274 A JP 2015170274A JP 2015170274 A JP2015170274 A JP 2015170274A JP 6540384 B2 JP6540384 B2 JP 6540384B2
- Authority
- JP
- Japan
- Prior art keywords
- procedure
- words
- manual
- procedure manual
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 823
- 238000011156 evaluation Methods 0.000 title claims description 75
- 238000003860 storage Methods 0.000 claims description 45
- 238000000605 extraction Methods 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 29
- 239000000284 extract Substances 0.000 claims description 14
- 230000014509 gene expression Effects 0.000 description 128
- 238000009826 distribution Methods 0.000 description 121
- 238000004364 calculation method Methods 0.000 description 70
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 17
- 238000012854 evaluation process Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
Images
Landscapes
- Stored Programmes (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、評価プログラム、手順書評価方法、および評価装置に関する。
コンピュータシステムを運用する場合、システムに含まれるコンピュータに対して様々な作業が行われる。作業は、データのバックアップ、ログの収集、ソフトウェアの更新などをコンピュータに指示する一連の操作である。1つの作業を実施するには、複数の操作を伴うことが多い。1つの作業を行うための一連の操作は、運用手順として定義される。運用手順は、自然言語でテキスト化され、手順書として、例えば運用管理サーバに保持される。
システムの作業者は、手順書を参照して、システム内の作業対象のコンピュータに対して、手順書通りの操作を行う。なお作業対象のコンピュータの数が大量になると、作業者の作業負担が過大となる。そこで最近は、作業の自動化が推進されている。
作業の自動化では、例えば、手順書に記載された個々の操作をコマンドに置き換えたスクリプトのような、作業自動実行用のプログラム(以下、自動化プログラムと呼ぶ)が用いられる。手順書の操作表現が具体的であれば、置き換えるべきコマンドを一意に特定しやすく、手順書に基づいて自動化プログラムを自動生成することも可能である。他方、操作表現が具体的でなければ、どのようなコマンドに置き換えればよいか分からないため、自動化プログラムの自動生成は難しい。
大規模なシステムでは、運用操作に作業が多岐にわたり、手順書の量も膨大である。しかも、同じ作業に対する手順書が、異なる表現で複数作成されている場合もあり得る。そのため、手順書に基づいて運用操作自動化用の自動化プログラムを作成する場合、膨大な手順書の中から、自動化プログラムの生成が可能なほど具体的な手順書を抽出する作業が発生する。
文書の具体性を決定する手法としては、例えば、文書のテーマ数をその文書のクラスタ数により決定し、その文書の具体性をテーマ数により決定する方法がある。また、自然言語で書かれた曖昧語を含む文書から、曖昧性の高い箇所の指摘を可能にする文書分析システムも考えられている。
作業の手順書に基づいてその作業の自動化プログラムを生成する場合、手順書内の操作手順の記述が具体的であることが重要である。しかし、従来の文書に対する具体性の判断技術は、作業の手順書の操作手順に重点を置いて具体性を評価するものではない。そのため、従来の技術では、手順書の具体性を適切に評価することができない。
手順書の具体性が適切に評価できないと、例えば、同じ作業に関する複数の手順書の中から、どの手順書に基づいて自動化プログラムを生成すればよいのかが分からない。誤って曖昧な記述の手順書に基づいて自動化プログラムを生成すると、不完全なプログラムが生成され、プログラムの修正に手間がかかる。
1つの側面では、本発明は、手順書の具体性を適切に評価できるようにすることを目的とする。
1つの案では、コンピュータに、以下の処理を実行させる評価プログラムが提供される。この評価プログラムに基づいて、コンピュータは、管理対象システムに対して実施する作業に関する複数の手順書であり、作業の名称を示す作業名と管理対象システムに対する操作手順とが記述された複数の手順書から、操作を表現する複数の語句を抽出する。次にコンピュータは、複数の語句それぞれについて、複数の手順書の作業名における語句の出現数と、複数の手順書の操作手順における語句の出現数とを計数する。さらにコンピュータは、複数の語句それぞれについて、複数の手順書の作業名における語句の出現数に応じた値と、複数の手順書の操作手順における該語句の出現数に応じた値とを比較して、該語句で表現される操作の具体性の度合いを示す重み値を決定する。そしてコンピュータは、複数の手順書それぞれについて、手順書の操作手順に含まれる語句の重み値に基づいて、該操作手順の記述の具体性を評価する。
1態様によれば、作業を自動実行させやすい手順書かどうかを適切に評価できる。
以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第1の実施の形態〕
まず第1の実施の形態について説明する。第1の実施の形態は、コンピュータシステムの運用操作の作業の手順書の具体性を評価する評価装置に関するものある。
〔第1の実施の形態〕
まず第1の実施の形態について説明する。第1の実施の形態は、コンピュータシステムの運用操作の作業の手順書の具体性を評価する評価装置に関するものある。
図1は、第1の実施の形態に係る評価装置の機能構成例を示す図である。評価装置10は、記憶部11と演算部12とを有する。
記憶部11は、管理対象システムに対して実施する作業に関する複数の手順書11a,11b,・・・を記憶する。複数の手順書11a,11b,・・・は、作業の名称を示す作業名と管理対象システムに対する操作手順とが記述されている。作業名は、作業全体で実行する処理を上位概念で表現しており、曖昧な語句(1つの単語、または複数の単語が連なった句)が使用されることが多い。他方、操作手順は、例えば実施する作業が時系列に記述されており、具体的な語句が使用されることが多い。ただし、複数の手順書11a,11b,・・・の中には、操作手順の記述が曖昧なものも存在する。そこで、演算部12が、複数の手順書11a,11b,・・・の具体性を適切に評価する評価処理を実行する。評価処理の手順は以下の通りである。
記憶部11は、管理対象システムに対して実施する作業に関する複数の手順書11a,11b,・・・を記憶する。複数の手順書11a,11b,・・・は、作業の名称を示す作業名と管理対象システムに対する操作手順とが記述されている。作業名は、作業全体で実行する処理を上位概念で表現しており、曖昧な語句(1つの単語、または複数の単語が連なった句)が使用されることが多い。他方、操作手順は、例えば実施する作業が時系列に記述されており、具体的な語句が使用されることが多い。ただし、複数の手順書11a,11b,・・・の中には、操作手順の記述が曖昧なものも存在する。そこで、演算部12が、複数の手順書11a,11b,・・・の具体性を適切に評価する評価処理を実行する。評価処理の手順は以下の通りである。
まず、演算部12は、複数の手順書11a,11b,・・・から、操作を表現する複数の語句を抽出する(ステップS1)。例えば演算部12は、複数の手順書11a,11b,・・・を解析し、「作成」、「コピー」などの操作を表現する動詞を抽出する。また演算部12は、「メールで送信」のような、「名詞+手段を表す格助詞+動詞」という関係の句を抽出してもよい。このとき演算部12は、手順書の作業名から抽出した語句と、手順書の操作手順から抽出した語句とを区別する。
次に演算部12は、抽出した複数の語句それぞれについて、複数の手順書11a,11b,・・・の作業名における語句の出現数と、複数の手順書の操作手順における語句の出現数とを計数する(ステップS2)。このとき演算部12は、各語句の、作業名と操作手順とのそれぞれにおける出現頻度を計算してもよい。例えば演算部12は、複数の手順書11a,11b,・・・の作業名におけるすべての語句の出現数の合計に対する、複数の手順書11a,11b,・・・の作業名における決定対象の語句の出現数の割合を示す第1の出現頻度を算出する。また演算部12は、複数の手順書11a,11b,・・・の操作手順におけるすべての語句の出現数の合計に対する、複数の手順書11a,11b,・・・の操作手順における決定対象の語句の出現数の割合を示す第2の出現頻度を算出する。
次に演算部12は、複数の語句それぞれについて、語句で表現される操作の具体性の度合いを示す重み値を決定する(ステップS3)。例えば演算部12は、複数の手順書11a,11b,・・・の作業名における語句の出現数に応じた値と、複数の手順書11a,11b,・・・の操作手順における該語句の出現数に応じた値とを比較する。そして、演算部12は、複数の手順書11a,11b,・・・の作業名における出現数が少ない語句ほど重み値を高くし、複数の手順書11a,11b,・・・の操作手順における出現数が多い語句ほど重み値を高くする。
演算部12は、重み値の決定に、第1の出現頻度と第2の出現頻度とを用いることもできる。例えば演算部12は、決定対象の語句の第2の出現頻度を、その語句の第1の出現頻度で除算した値を、その語句の重み値として算出する。これにより、操作手順への出現頻度が高い語句ほど重み値が高くなり、作業項目名への出現頻度が低い語句ほど重み値が高くなる。
その後、演算部12は、複数の手順書11a,11b,・・・それぞれについて、手順書の操作手順に含まれる語句の重み値に基づいて、操作手順の記述の具体性を評価する(ステップS4〜S6)。具体性の評価は、例えば以下の手順で実行される。
演算部12は、複数の手順書11a,11b,・・・について、手順書の操作手順に含まれるすべての語句の重み値の合計を算出する(ステップS4)。この合計を、手順書操作重み量とする。手順書11aの例であれば、語句「作成」、「コピー」、「メールで送信」それぞれの重み値の合計が、手順書11aの手順書操作重み量となる。
次に演算部12は、複数の語句それぞれを、標準操作重み量の算出対象の語句とし、算出対象の語句が操作手順に出現する手順書を抽出し、抽出された手順書の手順書操作重み量の平均を、算出対象の語句の標準操作重み量として算出する(ステップS5)。例えば、語句「コピー」が操作手順に出現する手順書は、手順書11aと手順書11bだけであるものとする。この場合、手順書11aの手順書操作重み量「5.5」と、手順書11bの手順書操作重み量「3.5」との平均値「4.5」が、語句「コピー」の標準操作重み量となる。語句の標準操作重み量は、操作手順内にその語句が出現する手順書の標準的な手順書操作重み量を表している。標準操作重み量が高い語句は、具体性の高い語句を操作手順内に多く含む手順書で使用されることが多い語句である。
次に演算部12は、複数の手順書11a,11b,・・・それぞれについて、手順書内の操作手順に含まれるすべての語句の重み値の合計を、その手順書の操作手順に出現する語句それぞれの標準操作重み量のうちの最大値で除算する。そして演算部12は、除算結果を、手順書の操作手順の記述の具体性の高さを示す具体度とする(ステップS6)。手順書の具体度は、値が大きいほど、操作手順の具体性が高いことを示す。
手順書の具体度が「1」以上となるのは、操作手順内の語句の標準操作重み量の最大値よりも、その手順書の手順書操作重み量が高い場合である。高い具体度(例えば1以上)を有する手順書は、特定の語句を操作手順内に含む手順書群の中で、平均以上の具体性を有している。しかもその手順書群の操作手順に出現する特定の語句は、具体度算出対象の手順書の操作手順において標準操作重み量が最も高い語句であり、その語句を含む手順書群も、具体性が比較的高い手順書の集まりであると言える。このような手順書群の中で手順書操作重み量が大きい方の手順書であれば、操作手順の具体性はかなり高いといえる。
演算部12は、複数の手順書11a,11b,・・・それぞれの具体度を比較することで、各手順書の具体性を評価する。例えば、手順書11aと手順書11bとを比べた場合、手順書11aの方が具体性が高いと評価され、手順書11bの方が具体性が低いと評価される。例えば演算部12は、手順書の検索が行われたとき、検索結果を具体度で降順にソートして出力することができる。これにより、操作手順の具体性が高い手順書を容易に選択できる。
このようにして、評価装置10により、複数の手順書11a,11b,・・・の具体性を評価することができる。例えばログ取得の作業を自動化させる場合、手順書11a,11bの具体度を比較することで、手順書11aの方が具体性が高いことが分かる。そこで、作業者は、手順書11aに基づいて、スクリプトのような自動化プログラムを生成するのが適切であることが、容易に理解できる。このように、複数の手順書11a,11b,・・・の中から、自動化プログラムの生成に適した手順書を容易に見つけ出すことができ、自動化プログラムの生成が容易となる。
しかも第1の実施の形態では、手順書の操作手順の記述に重点を置いて具体性を評価しており、高い信頼性の評価結果を得ることができる。すなわち、作業名よりも操作手順への出現頻度が高い語句の重み値を高くすることで、作業名を表すような曖昧な語句が、手順書内の操作手順に頻出する場合、その手順書の手順書操作重み量は低く抑えられる。その結果、曖昧な語句で操作手順が記述された手順書について、具体性が高く評価されることが抑止されている。
なお、図1の例では、各手順書の具体度によって具体性を評価しているが、他の方法で評価してもよい。例えば、手順書操作重み量によって手順書の具体性を評価することもできる。この場合、手順書操作重み量が大きい手順書ほど、具体性が高く評価される。また、例えば手順書の操作手順に含まれる語句の中に、重み値が所定値以下の語句が少なくとも1つある場合、その手順書の具体性を低く評価するようにしてもよい。これにより、コマンドに置き換えることが困難な操作表現が存在する手順書の評価を下げ、誤ってその手順書に基づいて自動化プログラムを生成することを抑止できる。
また、手順書の具体性の評価は、新たな手順書が記憶部11に格納されるごとに繰り返し実行してもよい。この場合、具体性が低いと分かっている手順書については、具体性評価時の処理の対象から除外してもよい。すなわち、演算部12は、複数の手順書11a,11b,・・・から語句を抽出する際に、既に具体性が評価されている手順書のうちの、具体性の評価が高い方から所定数の手順書と、具体性が未評価の手順書とから、語句を抽出することができる。これにより、具体性の評価の精度を向上させることができる。
なお、演算部12は、例えば評価装置10が有するプロセッサにより実現することができる。また、記憶部11は、例えば評価装置10が有するメモリまたはストレージ装置により実現することができる。
〔第2の実施の形態〕
次に第2の実施の形態について説明する。第2の実施の形態は、具体性の高い手順書を抽出し、その手順書に基づいてスクリプトを生成するものである。
次に第2の実施の形態について説明する。第2の実施の形態は、具体性の高い手順書を抽出し、その手順書に基づいてスクリプトを生成するものである。
図2は、第2の実施の形態に係るシステムの構成例を示す図である。例えば運用管理サーバ100が、ネットワーク20を介して、管理対象システム200に接続されている。管理対象システム200は、例えば複数のコンピュータ210,220,230を含んでいる。
運用管理サーバ100は、ネットワーク20を介して管理対象システム200にアクセスし、運用管理に関する作業を実施する。作業は、例えば自然言語で記述された手順書に基づいて、作業者が手作業で実施する。作業の内容を自動的に実行させるためのスクリプトが運用管理サーバ100に用意されていれば、作業者は、そのスクリプトの実行命令を入力するだけで済む。
運用管理サーバ100は、自然言語で記述された作業の手順書から、その作業を自動化させるスクリプトを自動生成する機能を有している。ただし、手順書の記述が具体的でない場合、スクリプトの自動生成に失敗する。そこで第2の実施の形態では、運用管理サーバ100に、スクリプトの自動生成が可能なほどに手順書が具体的かどうかについて評価する機能が実装されている。
図3は、本実施の形態に用いる運用管理サーバのハードウェアの一構成例を示す図である。運用管理サーバ100は、プロセッサ101によって装置全体が制御されている。プロセッサ101には、バス109を介してメモリ102と複数の周辺機器が接続されている。プロセッサ101は、マルチプロセッサであってもよい。プロセッサ101は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、またはDSP(Digital Signal Processor)である。プロセッサ101がプログラムを実行することで実現する機能の少なくとも一部を、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)などの電子回路で実現してもよい。
メモリ102は、運用管理サーバ100の主記憶装置として使用される。メモリ102には、プロセッサ101に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ102には、プロセッサ101による処理に必要な各種データが格納される。メモリ102としては、例えばRAM(Random Access Memory)などの揮発性の半導体記憶装置が使用される。
バス109に接続されている周辺機器としては、ストレージ装置103、グラフィック処理装置104、入力インタフェース105、光学ドライブ装置106、機器接続インタフェース107およびネットワークインタフェース108がある。
ストレージ装置103は、内蔵した記憶媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置103は、コンピュータの補助記憶装置として使用される。ストレージ装置103には、OSのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置103としては、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)を使用することができる。
グラフィック処理装置104には、モニタ21が接続されている。グラフィック処理装置104は、プロセッサ101からの命令に従って、画像をモニタ21の画面に表示させる。モニタ21としては、CRT(Cathode Ray Tube)を用いた表示装置や液晶表示装置などがある。
入力インタフェース105には、キーボード22とマウス23とが接続されている。入力インタフェース105は、キーボード22やマウス23から送られてくる信号をプロセッサ101に送信する。なお、マウス23は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
光学ドライブ装置106は、レーザ光などを利用して、光ディスク24に記録されたデータの読み取りを行う。光ディスク24は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク24には、DVD(Digital Versatile Disc)、DVD−RAM、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable)/RW(ReWritable)などがある。
機器接続インタフェース107は、運用管理サーバ100に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース107には、メモリ装置25やメモリリーダライタ26を接続することができる。メモリ装置25は、機器接続インタフェース107との通信機能を搭載した記録媒体である。メモリリーダライタ26は、メモリカード27へのデータの書き込み、またはメモリカード27からのデータの読み出しを行う装置である。メモリカード27は、カード型の記録媒体である。
ネットワークインタフェース108は、ネットワーク20に接続されている。ネットワークインタフェース108は、ネットワーク20を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。
以上のようなハードウェア構成によって、第2の実施の形態の処理機能を実現することができる。なお、第1の実施の形態に示した評価装置10も、図3に示した運用管理サーバ100と同様のハードウェアにより実現することができる。
運用管理サーバ100は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第2の実施の形態の処理機能を実現する。運用管理サーバ100に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、運用管理サーバ100に実行させるプログラムをストレージ装置103に格納しておくことができる。プロセッサ101は、ストレージ装置103内のプログラムの少なくとも一部をメモリ102にロードし、プログラムを実行する。また運用管理サーバ100に実行させるプログラムを、光ディスク24、メモリ装置25、メモリカード27などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ101からの制御により、ストレージ装置103にインストールされた後、実行可能となる。またプロセッサ101が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。
運用管理サーバ100は、例えばストレージ装置103に格納したプログラムに基づいて、手順書の具体性評価機能とスクリプト生成機能とを実現する。
図4は、手順書の具体性評価およびスクリプト生成機能を示すブロック図である。運用管理サーバ100は、手順書データベース(DB)110、手順書評価部120、具体度情報記憶部130、およびスクリプト生成部140を有する。
図4は、手順書の具体性評価およびスクリプト生成機能を示すブロック図である。運用管理サーバ100は、手順書データベース(DB)110、手順書評価部120、具体度情報記憶部130、およびスクリプト生成部140を有する。
手順書DB110は、複数の手順書111に関する情報を記憶する。手順書DB110としては、例えばストレージ装置103の記憶領域の一部が使用される。
手順書評価部120は、手順書内の記述の具体性を評価する。例えば手順書評価部120は、キーボード22などの入力装置を介して手順書の評価指示が入力されると、手順書DB110に格納されている複数の手順書111を読み出し、内容を解析する。そして手順書評価部120は、各手順書の具体度を示す数値を算出する。手順書評価部120は、各手順書の具体度を示す手順書具体度情報131を、具体度情報記憶部130に格納する。
手順書評価部120は、手順書内の記述の具体性を評価する。例えば手順書評価部120は、キーボード22などの入力装置を介して手順書の評価指示が入力されると、手順書DB110に格納されている複数の手順書111を読み出し、内容を解析する。そして手順書評価部120は、各手順書の具体度を示す数値を算出する。手順書評価部120は、各手順書の具体度を示す手順書具体度情報131を、具体度情報記憶部130に格納する。
具体度情報記憶部130は、手順書具体度情報131を記憶する。具体度情報記憶部130としては、メモリ102またはストレージ装置103の記憶領域の一部が使用される。
スクリプト生成部140は、特定の手順書に示される各操作をコマンドに置き換えることで、その手順書に対応する運用操作を自動実行させるためのスクリプトを生成する。例えばスクリプト生成部140は、所定の作業に関する複数の手順書のうち、手順書評価部120により具体度が最も高いと判定された手順書に基づいて、スクリプトを生成する。
次に、手順書DB110の内容を詳細に説明する。
図5は、手順書DBの一例を示す図である。手順書DB110には、複数の手順書111a,111b,111c,・・・が格納されている。各手順書111a,111b,111c,・・・には、手順書ID、作業項目名、および操作手順が記載されている。手順書IDは、手順書を識別する識別情報である。作業項目名は、手順書において実施する運用作業の名称である。操作手順は、運用作業において実施する操作の内容である。
図5は、手順書DBの一例を示す図である。手順書DB110には、複数の手順書111a,111b,111c,・・・が格納されている。各手順書111a,111b,111c,・・・には、手順書ID、作業項目名、および操作手順が記載されている。手順書IDは、手順書を識別する識別情報である。作業項目名は、手順書において実施する運用作業の名称である。操作手順は、運用作業において実施する操作の内容である。
次に、具体度情報記憶部130の内容を詳細に説明する。
図6は、具体度情報記憶部の一例を示す図である。図6の例では、具体度情報記憶部130に、テーブル形式の手順書具体度情報131が格納されている。手順書具体度情報131には、手順書ID、作業項目名、および手順書具体度の欄が設けられている。手順書IDの欄には、手順書IDが設定される。作業項目名の欄には、手順書の作業項目名が設定される。手順書具体度の欄には、手順書に記載された操作手順の具体度を表す数値(手順書具体度)が設定される。
図6は、具体度情報記憶部の一例を示す図である。図6の例では、具体度情報記憶部130に、テーブル形式の手順書具体度情報131が格納されている。手順書具体度情報131には、手順書ID、作業項目名、および手順書具体度の欄が設けられている。手順書IDの欄には、手順書IDが設定される。作業項目名の欄には、手順書の作業項目名が設定される。手順書具体度の欄には、手順書に記載された操作手順の具体度を表す数値(手順書具体度)が設定される。
次に、手順書評価部120の機能を詳細に説明する。
図7は、手順書評価部の機能の一例を示す図である。手順書評価部120は、記憶部121、操作抽出部122、操作分布取得部123、操作重み算出部124、手順書操作重み量算出部125、標準操作重み量算出部126、および手順書具体性評価部127を有する。
図7は、手順書評価部の機能の一例を示す図である。手順書評価部120は、記憶部121、操作抽出部122、操作分布取得部123、操作重み算出部124、手順書操作重み量算出部125、標準操作重み量算出部126、および手順書具体性評価部127を有する。
記憶部121は、手順書の評価過程で使用する情報を記憶する。例えば記憶部121には、手順書操作情報121a、操作分布情報121b、操作重み情報121c、手順書操作重み量情報121d、および標準操作重み量情報121eが記憶される。手順書操作情報121aは、手順書DB110から読み出した手順書の内容を管理する情報である。操作分布情報121bは、手順書の操作手順内に出現する操作表現(語句)が、作業項目と操作手順とのそれぞれに、どの程度の割合で出現するのかを示す情報である。操作重み情報121cは、手順書の操作手順内に出現する各操作表現の具体性を表す値(操作重み値)を示す情報である。手順書操作重み量情報121dは、複数の手順書それぞれの、操作手順に含まれる操作表現の操作重み値を合計した値(手順書操作重み量)を示す情報である。標準操作重み量情報121eは、各操作表現について、その操作表現を含む手順書の手順書操作重み量の平均値(標準操作重み量)を示す情報である。
操作抽出部122は、手順書DB110から手順書を抽出し、手順書操作情報121aを生成する。操作抽出部122は、生成した手順書操作情報121aを記憶部121に格納する。
操作分布取得部123は、手順書操作情報121aに基づいて、各操作表現の出現する手順書の割合(分布状況)を取得し、操作分布情報121bを生成する。操作分布取得部123は、生成した操作分布情報121bを記憶部121に格納する。
操作重み算出部124は、操作分布情報121bに基づいて、各操作表現の操作重み値を算出し、操作重み情報121cを生成する。操作重み算出部124は、生成した操作重み情報121cを記憶部121に格納する。
手順書操作重み量算出部125は、操作重み情報121cに基づいて、手順書ごとの手順書操作重み量を算出し、手順書操作重み量情報121dを生成する。手順書操作重み量算出部125は、生成した手順書操作重み量情報121dを記憶部121に格納する。
標準操作重み量算出部126は、手順書操作重み量情報121dに基づいて、操作表現ごとの標準操作重み量を算出し、標準操作重み量情報121eを生成する。標準操作重み量算出部126は、生成した標準操作重み量情報121eを記憶部121に格納する。
手順書具体性評価部127は、手順書操作重み量情報121dと標準操作重み量情報121eとに基づいて、手順書ごとの具体度を計算し、手順書具体度情報131を生成する。手順書具体性評価部127は、生成した手順書具体度情報131を、具体度情報記憶部130に格納する。
次に、手順書評価部120における手順書評価処理を詳細に説明する。
図8は、手順書評価処理手順の一例を示す図である。図8に示すように、最初に、操作抽出部122により、操作手順抽出処理が実行される(ステップS101)。次に、操作分布取得部123により、操作分布取得処理が実行される(ステップS102)。次に操作重み算出部124により、操作重み算出処理が実行される(ステップS103)。次に、手順書操作重み量算出部125により、手順書操作重み量算出処理が実行される(ステップS104)。次に、標準操作重み量算出部126により、標準操作重み量算出処理が実行される(ステップS105)。次に、手順書具体性評価部127により、手順書具体性評価処理が実行される(ステップS106)。
図8は、手順書評価処理手順の一例を示す図である。図8に示すように、最初に、操作抽出部122により、操作手順抽出処理が実行される(ステップS101)。次に、操作分布取得部123により、操作分布取得処理が実行される(ステップS102)。次に操作重み算出部124により、操作重み算出処理が実行される(ステップS103)。次に、手順書操作重み量算出部125により、手順書操作重み量算出処理が実行される(ステップS104)。次に、標準操作重み量算出部126により、標準操作重み量算出処理が実行される(ステップS105)。次に、手順書具体性評価部127により、手順書具体性評価処理が実行される(ステップS106)。
次に、図8に示す各ステップの処理を詳細に説明する。まず図9、図10を参照して操作手順抽出処理を説明する。
図9は、操作手順抽出処理の一例を示す図である。操作抽出部122は、手順書DB110から複数の手順書111a,111b,111c,・・・を読み出す。そして操作抽出部122は、複数の手順書111a,111b,111c,・・・それぞれの内容を解析し、作業項目名と操作手順とを抽出する。そして操作抽出部122は、抽出結果に基づいて、手順書操作情報121aを生成する。
図9は、操作手順抽出処理の一例を示す図である。操作抽出部122は、手順書DB110から複数の手順書111a,111b,111c,・・・を読み出す。そして操作抽出部122は、複数の手順書111a,111b,111c,・・・それぞれの内容を解析し、作業項目名と操作手順とを抽出する。そして操作抽出部122は、抽出結果に基づいて、手順書操作情報121aを生成する。
手順書操作情報121aには、手順書ID、作業項目名、および操作手順の欄が設けられている。手順書IDの欄には、手順書に付与されている手順書IDが設定される。作業項目名の欄には、手順書の作業項目名が設定される。操作手順の欄には、手順書に記載されている操作手順が設定される。
図10は、操作手順抽出処理の一例を示す図である。以下、図10に示す処理をステップ番号に沿って説明する。
[ステップS111]操作抽出部122は、入力する手順書の手順書IDを1つ選択する。入力する手順書の手順書IDは、例えば、評価指示の入力時に指定される。例えば手順書DB110内のすべての手順書が、入力する手順書と指定された場合、操作抽出部122は、手順書DB110内のすべての手順書それぞれの手順書IDを1つずつ選択する。
[ステップS111]操作抽出部122は、入力する手順書の手順書IDを1つ選択する。入力する手順書の手順書IDは、例えば、評価指示の入力時に指定される。例えば手順書DB110内のすべての手順書が、入力する手順書と指定された場合、操作抽出部122は、手順書DB110内のすべての手順書それぞれの手順書IDを1つずつ選択する。
[ステップS112]操作抽出部122は、選択した手順書IDの手順書を、手順書DB110から読み込む。
[ステップS113]操作抽出部122は、読み込んだ手順書を解析し、作業項目名と操作手順とを取得する。例えば操作抽出部122は、手順書から「作業項目名:」という文字列を検索する。そして操作抽出部122は、検出した文字列に続く文字列(改行があるまで)を、その手順書の作業項目名として取得する。また操作抽出部122は、手順書から「操作手順:」という文字列を取得する。そして操作抽出部122は、検出した文字列以降のすべての行の文字列を、操作手順として取得する。
[ステップS113]操作抽出部122は、読み込んだ手順書を解析し、作業項目名と操作手順とを取得する。例えば操作抽出部122は、手順書から「作業項目名:」という文字列を検索する。そして操作抽出部122は、検出した文字列に続く文字列(改行があるまで)を、その手順書の作業項目名として取得する。また操作抽出部122は、手順書から「操作手順:」という文字列を取得する。そして操作抽出部122は、検出した文字列以降のすべての行の文字列を、操作手順として取得する。
[ステップS114]操作抽出部122は、選択した手順書IDと、抽出した作業項目名および操作手順とを関連付けて、手順書操作情報121aに記録する。
[ステップS115]操作抽出部122は、すべての手順書IDについて処理が完了したか否かを判断する。すべての手順書IDで処理が完了した場合、操作手順抽出処理を終了する。未処理の手順書IDがある場合、処理がステップS111に進められる。
[ステップS115]操作抽出部122は、すべての手順書IDについて処理が完了したか否かを判断する。すべての手順書IDで処理が完了した場合、操作手順抽出処理を終了する。未処理の手順書IDがある場合、処理がステップS111に進められる。
このようにして、操作手順抽出処理が実行され、手順書操作情報121aが生成される。
次に、図11〜図13を参照し、操作分布取得処理について説明する。
次に、図11〜図13を参照し、操作分布取得処理について説明する。
図11は、操作分布取得処理の一例を示す図である。操作分布取得部123は、手順書操作情報121aに基づき、各手順書の作業項目名から、作業項目分布度数を取得する。例えば操作分布取得部123は、作業項目名に含まれる文字列の形態素解析を行い、以下の品詞パターンにあてはまる表現を操作表現として抽出する。
・動詞(「する」「します」などは省く)
・名詞+「で(手段を表す格助詞)」+動詞
例えば「ログ取得」から「取得」が抽出され、「ジョブ設定変更」から「変更」が抽出される。操作分布取得部123は、抽出した操作表現ごとに、抽出した回数を計数し、作業項目分布度数とする。そして操作分布取得部123は、抽出された操作表現の総数に対する操作表現の作業項目分布度数の比率を、その操作表現の作業項目分布比率とする。
・動詞(「する」「します」などは省く)
・名詞+「で(手段を表す格助詞)」+動詞
例えば「ログ取得」から「取得」が抽出され、「ジョブ設定変更」から「変更」が抽出される。操作分布取得部123は、抽出した操作表現ごとに、抽出した回数を計数し、作業項目分布度数とする。そして操作分布取得部123は、抽出された操作表現の総数に対する操作表現の作業項目分布度数の比率を、その操作表現の作業項目分布比率とする。
また操作分布取得部123は、手順書操作情報121aに基づき、各手順書の操作手順から、操作手順分布度数を取得する。例えば操作分布取得部123は、操作手順に含まれる文字列の形態素解析を行い、操作表現を示す動詞を抽出する。例えば「サーバからログファイルをコピーします。」から「コピー」が抽出され、「変更結果を確認します。」から「確認」が抽出される。操作分布取得部123は、「メールで送信」というように、操作の手段を示す語句を含めて、操作表現として抽出することもできる。操作分布取得部123は、抽出した操作表現ごとに、抽出した回数を計数し、操作手順分布度数とする。そして操作分布取得部123は、抽出された操作表現の総数に対する操作表現の操作手順分布度数の比率を、その操作表現の操作手順分布比率とする。
操作分布取得部123は、得られた情報を用いて、操作分布情報121bを生成する。操作分布情報121bには、例えば操作表現、作業項目分布度数、作業項目分布比率、操作手順分布度数、および操作手順分布比率の欄が設けられている。操作表現の欄には、抽出された操作表現を示す文字列が設定される。作業項目分布度数の欄には、対応する操作表現の作業項目分布度数が設定される。作業項目分布比率の欄には、対応する操作項目の作業項目分布比率が設定される。操作手順分布度数の欄には、対応する操作項目の操作手順分布度数が設定される。操作手順分布比率の欄には、対応する操作項目の操作手順分布比率が設定される。
図12は、操作分布取得処理の手順の一例を示すフローチャートの前半である。以下、図12に示す処理をステップ番号に沿って説明する。
[ステップS121]操作分布取得部123は、手順書操作情報121aから手順書IDを1つ選択する。
[ステップS121]操作分布取得部123は、手順書操作情報121aから手順書IDを1つ選択する。
[ステップS122]操作分布取得部123は、選択した手順書IDの作業項目名を手順書操作情報121aから読み込み、解析する。例えば操作分布取得部123は、読み込んだ操作項目の形態素解析を行う。そして操作分布取得部123は、解析結果に基づいて、操作表現を取得する。このとき、1または複数の操作表現が取得される。
[ステップS123]操作分布取得部123は、ステップS122で取得した操作表現を1つ選択する。
[ステップS124]操作分布取得部123は、選択した操作表現が、操作分布情報121bに登録済みか否かを判断する。例えば操作分布取得部123は、操作分布情報121bの操作表現の欄から、ステップS123で選択した操作表現を検索する。操作分布取得部123は、該当する操作表現がある場合、登録済みと判断する。登録済みであれば、処理がステップS126に進められる。登録済みでなければ、処理がステップS125に進められる。
[ステップS124]操作分布取得部123は、選択した操作表現が、操作分布情報121bに登録済みか否かを判断する。例えば操作分布取得部123は、操作分布情報121bの操作表現の欄から、ステップS123で選択した操作表現を検索する。操作分布取得部123は、該当する操作表現がある場合、登録済みと判断する。登録済みであれば、処理がステップS126に進められる。登録済みでなければ、処理がステップS125に進められる。
[ステップS125]操作分布取得部123は、操作分布情報121bに新たなレコードを追加し、そのレコードの操作表現の欄に、ステップS123で選択した操作表現を設定する。また操作分布取得部123は、新たに追加したレコードの作業項目分布度数に「1」を設定する。その後、処理がステップS127に進められる。
[ステップS126]操作分布取得部123は、選択した操作表現に対応するレコードの作業項目分布度数に「1」を加える。
[ステップS127]操作分布取得部123は、ステップS122で取得したすべての操作表現に対して処理を完了したか否かを判断する。すべての操作表現に対する処理が完了した場合、処理がステップS131(図13参照)に進められる。未処理の操作表現がある場合、処理がステップS123に進められる。
[ステップS127]操作分布取得部123は、ステップS122で取得したすべての操作表現に対して処理を完了したか否かを判断する。すべての操作表現に対する処理が完了した場合、処理がステップS131(図13参照)に進められる。未処理の操作表現がある場合、処理がステップS123に進められる。
図13は、操作分布取得処理の手順の一例を示すフローチャートの後半である。以下、図13に示す処理をステップ番号に沿って説明する。
[ステップS131]操作分布取得部123は、ステップS121で選択した手順書IDの操作手順を手順書操作情報121aから読み込み、解析する。例えば操作分布取得部123は、読み込んだ操作手順の形態素解析を行う。そして操作分布取得部123は、解析結果に基づいて、操作表現を取得する。このとき、1または複数の操作表現が取得される。
[ステップS131]操作分布取得部123は、ステップS121で選択した手順書IDの操作手順を手順書操作情報121aから読み込み、解析する。例えば操作分布取得部123は、読み込んだ操作手順の形態素解析を行う。そして操作分布取得部123は、解析結果に基づいて、操作表現を取得する。このとき、1または複数の操作表現が取得される。
[ステップS132]操作分布取得部123は、ステップS131で取得した操作表現を1つ選択する。
[ステップS133]操作分布取得部123は、選択した操作表現が、操作分布情報121bに登録済みか否かを判断する。登録済みであれば、処理がステップS135に進められる。登録済みでなければ、処理がステップS134に進められる。
[ステップS133]操作分布取得部123は、選択した操作表現が、操作分布情報121bに登録済みか否かを判断する。登録済みであれば、処理がステップS135に進められる。登録済みでなければ、処理がステップS134に進められる。
[ステップS134]操作分布取得部123は、操作分布情報121bに新たなレコードを追加し、そのレコードの操作表現の欄に、ステップS132で選択した操作表現を設定する。また操作分布取得部123は、新たに追加したレコードの操作手順分布度数に「1」を設定する。その後、処理がステップS136に進められる。
[ステップS135]操作分布取得部123は、選択した操作表現に対応するレコードの操作手順分布度数に「1」を加える。
[ステップS136]操作分布取得部123は、ステップS131で取得したすべての操作表現に対して処理を完了したか否かを判断する。すべての操作表現に対する処理が完了した場合、処理がステップS137に進められる。未処理の操作表現がある場合、処理がステップS132に進められる。
[ステップS136]操作分布取得部123は、ステップS131で取得したすべての操作表現に対して処理を完了したか否かを判断する。すべての操作表現に対する処理が完了した場合、処理がステップS137に進められる。未処理の操作表現がある場合、処理がステップS132に進められる。
[ステップS137]操作分布取得部123は、手順書操作情報121aに設定されているすべての手順書IDに対して、処理が完了したか否かを判断する。すべての手順書IDに対する処理が完了していれば、処理がステップS138に進められる。未処理の手順書IDがあれば、処理がステップS121(図12参照)に進められる。
[ステップS138]操作分布取得部123は、各操作表現の作業項目分布度数を合計する。また操作分布取得部123は、各操作表現の操作手順分布度数を合計する。
[ステップS139]操作分布取得部123は、各操作項目の、作業項目分布比率と操作手順分布比率とを算出し、操作分布情報121bに設定する。
[ステップS139]操作分布取得部123は、各操作項目の、作業項目分布比率と操作手順分布比率とを算出し、操作分布情報121bに設定する。
例えば操作分布取得部123は、操作分布情報121bに設定されている操作表現を順番に選択する。操作分布取得部123は、選択した操作表現の作業項目分布度数を、全操作表現の作業項目分布度数の合計で除算する。操作分布取得部123は、除算結果を、選択した操作表現の作業項目分布比率として、操作分布情報121bに設定する。また操作分布取得部123は、選択した操作表現の操作手順分布度数を、全操作表現の操作手順分布度数の合計で除算する。操作分布取得部123は、除算結果を、選択した操作表現の操作手順分布比率として、操作分布情報121bに設定する。その後、操作分布取得処理が終了する。
次に、図14、図15を参照し、操作重み算出処理について詳細に説明する。
図14は、操作重み算出処理の一例を示す図である。操作重み算出部124は、操作分布情報121bに基づいて、各操作表現の操作重み値を算出する。例えば操作重み算出部124は、以下の式により操作重み値を算出する。
(操作重み値)=(操作手順分布比率)/(作業項目分布比率)
この操作重み値は、操作手順に登場する頻度が高い操作表現ほど、値が高くなる。また操作重み値は、作業項目名に登場する頻度が高い操作表現ほど、値が低くなる。操作重み値が高い操作表現ほど、具体性が高いと評価できる。すなわち、作業項目名と操作手順とを比較した場合、作業項目名は、運用操作全体を表しており、抽象的な用語が使用されることが多い。それに対して、操作手順は、その操作手順に基づいて作業者が作業を実施することが目的であり、具体的な用語が使用されていることが多い。そこで第2の実施の形態では、作業項目名よりも操作表現で多く使用されている操作表現ほど、操作重み値を高くしている。
図14は、操作重み算出処理の一例を示す図である。操作重み算出部124は、操作分布情報121bに基づいて、各操作表現の操作重み値を算出する。例えば操作重み算出部124は、以下の式により操作重み値を算出する。
(操作重み値)=(操作手順分布比率)/(作業項目分布比率)
この操作重み値は、操作手順に登場する頻度が高い操作表現ほど、値が高くなる。また操作重み値は、作業項目名に登場する頻度が高い操作表現ほど、値が低くなる。操作重み値が高い操作表現ほど、具体性が高いと評価できる。すなわち、作業項目名と操作手順とを比較した場合、作業項目名は、運用操作全体を表しており、抽象的な用語が使用されることが多い。それに対して、操作手順は、その操作手順に基づいて作業者が作業を実施することが目的であり、具体的な用語が使用されていることが多い。そこで第2の実施の形態では、作業項目名よりも操作表現で多く使用されている操作表現ほど、操作重み値を高くしている。
操作重み算出部124は、算出した操作重み値により、操作重み情報121cを生成する。操作重み情報121cには、操作表現と操作重み値との欄が設けられている。操作表現の欄には、手順書から抽出された操作表現が設定される。操作重み値の欄には、対応する操作表現の重み値が設定される。
図15は、操作重み算出処理の手順の一例を示すフローチャートである。以下、図15に示す処理をステップ番号に沿って説明する。
[ステップS141]操作重み算出部124は、操作分布情報121bから操作表現を1つ選択する。
[ステップS141]操作重み算出部124は、操作分布情報121bから操作表現を1つ選択する。
[ステップS142]操作重み算出部124は、操作分布情報121bから、選択した操作表現の作業項目分布比率と操作手順分布比率とを読み込む。
[ステップS143]操作重み算出部124は、操作重み情報121cに新たなレコードを追加し、追加したレコードの操作表現の欄に、選択した操作表現を設定する。
[ステップS143]操作重み算出部124は、操作重み情報121cに新たなレコードを追加し、追加したレコードの操作表現の欄に、選択した操作表現を設定する。
[ステップS144]操作重み算出部124は、ステップS142で読み込んだ作業項目分布比率が「0」より大きいか否かを判断する。作業項目分布比率が「0」より大きい場合、処理がステップS145に進められる。作業項目分布比率が「0」であれば、処理がステップS146に進められる。
[ステップS145]操作重み算出部124は、ステップS142で読み込んだ作業項目分布比率と操作手順分布比率とにより、(操作手順分布比率)/(作業項目分布比率)を計算する。そして操作重み算出部124は、計算結果を操作重み値として、選択した操作表現に対応付けて操作重み情報121cに記録する。
[ステップS146]操作重み算出部124は、操作分布情報121b内のすべての操作表現に対してステップS141〜S145の処理が完了したか否かを判断する。すべての操作表現に対して処理が完了していれば、処理がステップS147に進められる。未処理の操作表現があれば、処理がステップS141に進められる。
[ステップS147]操作重み算出部124は、操作重み値が未記録の操作表現があるか否かを判断する。ステップS144の判断において作業項目分布比率が「0」と判断された操作表現は、操作重み値が未記録である。該当する操作表現がある場合、処理がステップS148に進められる。該当する操作表現がない場合、操作重み値算出処理が終了する。
[ステップS148]操作重み算出部124は、操作重み情報121cに設定されている操作重み値の最大値を取得する。そして操作重み算出部124は、取得した最大値を、操作重み値が未記録の操作表現に対する操作重み値の暫定値として、操作重み情報121cに設定する。
このようにして、各操作表現に対して操作重み値が設定される。
次に、図16、図17を参照して、手順書操作重み量算出処理について詳細に説明する。
次に、図16、図17を参照して、手順書操作重み量算出処理について詳細に説明する。
図16は、手順書操作重み量の算出例を示す図である。手順書操作重み量算出部125は、手順書操作情報121aに示される手順書IDごとに、操作手順内の操作表現を抽出する。そして手順書操作重み量算出部125は、手順書IDごとに、操作手順から抽出した操作表現それぞれの操作重み値を合計し、合計値を、手順書IDに対応する手順書操作重み量として、手順書操作重み量情報121dに設定する。
なお、操作表現それぞれの操作重み値の合計を、操作手順における操作ステップ数で除算した値を、手順書操作重み量としてもよい。操作ステップ数は、例えば操作手順に示されるステップ番号(各行の先頭の数字)の最大値である。また操作手順の記述の行数を操作ステップ数としてもよい。図16の手順書ID「1」の例であれば、操作ステップ数は「3」である。すると操作表現それぞれの操作重み値の合計を操作ステップ数で除算した値は、「5.5/3=1.83」となる。操作重み値の合計を操作ステップ数で除算することで、1ステップ当たりの操作重み量が得られる。この1ステップ当たりの操作重み量を、手順書操作重み量とすることで、手順書操作重み量が操作手順の長さの影響を受けることを抑止できる。
手順書操作重み量情報121dには、手順書ID、操作表現、および手順書操作重み量の欄が設けられている。手順書IDの欄には、手順書操作情報121aに含まれる手順書IDが設定される。操作表現の欄には、手順書IDに対応する操作手順に含まれる操作表現が設定される。手順書操作重み量の欄には、対応する操作表現それぞれの操作重み値の合計(手順書操作重み量)が設定される。
図17は、手順書操作重み量の算出手順の一例を示すフローチャートである。以下、図17に示す処理をステップ番号に沿って説明する。
[ステップS151]手順書操作重み量算出部125は、手順書操作情報121aから手順書IDを1つ選択する。
[ステップS151]手順書操作重み量算出部125は、手順書操作情報121aから手順書IDを1つ選択する。
[ステップS152]手順書操作重み量算出部125は、選択した手順書IDの操作手順を、手順書操作情報121aから読み込み、解析する。そして手順書操作重み量算出部125は、読み込んだ操作手順内の操作表現を取得する。
[ステップS153]手順書操作重み量算出部125は、取得した操作表現を、手順書操作重み量情報121dに記録する。
[ステップS154]手順書操作重み量算出部125は、取得した操作表現それぞれの操作重み値を、操作重み情報121cから読み取る。そして手順書操作重み量算出部125は、取得した操作表現それぞれの操作重み値を積算する。
[ステップS154]手順書操作重み量算出部125は、取得した操作表現それぞれの操作重み値を、操作重み情報121cから読み取る。そして手順書操作重み量算出部125は、取得した操作表現それぞれの操作重み値を積算する。
[ステップS155]手順書操作重み量算出部125は、ステップS154における積算値を、手順書操作重み量として、手順書操作重み量情報121dに記録する。
[ステップS156]手順書操作重み量算出部125は、すべての手順書IDについて処理が完了したか否かを判断する。すべての手順書IDについて処理が完了した場合、手順書操作重み量算出処理が終了する。未処理の手順書IDがある場合、処理がステップS151に進められる。
[ステップS156]手順書操作重み量算出部125は、すべての手順書IDについて処理が完了したか否かを判断する。すべての手順書IDについて処理が完了した場合、手順書操作重み量算出処理が終了する。未処理の手順書IDがある場合、処理がステップS151に進められる。
このようにして、手順書IDごとの手順書操作重み量が算出される。手順書操作重み量は、具体性(操作重み値)が高い操作表現が操作手順内に多く含まれるほど高い値となる。
次に、図18、図19を参照し、標準操作重み量算出処理について説明する。
図18は、標準操作重み量の算出例を示す図である。標準操作重み量算出部126は、操作表現ごとに、その操作表現を操作手順に含む手順書IDの手順書操作重み量の平均を算出する。算出された平均が、その操作表現の標準操作重み量となる。例えば操作表現「コピー」を操作手順に含む手順書の手順書IDは、「1」と「3」である。手順書ID「1」の手順書操作重み量は「5.5」であり、手順書ID「3」の手順書操作重み量は「3.5」である。すると、操作表現「コピー」の標準操作重み量は「4.5」となる。
図18は、標準操作重み量の算出例を示す図である。標準操作重み量算出部126は、操作表現ごとに、その操作表現を操作手順に含む手順書IDの手順書操作重み量の平均を算出する。算出された平均が、その操作表現の標準操作重み量となる。例えば操作表現「コピー」を操作手順に含む手順書の手順書IDは、「1」と「3」である。手順書ID「1」の手順書操作重み量は「5.5」であり、手順書ID「3」の手順書操作重み量は「3.5」である。すると、操作表現「コピー」の標準操作重み量は「4.5」となる。
図19は、標準操作重み量算出処理の手順の一例を示すフローチャートである。以下、図19に示す処理をステップ番号に沿って説明する。
[ステップS161]標準操作重み量算出部126は、操作分布情報121bから操作表現を1つ選択する。
[ステップS161]標準操作重み量算出部126は、操作分布情報121bから操作表現を1つ選択する。
[ステップS162]標準操作重み量算出部126は、選択した操作表現を操作手順に含む手順書の手順書IDを、手順書操作重み量情報121dから検索する。そして標準操作重み量算出部126は、選択した操作表現に関連付けて、該当する手順書IDを標準操作重み量情報121eに新たなレコードとして記録する。
[ステップS163]標準操作重み量算出部126は、記録した手順書IDそれぞれの手順書操作重み量を積算する。
[ステップS164]標準操作重み量算出部126は、手順書操作重み量の積算値を、手順書IDの数で除算し、手順書操作重み量の平均値を算出する。
[ステップS164]標準操作重み量算出部126は、手順書操作重み量の積算値を、手順書IDの数で除算し、手順書操作重み量の平均値を算出する。
[ステップS165]標準操作重み量算出部126は、算出した平均値を、選択した操作表現に関連付けて、標準操作重み量として標準操作重み量情報121eに記録する。
[ステップS166]標準操作重み量算出部126は、すべての操作表現に対して処理が完了したか否かを判断する。すべての操作表現に対して処理が完了した場合、標準操作重み量算出処理が終了する。未処理の操作表現があれば、処理がステップS161に進められる。
[ステップS166]標準操作重み量算出部126は、すべての操作表現に対して処理が完了したか否かを判断する。すべての操作表現に対して処理が完了した場合、標準操作重み量算出処理が終了する。未処理の操作表現があれば、処理がステップS161に進められる。
このようにして各操作表現の標準操作重み量が算出される。標準操作重み量は、操作表現が、どの程度具体性のある手順書に使用されているのかを示している。すなわち、操作手順の具体性が高い手順書に多く使用されている操作表現ほど、標準操作重み量が大きくなる。
以下、図20、図21を参照し、手順書具体性評価処理について詳細に説明する。
図20は、手順書の評価例を示す図である。手順書具体性評価部127は、手順書の具体度を、手順書操作重み量の、標準操作重み量の最大値に対する比率として算出する。式で表すと以下の通りである。
(手順書具体度)=(手順書操作重み量)/(標準操作重み量の最大値)
標準操作重み量の最大値は、計算対象の手順書の操作手順に含まれる操作表現のうち、標準操作重み量が最大の操作表現についての標準操作重み量である。
図20は、手順書の評価例を示す図である。手順書具体性評価部127は、手順書の具体度を、手順書操作重み量の、標準操作重み量の最大値に対する比率として算出する。式で表すと以下の通りである。
(手順書具体度)=(手順書操作重み量)/(標準操作重み量の最大値)
標準操作重み量の最大値は、計算対象の手順書の操作手順に含まれる操作表現のうち、標準操作重み量が最大の操作表現についての標準操作重み量である。
例えば手順書具体性評価部127は、手順書操作重み量情報121dと標準操作重み量情報121eとを参照して、手順書ID「1」の手順書111aの操作手順に含まれる操作表現のうち、標準操作重み量が最も大きいのは、操作表現「コピー」であると判断する。操作表現「コピー」の標準操作重み量は「4.5」である。他方、手順書ID「1」の手順書の手順書操作重み量は「5.5」である。すると、「5.5/4.5=1.22」が、手順書ID「1」の手順書111aの手順書具体度となる。
また、例えば手順書ID「3」の手順書111cの操作手順に含まれる操作表現のうち、標準操作重み量が最も大きいのは、操作表現「コピー」であると判断する。操作表現「コピー」の標準操作重み量は「4.5」である。他方、手順書ID「3」の手順書111cの手順書操作重み量は「3.5」である。すると、「3.5/4.5=0.78」が、手順書ID「3」の手順書111cの手順書具体度となる。
手順書の操作手順内の操作表現のうち、標準操作重み量が最も高い操作表現は、手順書操作重み量の高い手順書において多く使用されている操作表現である。標準操作重み量が最も高い操作表現の標準操作重み量に比べ、その操作表現を使用している手順書の手順書操作重み量が大きけいほど、その手順書は具体性が高いと考えられる。
図21は、手順書具体性評価処理の手順の一例を示すフローチャートである。以下、図21に示す処理をステップ番号に沿って説明する。
[ステップS171]手順書具体性評価部127は、手順書操作重み量情報121dから手順書IDを1つ選択する。
[ステップS171]手順書具体性評価部127は、手順書操作重み量情報121dから手順書IDを1つ選択する。
[ステップS172]手順書具体性評価部127は、手順書操作重み量情報121dから、選択した手順書IDの操作手順に含まれる操作表現を読み込む。
[ステップS173]手順書具体性評価部127は、操作手順に含まれる操作表現それぞれの標準操作重み量を、標準操作重み量情報121eから取得する。手順書具体性評価部127は、取得した標準操作重み量を比較し、標準操作重み量が最大の操作表現を特定する。そして手順書具体性評価部127は、特定した操作表現の標準操作重み量を記憶部121に記憶する。
[ステップS173]手順書具体性評価部127は、操作手順に含まれる操作表現それぞれの標準操作重み量を、標準操作重み量情報121eから取得する。手順書具体性評価部127は、取得した標準操作重み量を比較し、標準操作重み量が最大の操作表現を特定する。そして手順書具体性評価部127は、特定した操作表現の標準操作重み量を記憶部121に記憶する。
[ステップS174]手順書具体性評価部127は、選択した手順書IDに対応する手順書の手順書操作重み量を、手順書操作重み量情報121dから取得し、記憶部121に記憶する。
[ステップS175]手順書具体性評価部127は、ステップS174で記憶した手順書操作重み量を、ステップS173で記憶した標準操作重み量で除算し、手順書具体度を算出する。
[ステップS176]手順書具体性評価部127は、すべての手順書IDに対して処理が完了したか否かを判断する。すべての手順書IDに対して処理が完了した場合、手順書具体性評価処理が終了する。未処理の手順書IDがある場合、処理がステップS171に進められる。
このようにして、入力されたすべての手順書について、手順書具体度が算出される。手順書の自動化を図る場合、手順書具体度が高い手順書に基づいてスクリプトを作成すれば、手順書に曖昧性が少なく、正しいスクリプトを作成しやすい。例えば作業項目名により手順書を検索し、該当する手順書の手順書具体度を比較することで、同様な作業に関する手順書のうち、作業具体度が高い手順書を迅速に見つけ出すことができる。
図22は、手順書の検索結果の一例を示す図である。図22には、「ログ」を検索キーワードとして、手順書の作業項目名を対象とした検索の検索結果31が示されている。図22の例では、「ログ取得」や「ログ採取」といった作業項目名を有する手順書の手順書具体度が、検索結果31に示されている。この検索結果31を参照すれば、ログ取得に関する作業の手順書としては、手順書ID「1」の手順書の操作手順が最も具体的であることが分かる。
手順書ID「1」の手順書の操作手順は具体的であるため、スクリプトを自動生成できる可能性が高い。
図23は、手順書具体度が高い手順書に基づくスクリプト生成例を示す図である。手順書111aの第1ステップは、スクリプト41において、ディレクトリの作成コマンドに置き換えられている。手順書111aの第2ステップは、スクリプト41において、サーバからそのディレクトリに、ログファイルをコピーするコマンドに置き換えられている。手順書111aの第3ステップは、スクリプト41において、作業完了した旨のメッセージをメールで送信するコマンドに置き換えられている。
図23は、手順書具体度が高い手順書に基づくスクリプト生成例を示す図である。手順書111aの第1ステップは、スクリプト41において、ディレクトリの作成コマンドに置き換えられている。手順書111aの第2ステップは、スクリプト41において、サーバからそのディレクトリに、ログファイルをコピーするコマンドに置き換えられている。手順書111aの第3ステップは、スクリプト41において、作業完了した旨のメッセージをメールで送信するコマンドに置き換えられている。
このように、手順書111a内の操作手順に含まれるすべての操作ステップは、コマンドに置き換えることができ、スクリプト41を完成させることができる。他方、手順書具体度が低い手順書では、スクリプトを自動生成しようとしても、曖昧性が高すぎ、置き換え先のコマンドを決定できない可能性がある。
図24は、手順書具体度が低い手順書に基づくスクリプト生成例を示す図である。手順書111cの第1ステップの「ディレクトリの準備」は、無条件で新たにディレクトリを作成するのか、所定のディレクトリの有無を確認し、該当するディレクトリがない場合にのみディレクトリを作成するのかの区別がつかない。そのため手順書111cの第1ステップは、スクリプト42作成時に、コマンドへの変換に失敗している。また手順書111cの第3ステップは、「作業完了の連絡」における連絡手段が特定できない。そのため手順書111cの第3ステップは、スクリプト42作成時に、コマンドへの変換に失敗している。
図24に示すようにスクリプト42の自動生成に失敗すると、作業者自身が、スクリプト42にコマンドを設定してスクリプト42を完成させるか、コマンドへ変換できなかった操作ステップについて、手動で実行することとなる。
以上説明したように、第2の実施の形態によれば、スクリプトの自動生成に有効な手順書を特定することができ、手順書に対応するスクリプトの生成が容易となる。手順書をスクリプトに置き換えることができれば、運用操作の自動化が可能となり、システム運用の効率化が図れる。
〔第3の実施の形態〕
次に第3の実施の形態について説明する。第3の実施の形態は、手順書の具体性を繰り返し評価する際に、手順書具体度の低い手順書を、次の手順書評価時の入力から除外することで、手順書評価の信頼性を向上させるものである。
次に第3の実施の形態について説明する。第3の実施の形態は、手順書の具体性を繰り返し評価する際に、手順書具体度の低い手順書を、次の手順書評価時の入力から除外することで、手順書評価の信頼性を向上させるものである。
すなわち、手順書具体度は、入力された手順書間での相対値となる。そのため、仮に対象運用手順書の具体性が全体的に低い場合、具体度の判定精度が低くなる。そこで第3の実施の形態では、具体度の判定精度を向上させるため、新たな手順書の具体性評価を行う際に、以前の具体性評価で具体性が高いと分かっている手順書と、新たな手順書とにより、手順書の具体性を評価する。
以下、第3の実施の形態における、第2の実施の形態との相違点を説明する。
図25は、第3の実施の形態の手順書評価部の機能を示す図である。第3の実施の形態の手順書評価部120aは、第2の実施の形態と同様の機能に加え、手順書選別部128を有している。また記憶部121には、具体度上位手順書情報121fが格納されている。
図25は、第3の実施の形態の手順書評価部の機能を示す図である。第3の実施の形態の手順書評価部120aは、第2の実施の形態と同様の機能に加え、手順書選別部128を有している。また記憶部121には、具体度上位手順書情報121fが格納されている。
手順書選別部128は、手順書具体性評価部127により算出された手順書具体度に基づいて、評価した手順書のち、手順書具体度が高い所定数の手順書を、上位手順書として選別する。例えば手順書選別部128は、手順書具体度が上位2分の1の手順書を、上位手順書として選別する。手順書選別部128は、選別した上位手順書の手順書IDを含む具体度上位手順書情報121fを生成し、記憶部121に格納する。
また第3の実施の形態では、操作抽出部122は、新たに具体性の評価対象とする手順書が手順書DB110に格納されたとき、新たな手順書と、具体度上位手順書情報121fに示される手順書を、手順書DB110から取得する。そして操作抽出部122は、取得した手順書に基づいて、手順書操作情報121aを生成する。
図26は、具体度上位手順情報の一例を示す図である。具体度上位手順書情報121fには、具体度算出済み手順書に関する情報と、具体度上位の手順書に関する情報とが含まれている。具体度算出済み手順書に関する情報には、例えば、手順書具体度を算出した手順書IDの範囲が示される。具体度上位の手順書の情報には、例えば手順書選別部128で、上位手順書として選別された手順書の手順書IDが設定される。
次に、第3の実施の形態の手順書評価処理手順について説明する。
図27は、第3の実施の形態の手順書評価処理手順の一例を示すフローチャートである。図27に示す処理のうち、図8に示した第2の実施の形態の処理と異なるのは、操作手順抽出処理(ステップS101a)と、手順書選別処理(ステップS107)である。
図27は、第3の実施の形態の手順書評価処理手順の一例を示すフローチャートである。図27に示す処理のうち、図8に示した第2の実施の形態の処理と異なるのは、操作手順抽出処理(ステップS101a)と、手順書選別処理(ステップS107)である。
操作手順抽出処理(ステップS101a)では、操作抽出部122が、手順書DB110から、具体度上位手順書情報121fに上位手順書と設定されている手順書111d,111eと、新規の手順書111g,111fとを読み込む。そして操作抽出部122は、読み込んだ手順書に基づいて手順書操作情報121aを生成する。
手順書選別処理(ステップS107)では、手順書選別部128が、手順書具体性評価部127により算出された複数の手順書の手順書具体度に基づいて、具体度上位手順書情報121fを生成する。
図28は、第3の実施の形態における操作手順抽出処理の一例を示すフローチャートである。図28に示す処理のうち、ステップS202〜S205の処理は、図10に示す第2の実施の形態の操作手順抽出処理のステップS112〜S115と同じである。
ステップS201において操作抽出部122は、手順書DB110から、新たに作成された手順書、または具体度が上位の手順書の手順書IDを1つ選択する。例えば操作抽出部122は、具体度上位手順書情報121fに含まれる具体度算出済み手順書の手順書IDを取得し、取得した手順書IDに含まれない手順書IDを有する手順書DB110内の手順書を、新たに作成された手順書と判断する。また操作抽出部122は、具体度上位手順書情報121fに含まれる具体度上位の手順書の手順書IDが付与された手順書DB110内の手順書を、具体度が上位の手順書と判断する。
このように、具体度が上位の手順書と、新たな手順書とに基づいて操作手順抽出処理が行われる。すなわち、手順書DB110に格納されている手順書のうち、過去の具体性評価において具体性が低いと判断された手順書については、次回以降の具体性評価において、入力対象から除外される。
次に、手順書選別処理について詳細に説明する。
図29は、手順書選別処理の手順の一例を示すフローチャートである。以下、図29に示す処理をステップ番号に沿って説明する。
図29は、手順書選別処理の手順の一例を示すフローチャートである。以下、図29に示す処理をステップ番号に沿って説明する。
[ステップS211]手順書選別部128は、手順書具体度情報131に示されているすべての手順書について、手順書具体度情報131を読み込む。このとき手順書選別部128は、読み込んだ手順書具体度情報131に示される手順書IDを、具体度算出済み手順書に関する情報として、具体度上位手順書情報121fに設定する。
[ステップS212]手順書選別部128は、具体度が上位の手順書の手順書IDを、具体度上位手順書情報121fに出力する。例えば手順書選別部128は、読み込んだ手順書IDを、手順書具体度により降順にソートする。手順書選別部128は、上位から所定数の手順書IDを、具体度上位手順書情報121fに設定する。そして手順書選別部128は、具体度上位手順書情報121fを、記憶部121に格納する。
このように、第3の実施の形態では、手順書の具体性評価を繰り返し行う際に、前回の具体性評価において具体性が低いと判定された手順書につては、評価対象から除外される。これにより、具体性評価の対象となる手順書全体の具体性を高めることができる。その結果、具体性が低い手順書について、誤って具体性を高く評価してしまうことを抑止できる。
なお、第2・第3の実施の形態では、手順書具体度によって、手順書の操作手順の記述の具体性を評価しているが、例えば、手順書操作重み量によって手順書の操作手順の記述の具体性を評価してもよい。その場合、手順書操作重み量が大きい手順書ほど、高い評価となる。
以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の2以上の構成(特徴)を組み合わせたものであってもよい。
10 評価装置
11 記憶部
11a,11b,・・・ 手順書
12 演算部
11 記憶部
11a,11b,・・・ 手順書
12 演算部
Claims (7)
- コンピュータに、
管理対象システムに対して実施する作業に関する複数の手順書であり、前記作業の名称を示す作業名と前記管理対象システムに対する操作手順とが記述された前記複数の手順書から、操作を表現する複数の語句を抽出し、
前記複数の語句それぞれについて、前記複数の手順書の作業名における語句の出現数と、前記複数の手順書の操作手順における語句の出現数とを計数し、
前記複数の語句それぞれについて、前記複数の手順書の作業名における語句の出現数に応じた値と、前記複数の手順書の操作手順における該語句の出現数に応じた値とを比較して、該語句で表現される操作の具体性の度合いを示す重み値を決定し、
前記複数の手順書それぞれについて、手順書の操作手順に含まれる語句の重み値に基づいて、該操作手順の記述の具体性を評価する、
処理を実行させる評価プログラム。 - 前記重み値の決定では、前記複数の手順書の作業名における出現数が少ない語句ほど重み値を高くし、前記複数の手順書の操作手順における出現数が多い語句ほど重み値を高くする、
請求項1記載の評価プログラム。 - 前記重み値の決定では、
前記複数の語句それぞれを、決定対象の語句とし、
前記複数の手順書の作業名におけるすべての語句の出現数の合計に対する、前記複数の手順書の作業名における前記決定対象の語句の出現数の割合を示す第1の出現頻度と、前記複数の手順書の操作手順におけるすべての語句の出現数の合計に対する、前記複数の手順書の操作手順における前記決定対象の語句の出現数の割合を示す第2の出現頻度とを算出し、
前記第2の出現頻度を前記第1の出現頻度で除算した値を、前記決定対象の語句の重み値として算出する、
請求項2記載の評価プログラム。 - 前記具体性の評価では、
前記複数の語句それぞれを、標準操作重み量の算出対象の語句とし、
前記算出対象の語句が操作手順に出現する手順書を抽出し、抽出された抽出手順書の操作手順に含まれるすべての語句の重み値の合計の、前記抽出手順書間での平均を、前記算出対象の語句の標準操作重み量として算出し、
前記複数の手順書それぞれについて、手順書内の操作手順に含まれるすべての語句の重み値の合計を、該手順書の操作手順に出現する語句それぞれの標準操作重み量のうちの最大値で除算した値を、該手順書の操作手順の記述の具体性の高さを示す具体度として算出する、
請求項1乃至3のいずれかに記載の評価プログラム。 - 前記複数の手順書からの語句の抽出では、
既に具体性が評価されている手順書のうちの、具体性の評価が高い方から所定数の手順書と、具体性が未評価の手順書とから、語句を抽出する、
請求項1乃至4のいずれかに記載の評価プログラム。 - コンピュータが、
管理対象システムに対して実施する作業に関する複数の手順書であり、前記作業の名称を示す作業名と前記管理対象システムに対する操作手順とが記述された前記複数の手順書から、操作を表現する複数の語句を抽出し、
前記複数の語句それぞれについて、前記複数の手順書の作業名における語句の出現数と、前記複数の手順書の操作手順における語句の出現数とを計数し、
前記複数の語句それぞれについて、前記複数の手順書の作業名における語句の出現数に応じた値と、前記複数の手順書の操作手順における該語句の出現数に応じた値とを比較して、該語句で表現される操作の具体性の度合いを示す重み値を決定し、
前記複数の手順書それぞれについて、手順書の操作手順に含まれる語句の重み値に基づいて、該操作手順の記述の具体性を評価する、
手順書評価方法。 - 管理対象システムに対して実施する作業に関する複数の手順書であり、前記作業の名称を示す作業名と前記管理対象システムに対する操作手順とが記述された前記複数の手順書を記憶する記憶部と、
前記複数の手順書から操作を表現する複数の語句を抽出し、前記複数の語句それぞれについて、前記複数の手順書の作業名における語句の出現数と、前記複数の手順書の操作手順における語句の出現数とを計数し、前記複数の語句それぞれについて、前記複数の手順書の作業名における語句の出現数に応じた値と、前記複数の手順書の操作手順における該語句の出現数に応じた値とを比較して、該語句で表現される操作の具体性の度合いを示す重み値を決定し、前記複数の手順書それぞれについて、手順書の操作手順に含まれる語句の重み値に基づいて、該操作手順の記述の具体性を評価する、演算部と、
を有する評価装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015170274A JP6540384B2 (ja) | 2015-08-31 | 2015-08-31 | 評価プログラム、手順書評価方法、および評価装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015170274A JP6540384B2 (ja) | 2015-08-31 | 2015-08-31 | 評価プログラム、手順書評価方法、および評価装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017049639A JP2017049639A (ja) | 2017-03-09 |
JP6540384B2 true JP6540384B2 (ja) | 2019-07-10 |
Family
ID=58278609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015170274A Active JP6540384B2 (ja) | 2015-08-31 | 2015-08-31 | 評価プログラム、手順書評価方法、および評価装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6540384B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021105828A (ja) * | 2019-12-26 | 2021-07-26 | 富士通株式会社 | 制御方法、制御プログラムおよび情報処理装置 |
US20240028826A1 (en) * | 2020-09-29 | 2024-01-25 | Inje University Industry-Academic Cooperation Foundation | Methods and systems for verification of plant procedures' compliance to writing manuals |
KR102591138B1 (ko) * | 2021-02-08 | 2023-10-19 | 인제대학교 산학협력단 | 플랜트 절차서의 작성지침 준수여부 검증방법 및 그의 시스템 |
KR102394480B1 (ko) * | 2020-09-29 | 2022-05-04 | 인제대학교 산학협력단 | 플랜트 절차서에 포함된 구문 및 의미정보 추출방법 및 그의 시스템 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004362442A (ja) * | 2003-06-06 | 2004-12-24 | Nippon Steel Corp | プログラム自動生成装置、プログラム自動生成方法、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体 |
JP2013196006A (ja) * | 2012-03-15 | 2013-09-30 | Hitachi Systems Ltd | 運用設計システム |
JP2015036923A (ja) * | 2013-08-14 | 2015-02-23 | ウレシア株式会社 | 評価集計装置、評価順位作成装置、評価集計方法及びプログラム |
-
2015
- 2015-08-31 JP JP2015170274A patent/JP6540384B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017049639A (ja) | 2017-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5241370B2 (ja) | テーブル分類装置、テーブル分類方法及びテーブル分類プログラム | |
US8140514B2 (en) | Automatic classification of defects | |
US8019761B2 (en) | Recording medium storing a design support program, design support method, and design support apparatus | |
CN111160045B (zh) | 一种游戏资源文件翻译方法、装置及设备 | |
CN112579155B (zh) | 代码相似性检测方法、装置以及存储介质 | |
JP6540384B2 (ja) | 評価プログラム、手順書評価方法、および評価装置 | |
US9208059B2 (en) | ETL debugger | |
JP2006031687A (ja) | 外部メタデータの処理 | |
JP2017111601A (ja) | 調査対象特定プログラム、および調査対象特定方法 | |
CN110109678B (zh) | 一种代码审计规则库生成方法、装置、设备及介质 | |
JP6432266B2 (ja) | グループ化方法、グループ化装置、およびグループ化プログラム | |
JP2017041171A (ja) | テストシナリオ生成支援装置およびテストシナリオ生成支援方法 | |
JP6242540B1 (ja) | データ変換システム及びデータ変換方法 | |
CN110990055B (zh) | 一种基于程序分析的Pull Request功能分类方法 | |
KR100877156B1 (ko) | 비정형 질의언어에 대한 사전 성능 분석 시스템 및 방법 | |
CN111221698A (zh) | 任务数据采集方法与装置 | |
JP2012038066A (ja) | データ処理装置及びデータ処理方法及びプログラム | |
US20110040789A1 (en) | System and Program for Collecting Documents | |
CN107291749B (zh) | 一种数据指标关联关系的确定方法及装置 | |
JP6668271B2 (ja) | 業務仕様分析支援装置、業務仕様分析支援方法、及びプログラム | |
JP7246301B2 (ja) | プログラム開発支援システム及びプログラム開発支援方法 | |
US7844627B2 (en) | Program analysis method and apparatus | |
JP2016045552A (ja) | 特徴抽出プログラム、特徴抽出方法、および特徴抽出装置 | |
JP6677624B2 (ja) | 分析装置、分析方法、および分析プログラム | |
JP2020166443A (ja) | データ加工方法レコメンドシステム、データ加工方法レコメンド方法、及びデータ加工方法レコメンドプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180514 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190527 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6540384 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |