JP4773672B2 - 文章中の法の支配を見つけるためのコンピュータ・ベース・システム及び方法 - Google Patents

Description

【０００１】
（発明の背景）
（発明の属する技術分野）
本発明は、２進分類の分野に関し、より詳細には、判例法ドキュメント中の法の支配を構成する文章単位の２進分類コンピュータ自動化システム及び方法に関する。
【０００２】
（従来の技術）
制定法、行政府規則、及び憲法の適正な解釈について不一致が生じた時、我が国の上級裁判所はそれら意味を確立した司法的基準を適用することで明確にする。これらの適用についての記述は判決として知られている。特定の制定法又は憲法の規定を理解するために、裁判所がそれをどのように解釈しているかを見なければならない。すなわち、判決を読まなければならない。
【０００３】
各判例法は、争点の性質及び判決の基礎を記載している。裁判所は全てのロー・スクールで教えられており、法の実務において使用されている法的理由付けの基本的方法を適用する。判例法ドキュメントの大部分は、事実及びその事件の手続的な経緯を述べるイントロダクションから始まる。そして、裁判所は争点の問題を識別して、その問題に関する優勢な法の説明、その問題についての裁判所の決定、そしてその決定についての裁判所の理由付けが続く。最後に、下級の裁判所の判決を取消すか又は肯定するかのいずれかのその裁判所の全体的処分の説明がある。
【０００４】
判決を先例として適用するためには、将来の訴訟に対する判決の重要性と将来の事件に適用できるであろう一般的な法原理を判断しなければならない。判決は、ある事実の組が存在する時に、法はある仕方により解釈されるべきであるという説明である。
【０００５】
記述された判決の大部分は、裁判所の決定を正当化するために相当のスペースをさいている。理由において、裁判所は普通、確立された法的理由付けのパターンに従い、関連有る憲法及び制定法の規定と判例法を精査し、そして裁判所の判決に到達するために使用された思考プロセスを述べる。
【０００６】
「法の支配」とは、法の一般的な説明であり、処理を導くことが意図されたある状況の組の下でのその適用であり、そして同様な状況を有するその後の状況に対して適用されるであろう。法の支配は、裁判所の判断を支持するための裁判所による理由付けにおいて見られ、そして判定はしばしば法の支配とみなされる。
【０００７】
従来においては、ある判決中で法の支配を確認するためには人が裁判所の決定の文書を読み通すことが必要であった。これは時間を消費し、しばしばほんのいくつかの簡潔な法の支配を発見するためには大量の余分な材料を読むことを精査する人に要求する。従って、法の支配を正確に識別する自動的なドキュメント精査の方法に対する必要性が存在する。
【０００８】
法の支配を構成しない文章から法の支配を識別するためには２進分類が必要である。従来技術において、２進分類への多くの統計的及び機械的学習手法がある。統計的手法の例は、ベイズ規則、ｋ最近接点、投影追跡回帰、判別分析及び回帰分析を含む。機械的学習手法の例は、ナイブ−ベイズ、神経ネットワーク及び回帰ツリーを含む。
【０００９】
これらの手法は、分類が行なわれるタイプに基づいて２つの広いクラスにグループ分けできる。観察の一組が、データ中のクラス又はクラスターの存在の確立を目的として与えらている時、これは教師なし学習又はクラスターリングとして知られている。Ｎクラスが存在することが確かで、そして目的が新しい観察がそれにより１つの既存のクラスへ分類することができる規則の確立である時、これは教師あり学習として知られている。教師あり学習により、新しい観察を分類する規則が、既知の正しく分類されたデータを使用して確立される。
【００１０】
規則が、上述した教師あり技術の多くを使用して確立できる。このような技術の１つが、新観察を分類するための式を確立するために使用できるロジステイック回帰、統計的回帰手順である。
【００１１】
一般に、回帰分析は１つの変数と変数の別の組との間の関係の分析である。関係は式として表現される。式を使用して、応答、又は依存、リグレッサー変数及びパラメーターの関数からの変数を予測できる。リグレッサー変数は、時々、独立変数、プレディクター、説明的変数、ファクター、フイーチャー、又はキャリアとも呼ばれる。
【００１２】
標準の回帰分析又は線形分析は、文章の単位を法の支配（ＲＯＬ）又は法の支配でない（〜ＲＯＬ）のいずれかであると指示する応答変数の２分法性質のため、本発明には推奨されない。これが真であるという理由は、回帰の効率さを評価するために線形回帰により使用されるＲ²が、応答変数が２分法である時には適当ではないからである。本発明は、回帰の効率さを評価するために最尤推定手順を使用しそしてこの手順が２分法である応答変数と共に動作するため、ロジステイック回帰を使用する。
【００１３】
ロジステイック回帰の訓練プロセスは、クラスをできる限り分けるための超平面を選択することにより動作する。しかし、良い分離又は良い適合の基準は、線形回帰などの他の回帰方法に対するのとは同じではない。ロジステイック回帰について、良い分離の基準は条件付き尤度の最大である。ロジステイック回帰は、等しい共分散を持つ正規分布に対して、そして独立２進特徴に対しても線形回帰と理論的に同一である。これら２つの間の最も大きな違いが、データがこれら２つの場合から離れている時、例えば、特徴が大変異なる共分散を持った大変な非正規分布を有する時に、期待される。
【００１４】
いくつかの周知の統計的なパッケージがロジステイック回帰のための手順を含む。例えば、ＳＡＳパッケージはロジステイック手順を有する。ＳＰＳＳはロジステイック回帰と呼ばれるものを有する。
【００１５】
２項分布は、Ｚ値として知られているものを使用して比較できる。統計学において、いわゆる２項分布は観察のシーケンスにおいて特定の事象が発生する可能な回数を記述する。事象は２進値に符号化される。すなわち、それは発生するか又は発生しないかである。２項分布は、研究者が、例えば、事象の強度の代わりに、事象の発生に興味を有する時に使用される。例えば、治療的試験おいて、患者が生存するか又は死ぬかである。研究者は生存者の数を研究するが、治療後にどれだけ長く患者が生存するかについては研究しない。別の例は、人が太り過ぎかどうかである。２項分布は太り過ぎの人の数を記述するが、彼らの太り過ぎの程度については記述しない。２つの２項パラメータの比較には多くの実際的な問題が含まれる。例えば、社会科学者は、異なる社会経済的背景を代表する２つのコミュニテイについて出生前の健康サービスを利用する女性の比率を比較したいと望む。又は、マーケテイング責任者は、最近発売された新製品の大衆認知度を競争会社の製品のそれと比較したいと望む。
【００１６】
２つの２項パラメータはＺ統計を使用して比較できる。ここで、
Ｚ＝（Ｐ０−Ｐ１）／（ＴＰ^*（１−ＴＰ）（１／Ｔ０＋１／Ｔ１））^0.5
ここで、Ｐｘは２項パラメータｘ（ｘは、２項パラメータ０又は１のいずれか）の確率である。ＴＰは２つの２項パラメータの結合確率である。Ｔｘは２つの確率Ｐ０及びＰ１を推定するために母集団から取られたサンプル・サイズである。
【００１７】
同じ式が２つの異なる分類からの２項パラメータを比較するために使用できる。この場合、Ｐｘは、ｘが分類０又は１のいずれかである分類ｘ内の２項パラメータの確率である。ＴＰはどの分類から来たからかには関係しない２項パラメータの確率である。Ｔｘはｘが分類０又は１のいずれかである分類ｘから取られたサンプル・サイズである。
【００１８】
文章中の単語は、２項分布を生成する。すなわち、単語は文章中に存在するか又は存在しないかのいずれかである。従って、上式が２つの分類に出現する単語を比較するために使用できる。
【００１９】
さらに、上式は大きなＺ値（大きな正又は大きな負の値のいずれか）を持った単語が、１つの分類中に他よりもより高い確率で存在する。これは、Ｚ値が、ａ）質問のついての単語を自動的に示唆する、すなわち、スマートなどの情報検索システムにおける用語示唆する、及びｂ）２進分類システムに対する効果的特徴を計算するために使用できることを意味する。
【００２０】
Ｔ検定は、一組のドキュメントの特定の話題（Ｐ）を示唆する用語（単語）を選択するために使用されている統計的検定である。Ｔ検定は、ドキュメントの話題（Ｐ）組を多くの異なる話題からランダムに選択されたドキュメント（Ｒ）の組と比較するために使用できる。単語の出現の間の間隔が統計的な解析の基礎として選択できる。この検定の基礎にあるのは、ドキュメントの話題（Ｐ）組においては、話題（Ｐ）の単一の単語はより頻繁にそしてより規則的に出現する、すなわち、おおよそ等しい間隔で、出現するという仮定である。従って、この性質を有する用語、すなわち、ドキュメントの（Ｒ）組よりもドキュメントの話題（Ｐ）組において、より頻繁にそしてより規則的に出現する用語は、話題Ｐを最も良く示唆する用語の１つであろう。
【００２１】
このＴ統計に対する式は、
Ｔ＝ｎ^0.5（Ｘ−Ｘｂａｒ）／ｓ
ここで、ｎはドキュメントの話題（Ｐ）組において特定の単語Ｗの間隔数である。ＸはドキュメントのＲ組における単語Ｗの平均間隔である。ＸｂａｒはドキュメントのＰ組の平均間隔である。ｓはドキュメントのＰ組における単語の標準偏差又は変分である。
【００２２】
特定の話題（Ｐ）を示唆する単語を見つけるＴ検定法は単語の出現の間隔を使用する。一方、Ｚ値法は話題関連ドキュメントの組中及び多くの異なる話題領域からのドキュメントの組中に出現する単語の回数の差に依存している。
【００２３】
（発明の開示）
本発明は、センテンス、パラグラフ、及びドキュメントなどの文章単位の２進分類方法及びシステムである。分類が２進のため、文章単位は２つのクラスの１つとして分類される。好適な実施の形態は、法の支配（ＲＯＬ）又は法の支配でない（〜ＲＯＬ）のいずれかとして文章単位を分類するためのシステム及び方法である。
【００２４】
本発明のシステム及び方法の訓練フェーズの間、初期化された知識ベース及びラベルを付けた又は前分類された文章単位の集まりが、訓練された知識ベースを構築するために使用される。訓練された知識ベースは、式、閾値、及びＺ値と呼ばれる複数の統計値を含む。この訓練された知識ベースは、どんな判例法ドキュメントの入力文章中の文章単位をＲＯＬ又は〜ＲＯＬのいずれかとして分類するのに使用される。
【００２５】
分類プロセスで最も有効なツールであるＺ値は、以下に定義されるように、入力文章中の各用語又はトークンについて生成される。Ｚ値は、各文章単位についての平均Ｚ値を計算するために使用される。そして、平均Ｚ値及びおそらく他の特徴は、各センテンスのスコアを計算する式への入力となる。そして、各計算されたスコアは、各文章単位をＲＯＬ又は〜ＲＯＬのいずれかとして分類するための閾値と比較される。
【００２６】
訓練された知識ベースは、文章単位の訓練組を入力することにより生成される。訓練組において、各文章単位は、既にＲＯＬ文章単位又は〜ＲＯＬ文章単位のいずれかとして分類されている。入力された訓練組は、ランダムベースで２つの小組に区分される。２つの小組は、回帰組及び検査組を表わす。Ｚ値は回帰組中の各用語又はトークンについて生成される。そして、これらＺ値は回帰組の各文章単位についての平均Ｚ値を計算するために使用される。これら平均Ｚ値及びおそらく他の特徴を使用して、各文章単位についてのスコアを計算するために一次方程式が生成される。生成されたＺ値、一次方程式及び検査組を使用して各スコアが評価される閾値が選択される。
【００２７】
訓練された知識ベースを使用して、さらに本発明は事前に分類されていない文章を有する入力判例法ドキュメント中のＲＯＬ文章単位を見つけて印を付けることを含む。判例法ドキュメントを入力する際、ドキュメントの一部が抽出される。好適な実施の形態において、この部分は裁判所の多数意見である。この多数意見は文章単位中に区分され、そして特徴が各文章単位について生成される。特徴は、特定のクラス内の文章単位を代表する特性であり、そして〜ＲＯＬ文章単位からＲＯＬ文章単位を区別するのに役立つ。
【００２８】
各文章に一次方程式とシグモイド関数を各文章単位に適用して、各文章単位についてスコアが生成される。スコアは閾値と比較され、そして閾値よりも大きいスコアを有する文章単位が、ＲＯＬ文章単位として選択されて印が付けられる。そして、ドキュメントがＲＯＬ文章単位に印を付けて出力される。
【００２９】
従って、本発明の１つの目的は、判例法ドキュメント中に法の支配を見つけるためのコンピュータ自動化システム及び方法を提供することである。
【００３０】
本発明の別の目的は、文章単位を２つの一般的クラスから区別するために使用できる平均Ｚ値として知られる特徴を計算するためのコンピュータ自動化システム及び方法である。
【００３１】
本発明のさらに別の目的は、判例法ドキュメント中の他の文章単位から法の支配の文章単位を区別するのに有効な特徴及びトークンを計算するためのコンピュータ自動化システム及び方法である。
【００３２】
本発明のさらに別の目的は、特定の話題を示唆する用語を選択するためのコンピュータ自動化システム及び方法である。
【００３３】
本発明のさらに別の目的は、自動化方法で判例法ドキュメント部分を分類化できるコンピュータ自動化システム及び方法を提供することである。
【００３４】
本発明のこれらの及び他の目的、そして本発明の多くの意図された利点は、添付図面を参照した以下の説明からより明らかとなる。
【００３５】
（発明の好適な実施の形態）
図面に示された本発明の好適な実施の形態を説明する際、簡潔さのために特別の用語が使用される。しかし、本発明は選択された特別の用語に限定される意図はなく、各特別の用語は同様の目的を達成するために同様な態様で動作する全ての技術的な均等物を含むもとのとして理解される。例えば、判例法ドキュメントの文章単位をＲＯＬ又は〜ＲＯＬのいずれかに分類する特別の仕事に適用されるのに加えて、本発明はいかなる２進分類仕事に適用できる。同様に、本明細書において「センテンス」は、フレーズ、センテンス、パラグラフ、ドキュメントなどの抽出／識別できるどんな文章単位をいう。さらに、用語について計算されたＺ値は、このプロセスがドキュメント組に適用される時、特定の話題Ｐを示唆する用語を選定するために使用できる。
【００３６】
言葉の定義
本明細書に使用される以下の用語は、次ぎの意味を有する。
【００３７】
文章単位の２進分類
文章単位を２つのクラスの中の１つに分類する仕事。例えば、好適な実施の形態では、２つのクラスは、法の支配（ＲＯＬ）文章単位及び法の支配でない（〜ＲＯＬ）文章単位である。
【００３８】
特徴
数値として表現できる文章単位の特性、従って、ロジステイック回帰に使用することができる。
【００３９】
ラベル付き文章単位
ラベル又は分類と関連付けられたセンテンス又はパラグラフ等の文章単位。好適な実施の形態では、このラベルは、ＲＯＬ（クラス＝１）又は〜ＲＯＬ（クラス＝０）のいずれかである。センテンスの例示的組については表ＩＩを参照。
【００４０】
ＲＯＬ
法分野において認められた用語の使用に従って定義された「法の支配」を意味する。一般に、法の支配とは法の一般的な説明であり、処理を導くことが意図されたある状況の組の下でのその適用であり、そして同様な状況を有するその後の状況に対して適用されるであろう。好適な実施の形態において、ＲＯＬはクラス＝１。
【００４１】
〜ＲＯＬ
「ＲＯＬでない」ことを意味する。好適な実施の形態において文章単位の２つの分類の中の１つ。好適な実施の形態の中で、〜ＲＯＬはクラス＝０。
【００４２】
用語（ＴＥＲＭ）
単語又はおそらくは句。
【００４３】
トークン（ＴＯＫＥＮ）
用語のグループに与えられた名前又は特定の規則的な表現に合致したいずれのストリング。
【００４４】
用語又はトークンのＺ値
（Ｐ０−Ｐ１）／（ＴＰ^*（１−ＴＰ）（１／Ｔ０＋１／Ｔ１））^0.5、ここで、Ｐｘはあるクラスｘの用語／トークンＴの確率（ｘは、０又は１のいずれか）の確率である。ＴＰは用語又はトークンの全確率である。そして、Ｔｘはクラスｘの中の用語／トークンの数である（ｘは０又は１のいずれか）。
【００４５】
文章単位についての平均Ｚ
文章単位中の用語／トークンの数で割った文章単位の全ての用語／トークンのＺ値の和。
【００４６】
これらの用語の定義を用いて、本発明の好適な実施の形態の構造と作用を以下に説明する。
【００４７】
Ｉ．例示的なハードウェア構成
図１に代表的に示すように、本発明のＲＯＬ認識システムは、通常のコンピュータ上で実行される一連のモジュールを含んだソフトウェア・システムとして実現できる。例示的なハードウェア・プラットホームは、中央処理ユニット１００を含む。中央処理ユニット１００は、ユーザ・インターフェイス１０１を介して人間ユーザと相互作用を行なう。ユーザ・インターフェイスは、システム内に情報を入力するために、そして人間ユーザとシステムの間の相互作用のために使用される。ユーザ・インターフェイスは、例えば、ビデオディスプレイ１０５、キーボード１０７及びマウス１０９を含む。メモリ１０２は、データ（判例法ドキュメント及びラベル付き文章単位の訓練組など）と中央処理ユニットで実行されるソフトウェア・プログラム（ＲＯＬ認識プロセス）を記憶する。メモリ１０２は、ランダム・アクセス・メモリであってよい。ハードディスク・ドライブ又はテープ・ドライブなどの補助記憶１０３は、追加の記憶容量及び大量の情報の検索手段を提供する。
【００４８】
図１に示された全てのコンポーネントは、業界では良く知られたタイプであってよい。例えば、システムは、カリフォルニア、サニーベイルのサンマイクロシステムズから入手可能なＳＰＲＡＣシステム１０（商標）及びサン（商標）ＯＳバージョン５．５．１の実行プラットホームを含んだサン（商標）ワークステーションを含んで良い。ソフトウェアは、Ｃ、Ｃ＋＋、及びＰｅｒｌなどのプログラミング言語で書かれてよい。もちろん、本発明のシステムは、既存お詫び将来開発されるどんな数のコンピュータ・システムでも実現してよい。
【００４９】
本発明による方法の例示的な実施の形態が以下に説明される。
【００５０】
ＩＩ．ＲＯＬ認識システム
図２に、ＲＯＬ認識方法の高レベルのフローチャートが示される。方法は、ラベル付き文章単位２００の訓練組の入力及び初期化知識ベース２０１の入力により開始する。初期化知識ベース２０１の一例は以下の通りである。
【００５１】
ｍａｘｓｉｚｅ＝２００
ｐａｓｔｔｅｎｓｅｖｅｒｂｓ＝１
ｐｒｅｓｅｎｔｔｅｎｓｅｖｅｒｂｓ＝１
ｐｒｏｎｏｕｎｓ＝１
ｆｉｒｓｔｎａｍｅｓ＝１
ｐａｒｔｙｎａｍｅｓ＝１
ｑｕｏｔｅｄｓｔｒｉｎｇｓ＝１
ｃａｓｅ＿ｃｉｔａｔｉｏｎｓ＝１
ｓｔａｔｕｅ＿ｃｉｔａｔｉｏｎｓ＝１
【００５２】
ここで、「ｍａｘｓｉｚｅ＝２００」は最大のセンテンスの大きさの推定である。すなわち、２００用語。上記の他の変数の設定は、本明細書の後で説明するサブプロセス、各文章単位の用語＆トークンを獲得、により加えられるべきさまざまなトークン化を示す。１の値は、「関連したトークン化をする」を意味し、一方、０の値は、「関連したトークン化をしない」を意味する。例えば、「ｐｒｏｎｏｕｎｓ＝１」は、代名詞トークン、ＰＲＯＮＯＵＮ＿ＴＯＫが生成されるべきことを意味する。
【００５３】
図２に示されるＲＯＬ認識システムは、２つの中心サブプロセスを含む。訓練＆検査ＲＯＬ認識サブプロセス２０２及び判例法ドキュメント内でＲＯＬ文章ユニットを見つけ＆印を付けサブプロセス２０５である。訓練＆検査サブプロセスにおいて、初期化知識ベース及び判例法ドキュメント組からのラベル付きセンテンスの訓練組が入力される。このサブプロセスの出力は、訓練された知識ベース２０３である。見つけ＆印付けサブプロセスは、判例法ドキュメント２０４の入力で開始し、そして後でＲＯＬ文章単位として決定される入力された判例法ドキュメントの文章単位を見つけて印を付けるために訓練された知識ベースを使用する。
【００５４】
より詳細には、訓練＆検査ＲＯＬ認識サブプロセスは、訓練された知識ベース２０３を作るために、ラベル付き文章単位の入力された訓練組２００及び初期化知識ベース２０１を使用する。訓練された知識ベースが生成されると、判例法ドキュメント内でＲＯＬ文章単位を見つけ＆印を付けサブプロセス２０５が知識ベースを使用して、入力された判例法ドキュメント内のＲＯＬ文章単位を見つけて印を付ける。
【００５５】
このシステムの訓練＆検査ＲＯＬ認識サブプロセスの出力は、訓練された知識ベース２０３である。判例法ドキュメント内のＲＯＬ文章単位を見つけ＆印を付けサブプロセス２０５の出力は、印付けされたＲＯＬ文章単位２０６を有する入力された判例法ドキュメントである。ＲＯＬ文章単位は、ｓｇｍｌタグ＜ＲＯＬ＞…＜／ＲＯＬ＞によりＲＯＬ文章単位を囲むことにより印を付けてよい。表Ｉにｓｇｍｌタグにより囲まれた１つのＲＯＬを持つ入力されたドキュメントの例の本体部分が示されている。他の形式の印付けも使用できる。
【００５６】
表Ｉ
意見：決定＆命令
＜多数＿意見＞
決定＆命令
抵当権行使の訴えにおいて、原告は、（１）とりわけ、被告トーマス・パリシ及びチョン・パリシの彼らに対する不履行の訴えを棄却すべき申立てを許可した同じ裁判所の１９９７年１２月２６日付け命令を取消すためにその申立てを否定した１９９８年６月１０日付けのナッソウ・カウンティ（ウインスロー、ジェー）最高裁判所の命令に対し、及び（２）１９９８年１０月２８日付の同じ裁判所の命令からその書面により制限されるため、再弁論の際、前の決定に拘束されるため、上訴した。
【００５７】
１９９８年６月１０日付け命令に対する上訴は、この命令は再弁論の際に行なわれた１９９８年１０月２８日付け命令により置換えられているため、棄却すると命令する。そしてさらに１９９８年１０月２８日付け命令は上訴された範囲で肯定すると命令する。そしてさらに被上訴人は１つの訴訟費用を与えられると命令する。
【００５８】
＜ＲＯＬ＞抵当権は借金又は他の義務の単なる担保にすぎず、借金又は義務からは独立に存在できない（コップ対サンズ・ポイント・マリーナ、１７ＮＹ２ｄ２９１、２９２、２７０Ｎ．Ｙ．Ｓ．２ｄ５９９、２１７Ｎ．Ｅ．２ｄ６５４参照）。＜／ＲＯＬ＞ここで、抵当権が担保する借金は明らかに訴えの提起前に満足されていたから、訴えを棄却すべき申立ては適正に許可されている。
【００５９】
上訴人の他の主張には理由がない。
【００６０】
ブラッケン、ジェー・ピー、サリバン、ゴールドスタイン、及びマックギニィテイ、ジェージェー、同意する。
【００６１】
＜／多数＿意見＞
（ Table I
OPINION: DECISION & ORDER
<MAJORITY_OPINION>
DECISION & ORDER
In an action to foreclose a mortgage, the plaintiff appeals (1) from an order of the Supreme Court, Nassau County (Winslow, J.), dated June 10, 1998, which denied its motion, inter alia, to vacate an order of the same court dated December 26, 1997, granting the motion of the defendants Thomas Parisi and Chong Parisi to dismiss the complaint insofar as asserted against them upon its default in opposing the motion, and (2), as limited by its brief, from so much of an order of the same court, dated October 28, 1998, as, upon reargument, adhered to the prior determination.ORDERED that the appeal from the order dated June 10, 1998, is dismissed, as that order was superseded by the order dated October 28, 1998, made upon reargument; and it is further, ORDERED that the order dated October 28, 1998, is affirmed insofar as appealed from; and it is further, ORDERED that the respondents are awarded one bill of costs.
<ROL>A mortgage is merely security for a debt or other obligation and cannot exist independently of the debt or obligation (See, Copp v Sands Point Marina, 17NY2d291,292,270N.Y.S.2d599,217N.E.2d654).</ROL>Here, the motion to dismiss the complaint was properly granted since the debt which the mortgage secured concededly was satisfied prior to the commencement of the action.
The appellant's remaining contentions are without merit.
BLACKEN,J.P.,SULLIVAN,GOLDSTEIN, and McGINITY, JJ., concur.
</MAJORITY_OPINION>）
【００６２】
ＩＩＩ．訓練＆検査ＲＯＬ認識
図３に図２の訓練＆検査ＲＯＬ認識サブプロセス２０２が詳細に説明されている。このサブプロセスは、既に正しくＲＯＬ又は〜ＲＯＬとして分類された文章単位３００の訓練組を入力することにより開始する。表ＩＩに訓練組の例が示されている。
【００６３】
表ＩＩ

【００６４】
この例の訓練組は、法の支配（Ｃ＝１）又は法の支配でない（Ｃ＝０）として分類されたセンテンスの大きな母集団からランダムに選択された３０のセンテンスを含む。各センテンスは、識別子（参照のためのみ）及びクラスの分類（Ｃ）を有する。ここで、クラス＝１はセンテンスがＲＯＬであることを意味し、そしてクラス＝０はセンテンスが〜ＲＯＬであることを意味する。「センテンス」は興味のある特定の文である。この例の訓練組は、本発明の処理ステップを説明するためにここで使用される。しかし、本発明を実際に適用する時は、訓練組のセンテンスはラベル付きセンテンスの大きな母集団からランダムに選択され、そして選択された数は訓練組が母集団全体を代表するように十分に大きくなければならない。
【００６５】
訓練された知識ベースを生成するための方法は、入力された訓練組を２つの小組、回帰小組と検査小組、にランダムに区分けることに進む３０１。どちらかいずれかの小組が回帰小組として選択されて、回帰式を生成するために使用される３０２。他方の選択されなかった小組が検査小組を構成して、閾値を計算するために使用される３０３。
【００６６】
より詳細には、ランダム数発生器が、訓練組の各センテンスにゼロ（０．０）及び１（１．０）の間のランダムな数を割当てるために使用される。そして、これらのセンテンスは、これらに割当てられたランダムな数により数値的に分類される。最後に、分類されたセンテンスの最初のＮ％が回帰小組となり、残りのセンテンスが検査小組となる。Ｎの値は訓練組の大きさに依存して変化する。
【００６７】
表ＩＩＩは、表ＩＩの訓練組から取られた回帰小組の例である。表ＩＩＩは、表ＩＩの３０センテンスからランダムに選択された２０センテンスを含む。これらのセンテンスは、ロジステイック回帰式及びそれらの中に見つけられた各用語又はトークンについてのＺ値を生成するために使用される。前の表ＩＩのように、各センテンスは識別子（参照のためにのみ）とクラスについての分類（Ｃ）を有する。ここで、クラス＝１はセンテンスがＲＯＬであることを意味し、クラス＝０はセンテンスが〜ＲＯＬであることを意味する。「センテンス」は興味のある特定の文である。
【００６８】
表ＩＩＩ

【００６９】
表ＩＶは、表ＩＩの同じ訓練組の例から取られた検査小組の例である。表ＩＶは、表ＩＩの３０センテンスからの１０センテンスを含む。これらのセンテンスは、センテンスが法の支配であるか否かを決定するために使用されるロジステイック回帰式から得られたロジステイック回帰スコアに対する閾値を確立するために使用される。前の表ＩＩのように、各センテンスは識別子（参照のためにのみ）とクラスについての分類（Ｃ）を有する。ここで、クラス＝１はセンテンスがＲＯＬであることを意味し、クラス＝０はセンテンスが〜ＲＯＬであることを意味する。「センテンス」は興味のある特定の文である。
【００７０】
表ＩＶ

【００７１】
上記の手順では、最初のＮ％の分類されたセンテンスが回帰小組となり、残りのセンテンスが検査組となるようにしてこれらの小組が生成された。ここではＮが６６％である。すなわち、２０センテンスが回帰小組内にあり、１０センテンスが検査組内にある。
【００７２】
方法は、回帰小組をサブプロセスへの入力として使用して一次回帰方程式を生成することにより続けられる。Ｚ値が回帰小組の文章単位内の全ての用語及びトークンについて生成される。ロジステイック回帰が、ＲＯＬ文章単位であろう文章単位のスコアを作るための方程式を開発するために使用される。表ＩＩＩの例の回帰小組に対してこのステップ３０２により生成された方程式は、方程式＝０．７５４９−１４．０６２２^*ｆ［１］−１４．２１４８^*ｆ［２］−０．０５６０^*ｆ［３］＋０．１２３４^*ｆ［４］である。ここで、ｆ［１］はセンテンスの平均Ｚ値であり、ｆ［２］はセンテンスの相対的な大きさであり、ｆ［３］は負のＺ値を持つセンテンス内の用語又はトークンの数であり、そしてｆ［４］はセンテンス内の用語又はトークンの数である。表Ｖに同じ例の回帰小組について計算されたＺ値の組が与えられている。
【００７３】
表Ｖの欄のヘッダーの定義は以下の通りである。Ｆ０はクラス＝０のセンテンス内の用語又はトークンの出現回数；Ｆ１はクラス＝１のセンテンス内の用語又はトークンの出現回数；ＴＰは用語又はトークンの全確率、すなわち、（Ｆ０＋Ｆ１）／（Ｔ０＋Ｔ１）；Ｐ０はクラス＝０内の用語又はトークンの確率、すなわち、Ｆ０／Ｔ０；Ｐ１はクラス＝１内の用語又はトークンの確率、すなわち、Ｆ１／Ｔ１；Ｚは用語又はトークンについてのＺ値、すなわち、（Ｐ０−Ｐ１）／（ＴＰ^*（１−ＴＰ）（１／Ｔ０＋１／Ｔ１））^0.5；そして、ＴＥＲＭ／ＴＯＫＥＮは訓練データのあるセンテンス内に見つけられる用語又はトークンである。
【００７４】

【００７５】

【００７６】

【００７７】

【００７８】

【００７９】

【００８０】

【００８１】

【００８２】

【００８３】
回帰小組内の文章中に見つけられる各用語又はトークンについてのＺ値、前のステップで開発された方程式、そして計算小組を使用して、閾値が方程式により計算されたスコアに対して選択される。入力された例の訓練組に対して選択された閾値は、訓練された知識ベースの一部として与えられ、そして「閾値＝０．５」である。しばしば、選択された閾値は０．５に近い値である。
【００８４】
図４を参照すると、閾値に値を割当てるためのより厳格なプロセスが、一次方程式を適用するステップ４０４を実行し、そしてシグモイド関数を適用するステップ４０５を実行することにより検査小組の各センテンスについてスコアを生成することである。これらのセンテンスは、それらのスコアに下降順に分類されてランクされる。すなわち、最大のスコアが分類リストの始まりある。そして、検査小組のセンテンスをＲＯＬ（Ｃ＝１）と〜ＲＯＬ（Ｃ＝０）のグループに最も良く分離するスコアが選択される。図４に示されるより厳格なプロセスはオプショナルであり、訓練された知識ベースの開発中に実行される。
【００８５】
表ＶＩは、このプロセスを表ＩＶの検査小組に対して適用した結果を示す。表ＶＩは、最大のスコアを持つセンテンスが最初にリストされるようにそれらのスコアの順番づけられたセンテンス、すなわち、それらのセンテンス識別番号（ＳＩＤ）、を示す。表ＶＩはまた、０．１８６６と０．９７３４との間のどんなスコアも検査小組をＲＯＬと〜ＲＯＬのグループに完全に分離することを示す。選択された値は０．５であって、それは０．１８６６と０．９７３４との約半分の所にある。
【００８６】

【００８７】
スコアは常に、〜ＲＯＬセンテンスからＲＯＬセンテンスを完全に分離するのではない。すなわち、時々、ＲＯＬ（Ｃ＝１）センテンスよりも大きなスコアを持った〜ＲＯＬ（Ｃ＝０）センテンスが存在するだろう。完全な分離が無い時、選択される閾値はどれだけのエラー及びどんなタイプのエラーが所望又は許容されるかに依存する。
【００８８】
以下に、入力された訓練組が表ＩＩで上記に与えられた例の組である時、ＲＯＬ認識システムにより生成された訓練された知識ベースの内容の代表的なリストを示す。
【００８９】
ｍａｘｓｉｚｅ＝２００
ｐａｓｔｔｅｎｓｅｖｅｒｂｓ＝１
ｐｒｅｓｅｎｔｔｅｎｓｅｖｅｒｂｓ＝１
ｐｒｏｎｏｕｎｓ＝１
ｆｉｒｓｔｎａｍｅｓ＝１
ｐａｒｔｙｎａｍｅｓ＝１
ｑｕｏｔｅｄｓｔｒｉｎｇｓ＝１
ｃａｓｅ＿ｃｉｔａｔｉｏｎｓ＝１
ｓｔａｔｕｅ＿ｃｉｔａｔｉｏｎｓ＝１
ｅｑｕａｔｉｏｎ＝０．７５４９−１４．０６２２^*ｆ［１］−１４．２１４８^*ｆ［２］−０．０５６０^*ｆ［３］＋０．１２３４^*ｆ［４］
ｔｈｒｅｓｈｏｌｄ＝０．５
各用語又はトークンのＺ値は回帰組内に見つけられる。
【００９０】
（例の訓練組のＺ値は表Ｖに与えられている。）
ここで、方程式及びＺ値は訓練＆検査ＲＯＬ認識サブプロセスの一次回帰方程式を生成するステップ３０２により生成され、そして閾値は閾値を計算するこのサブプロセスのステップ３０３により生成される。
【００９１】
ＩＶ．判例法ドキュメント中のＲＯＬ文章単位を見つけ＆印付ける
訓練された知識ベースが開発されると、判例法ドキュメント中のＲＯＬ文章単位を見つけ＆印付けるサブプロセスが入力された判例法ドキュメント中のＲＯＬ文章単位を見つけて印を付けることができる。入力された判例法ドキュメントの選択された部分が普通最も解析される。好適な実施の形態においては、この選択された部分は裁判所の多数意見である。
【００９２】
図４に、図２の判例法ドキュメント中のＲＯＬ文章単位を見つけ＆印付けるサブプロセス２０５の詳細が示されている。このサブプロセスは、判例法ドキュメントを入力するステップ４００で開始する。このステップを説明するため、表Ｉに示される入力されたドキュメントの例示的な抄録として使用される短い例示的な判例法ドキュメントを参照する。判例がこのサブプロセスに入力される時、表Ｉに示されるような印付けられたＲＯＬ文章単位を有さない。好適な実施の形態では、多数意見がｓｇｍｌタグにより印付けられる。
【００９３】
次ぎのステップ４０１は、多数意見を文章単位中において分割する。多数意見を分割するためには、この意見がまず見つけられ、そして判例法ドキュメントから抽出されなければならない。もし、判例の部分がｓｇｍｌマークアップ言語を使用して印付けされていると、多数意見を容易に見つけて抽出できる。例えば、多数意見は以下のｓｇｍｌタグにより囲まれる。
【００９４】
<MAJORITY_OPINION>...</MAJORITY_OPINION>
そして、以下のパール通常表現が多数意見を抽出する。
$opinion=$1 if /<MAJORITY_OPINION>(.+?)</MAJORITY_OPINION>/;
多数意見はセンテンスが４つの小文字及びピリオドで常に終わると仮定することにより容易にセンテンスに分割できる。本発明は、分割が完全でなくとも効果的に機能する。
【００９５】
表ＶＩＩは、表Ｉの例示的な入力判例法の多数意見の分割から得られたセンテンスを示す。各センテンスについて、表ＶＩＩは、ａ）センテンス識別子（ＳＩＤ）、ｂ）ＲＯＬ（Ｃ＝１）又は〜ＲＯＬ（Ｃ＝０）のいずれかの分類、そしてｃ）センテンスの文章を与える。
【００９６】

【００９７】
そして、前に入力されて訓練された知識ベースの入力、又は参照のステップ４０２を実行する必要がある。例示的な訓練された知識ベースは次ぎの通りである。
【００９８】
ｍａｘｓｉｚｅ＝２００
ｐａｓｔｔｅｎｓｅｖｅｒｂｓ＝１
ｐｒｅｓｅｎｔｔｅｎｓｅｖｅｒｂｓ＝１
ｐｒｏｎｏｕｎｓ＝１
ｆｉｒｓｔｎａｍｅｓ＝１
ｐａｒｔｙｎａｍｅｓ＝１
ｑｕｏｔｅｄｓｔｒｉｎｇｓ＝１
ｃａｓｅ＿ｃｉｔａｔｉｏｎｓ＝１
ｓｔａｔｕｅ＿ｃｉｔａｔｉｏｎｓ＝１
ｅｑｕａｔｉｏｎ＝０．７５４９−１４．０６２２^*ｆ［１］−１４．２１４８^*ｆ［２］−０．０５６０^*ｆ［３］＋０．１２３４^*ｆ［４］
ｔｈｒｅｓｈｏｌｄ＝０．５
各用語又はトークンのＺ値は回帰組内に見つけられる。
【００９９】
（例の訓練組のＺ値は表Ｖに与えられている。）
ここで、方程式とＺ値は、一次回帰方程式を作成するステップ３０２により生成され、そして閾値は閾値を計算するステップ３０３により生成される。
【０１００】
次ぎのステップ４０３は、各文章単位の特徴を生成することである。これは、図６と関連して説明されるサブプロセス５０３により達成される。表ＶＩＩＩは、表ＶＩＩで分割されたような表Ｉの例の判例方のセンテンスの特徴を列挙している。特徴は、列ｆ［１］乃至ｆ［４］である。
【０１０１】

【０１０２】
表ＶＩＩＩにリストされるように、ＳＩＤがセンテンス識別子であり、ｆ［１］がそのセンテンスの平均Ｚ値であり、ｆ［２］がセンテンスの相対的な大きさであり、ｆ［３］が負のＺ値を持ったセンテンス中の用語又はトークンの数であり、ｆ［４］がそのセンテンス中の用語又はトークンの数であり、Ｃがそのセンテンスの期待されるクラスであり、ＥＲｅｓｕｌｔが一次方程式を適用した結果であり、そしてＳｃｏｒｅがシグモイド関数をＥＲｅｓｕｌｔに適用した結果である。
【０１０３】
次ぎのステップ４０４は、サブプロセス２０２、訓練＆検査ＲＯＬ認識、により生成された一次方程式を適用することである。表ＩＩＩの回帰組を使用して訓練＆検査ＲＯＬ認識サブプロセス２０２により生成された一次方程式は以下の通りである。
０．７５４９−１４．０６２２^*ｆ［１］−１４．２１４８^*ｆ［２］−０．０５６０^*ｆ［３］＋０．１２３４^*ｆ［４］
【０１０４】
ここで、ｆ［１］、ｆ［２］、ｆ［３］及びｆ［４］は、表ＶＩＩＩに記載されている通りである。この方程式がステップ２０３の訓練された知識ベース出力の一部であることを思い出す。また、表ＶＩＩＩは、一次方程式をセンテンスに適用した結果、すなわち、ＥＲｅｓｕｌｔ列を与える。
【０１０５】
１つの例として、センテンスＡ０１について上記式のｆ［１］乃至ｆ［４］を置換えると以下のようになる。
０．７５４９−１４．０６２２^*０．３０７１−１４．２１４８^*０．５１−０．０５６０^*２５＋０．１２３４^*６７＝−３．９４５３（すなわち、ＥＲｅｓｕｌｔ）
【０１０６】
次ぎのステップ４０５は、シグモイド関数を提供することである。シグモイド関数は、ｅ^x／（１＋ｅ^x）、である。ここで、ｘは、ＥＲｅｓｕｌｔである。表ＶＩＩＩは、シグモイド関数のセンテンスへの適用の結果を、Ｓｃｏｒｅ列に与えている。例えば、もし、ｘがセンテンスＡ０１のＥＲｅｓｕｌｔであると（すなわち、−３．９４５３）、ｅ^xはｅ^-3.9453＝０．０１９３４５である。従って、シグモイド関数は、ｅ^x／（１＋ｅ^x）＝０．０１９３４５／（１＋０．０１９３４５）＝０．０１９０である（すなわち、Ａ０１のＳｃｏｒｅ）。
【０１０７】
次ぎのステップ４０６は、ＲＯＬ文章単位である文章単位を選択することである。訓練プロセス（ステップ２００−２０３）から得られた訓練された知識ベースに見つけられた閾値よりも大きなスコアの文章単位がＲＯＬとして選択される。表ＩＩの訓練組については、閾値＝０．５である。従って、表ＶＩＩＩ中のセンテンスの中でセンテンスＡ０３のみがＲＯＬである。他の全てのセンテンスは０．０に近いスコアを有する。
【０１０８】
最後に、ステップ４０７で、方法はＲＯＬ文章単位に印が付けられた判例法ドキュメントを出力する。上述したように、ＲＯＬ文章単位はｓｇｍｌタグ：＜ＲＯＬ＞…＜／ＲＯＬ＞で囲まれることで印付けられるか、又は当業者に知られている他の方法で印を付けることができる。
【０１０９】
Ｖ．一次回帰方程式の生成
図５は、図３の一次回帰方程式生成ステップ３０２の拡張である。一次回帰方程式を生成するためのサブプロセスへの入力は、ラベル付けされたセンテンスの回帰組である。表ＩＩＩは、センテンスの回帰組の例を示す。
【０１１０】
このサブプロセスの出力は、訓練された知識ベースであり、次ぎを含む。ａ）初期化された知識ベース内のもの、ｂ）関連したＺ値と一緒の用語及びトークンのリスト、ｃ）センテンスがＲＯＬ又は〜ＲＯＬかを判定するための方程式、そしてｄ）与えられたものから選択された特徴のリスト。
【０１１１】
図５には、一次回帰方程式を生成するためのステップが説明されている。方法は、回帰組の各文章単位に対する用語又はトークンを獲得するステップ４００で開始される。表ＩＸは、表ＩＩＩの回帰組に対してこのステップから得られた用語及びトークンを示す。用語及びトークンは表ＩＸの最右欄に記載されている。表ＩＸの右から２つ目の欄に示されている表ＩＩＩの例示的な回帰組の各センテンスに対して、用語及びトークンが与えられる。
【０１１２】

【０１１３】

【０１１４】

【０１１５】

【０１１６】

【０１１７】

【０１１８】

【０１１９】

【０１２０】

【０１２１】

【０１２２】

【０１２３】

【０１２４】

【０１２５】

【０１２６】
例えば、センテンスＳ０２に対する用語及びトークンは以下の通りである。
【０１２７】

【０１２８】
センテンスのＲＯＬ（クラス＝１）又は〜ＲＯＬ（クラス＝０）の分類は、表ＩＸ中の右から第３番目の欄に与えられている。
【０１２９】
次に、ステップ５０１でクラス毎の頻度数が蓄積される。蓄積される頻度カウントは、各クラスにおける用語又はトークンの出現の総数（Ｔｘで表わされる。ｘは０（〜ＲＯＬ）又は１（ＲＯＬ）のいずれかである）、及び各クラス、すなわち、ＲＯＬ又は〜ＲＯＬ、における各用語又はトークンの出現数である。例の回帰組については、ＲＯＬクラス（すなわち、クラス＝１）における用語及びトークンの総数は、Ｔ１＝４６１である。〜ＲＯＬクラス（すなわち、クラス＝０）については、数はＴ０＝３１１である。
【０１３０】
表Ｖ中の最初の２つの欄は、表ＩＩＩ中の例の回帰組についてクラス毎の各用語又はトークンの頻度数を与える。表Ｖの最初の欄は、クラス＝０の用語の頻度カウントを与え、第２欄はクラス＝１の用語の頻度カウントを与える。例えば、単語「ＩＳ」は、クラス＝０のセンテンスで３回出現し、クラス＝１のセンテンスでは１３回出現している。同様に、トークン、ＰＲＯＮＯＵＮ＿ＴＯＫはクラス＝０のセンテンス内では１４回出現し、そしてクラス＝１のセンテンス内では６回出現する。
【０１３１】
ステップ５０２で、各用語又はトークンについてＺ値が計算される。用語又はトークンＴについてのＺ値を計算する式は、
Ｚ＝（Ｐ０−Ｐ１）／（ＴＰ^*（１−ＴＰ）（１／Ｔ０＋１／Ｔ１））^0.5
ここで、Ｐｘはクラスｘ（ｘは０又は１のいずれか）のある用語／トークンＴの確率である。これは、Ｆｘ／Ｔｘに等しい。ここで、Ｆｘはクラスｘのその用語の出現数、そしてＴｘはクラスｘの用語及びトークンの総数である。ＴＰは用語又はトークンの総確率であり、（Ｆ０＋Ｆ１）／（Ｔ０＋Ｔ１）である。
【０１３２】
上式において、Ｐ１がＰ０から差引かれるため、負のＺ値を持った用語／トークンはＲＯＬクラスに有利である。すなわち、ＲＯＬクラスにおいてその用語／トークンを見つける確率は、それを〜ＲＯＬクラスにおいて見つけるそれよりも大きい。同様に、正のＺ値を持った用語／トークンがクラス〜ＲＯＬの分類の中で見つけられるより大きい確率が存在する。
【０１３３】
本発明の背後にある理論は、これら０と１の２つの分類における大部分の文章単位を代表する程度に十分に大きい０と１の分類からランダムに選択された文章単位のサンプルについてＺ値が計算されると、平均Ｚ値がいずれかの分類からのいずれの文章単位に対して計算できる。この平均Ｚ値は、文章単位がどちらの分類から来たのかを決定するために使用できる。文章単位についての平均Ｚ値は、文章単位の中の単語数で割られたその文章単位中の全ての単語についてのＺ値の和である。
【０１３４】
例の回帰組の各用語又はトークンについて、表ＶがＦ０、Ｆ１、ＴＰ、Ｐ０、Ｐ１、及びＺを与える。例えば、用語「ＩＳ」について、Ｆ０、Ｆ１、ＴＰ、Ｐ０、及びＰ１はそれぞれ、３、１３、０．０２０７３、０．００９６５、及び０．０２８２０である。また、Ｐ０は、式Ｐｘ＝Ｆｘ／Ｔｘを使用して表Ｖのどんな用語／トークンについて計算できることに注意する。例えば、用語「ＩＳ」について、Ｐ０＝３／３１１又は＝０．００９６５である。さらに、表中のどんな用語／トークンについてのＴＰは次ぎを使用して計算できる。ＴＰ＝（Ｆ０＋Ｆ１）／（Ｔ０＋Ｔ１）。例えば、「ＩＳ」については、ＴＰ＝（３＋１３）／（３１１＋４６１）、又は＝１６／７７２、又は＝０．０２０７３である。用語「ＩＳ」についてのＺは、
（０．００９６５−０．０２８２０）／（０．０２０７３^*（１−０．０２０７３）（１／３１１＋１／４６１））^0.5、
又はＺ＝−１．７７４７６である。
【０１３５】
ドキュメントの２つの組について計算されたＺ値が、ドキュメントの話題Ｐ組を非常に示唆する用語（単語）を選択するために使用できることに注意する。
【０１３６】
方法の次のステップ５０３は各文章単位についての特徴を生成する。図６に示され、そしてセクションＶＩに説明されたサブプロセスがこの仕事を実行するために使用される。表ＩＸは、表ＩＩＩの例の回帰組の各センテンスについて生成された特徴をリストしている。ここで、第２欄はセンテンスについての平均Ｚ値（ａｖｇｚ）、第３欄はセンテンスの相対的な大きさ（ｒｅｌｓｉｚｅ）、第４欄は負のＺ値を持つ用語／トークンの数（ｎｎｅｇｚ）（すなわち、ＲＯＬクラスに有利な）、及び第５欄はセンテンス中の用語／トークンの数（ｎｔｅｒｍｓ）である。最後の欄には各センテンスの全ての用語／トークンが各用語の後の括弧内にその用語のＺ値を含むようにして示される。
【０１３７】
次ぎのステップ５０４は、ロジステイック回帰を実行する。以下は、表ＩＩＩ中の回帰組について、前のステップ、ステップ５０３で生成された特徴を使用してロジステイック回帰を実行するＳＡＳ（統計的解析システム）プログラムである。
【０１３８】
filename pdata 'regression.set.features';
data preg;
infile pdata;
input pid avgz relsize nnegz nterms rol;
proc sort data=preg;
by rol;
proc logistic order=data descending;
model rol=avgz relsize nnegz nterms;
run;
【０１３９】
表Ｘは、ＳＡＳにより生成された出力ファイルを示す。それは訓練された知識ベース内に見つけられた式中の係数として使用されるパラメータ推定量を含む。表ＸのＳＡＳ出力からの一次方程式は、
０．７５４９−１４．０６２２^*ｆ［１］−１４．２１４８^*ｆ［２］−０．０５６０^*ｆ［３］＋０．１２３４^*ｆ［４］
である。ここで、ｆ［１］乃至ｆ［４］はそれぞれ次ぎのＳＡＳ出力中の変数に対応する。ＡＶＧＺ、ＲＥＬＳＩＺＥ、ＮＮＥＧＺ、及びＮＴＥＲＭＳ。そして、上式でｆ［１］乃至ｆ［４］に掛算される係数は、ＳＡＳ出力中の上述の変数のすぐ右側のパラメータ推定量（Ｐａｒａｍｅｔｅｒ Ｅｓｔｉｍａｔｅｓ）に対応する。
【０１４０】
以下のＳＡＳプログラムに対する入力ファイルの一例、ｒｅｇｒｅｓｓｉｏｎ．ｓｅｔ．ｆｅａｕｒｅｓ’、は表ＩＸの欄１乃至６の内容である。しかし、欄のヘッダーは含まない。
【０１４１】

【０１４２】
オプショナルなステップは、一次方程式を選択するステップ５０５である。上記のＳＡＳプログラムは全ての与えられた特徴（ａｖｇｚ、ｒｅｌｓｉｚｅ、ｎｎｅｇｚ、及びｎｔｅｒｍｓ）を使用する。従って、ＳＡＳ出力ファイル内には単に一組のパラメータ推定量が存在する。しかし、このＳＡＳプログラムは、特徴の異なる組合せを評価するために修正できる。これはロジステイックｐｒｏｃ（プロシージャー）のステップ方式オプションを使用してなされる。このオプションにより、最尤解析が特徴のどの組合せが最も良く動作するかを評価するために使用できる。選択された方程式は最小数の特徴を有し、それに関連した最大の一致した値を有する。しかし、トレード・オフが存在する。方程式中の特徴のより大きい数は、その方程式に関連したより大きい一致した値を持つ。しかし、方程式中の特徴の数が増加すると、方程式の予測パワーが減少する。従って、わずかな特徴を持つが関連する一致した値が最大の一致値に近い方程式を選択するのが最良である。
【０１４３】
以下が、特徴の異なる組を評価するためのステップ方式オプションを使用したＳＡＳプログラムの一例である。
【０１４４】
filename pdata 'regression.set.features';
data preg;
infile pdata;
input pid avgz relsize nnegz nterms rol;
proc sort data=preg;
by rol;
proc logistic order=data descending;
model rol=avgz relsize nnegz nterms;
/ selection=stepwise
details
ctable;
run;
【０１４５】
ＶＩ．各文章単位についての特徴の生成
図６は、図５の各文章単位についての特徴を生成するサブプロセス５０３の拡張を示す。図６を参照すると、このサブプロセスへの入力は、１）表Ｖに示されるように関連したＺ値を持った用語及びトークンのリスト、及び２）表ＩＩ、ＩＩＩ、及びＩＶに示されるようなセンテンスである。
【０１４６】
このサブプロセスの出力は、各センテンスについての特徴のリストである。表ＩＸは、表Ｖ中の用語／トークンＺ値を使用して表ＩＩＩ中のセンテンスの組について生成された特徴を含む。
【０１４７】
訓練された知識ベースを生成するために訓練＆検査ＲＯＬ認識サブプロセス２０２を使用する時、各文章単位について特徴を生成するサブプロセス５０３が、最終的に訓練された知識ベースの一部である方程式を生成するためのＳＡＳロジステイックｐｒｏｃへの入力となる特徴を生成する。また、判例のどのセンテンスがＲＯＬ文章単位であるかを決定するための判例法ドキュメント中の文章単位を見つけ＆印付けるサブプロセス２０５を使用する時、各文章単位について特徴を生成するサブプロセス５０３は各センテンスについてのスコアを計算するために使用する特徴を生成する。
【０１４８】
以下に、どのようにいくつかの特徴が計算されるかを説明する。これらの特徴は、他のクラスから１つのクラスを区別することのできる能力の程度、すなわち、〜ＲＯＬからＲＯＬを区別することのできる能力の程度に従って提供される。最も能力のある特徴が最初に提供される。これらの特徴の全て又はいくつかが使用できる。オプショナルな選択式ステップ５０５がこれらの特徴の最良なものを選択するために使用できる。代替的に、ロジステイック回帰を実行するステップ５０４は、これらの特徴の全てを使用するために使用できる。
【０１４９】
全ての特徴を使用することが、５００万程度にもなる大変大きなドキュメントの資料に適用されるため本発明のＲＯＬ又は〜ＲＯＬの実施の形態について推奨される。しかし、結果としての分類システムが適用される顕著に少ないドキュメントの資料を持ったＲＯＬ／〜ＲＯＬとは異なる２進分類仕事に対しては、全ての特徴よりは少ない特徴でもって行なうことができるだろう。前に分類された文章単位が文章単位の全資料の代表であると仮定すると、ステップ方式のロジステイック回帰はどの特徴が必要かを決定する。
【０１５０】
図７に示されるサブプロセスの実行により、文章単位についての平均Ｚ値の計算が開始される。図７のサブプロセスは、以下の各文章単位の用語＆トークン獲得という表題においてより詳しく説明される。簡単には、サブプロセスは、センテンス内の全ての用語及びトークンを獲得することにより開始され、そして、表Ｖに示されるような表から各用語／トークンのＺ値が得られる。これらのＺ値は加算されて、そして結果はそのセンテンス中の用語／トークンの数で割算される。
【０１５１】
例えば、表ＩＩＩの回帰組のセンテンスＳ１８、すなわち、「訴訟物の裁判籍」、の３つの用語のＺ値は、それぞれ、１．２１８２９、−０．２４５９７、及び、１．２１８２９である（表ＩＶ及びＩＸを参照）。従って、平均Ｚ値は、（１．２１８２９−０．２４５９７＋１．２１８２９）／３＝０．７３０２である。
【０１５２】
センテンス中の用語／トークンの数の決定は、図７のサブプロセスの実行により開始される。図７のサブプロセスは、以下の各文章単位の用語＆トークン獲得という表題においてより詳しく説明される。簡単には、サブプロセスは、センテンス内の全ての用語及びトークンを獲得することで開始され、そして、これら用語／トークンがカウントされる。
【０１５３】
例えば、センテンスＳ１８、すなわち、「訴訟物の裁判籍」、中の用語／トークンの数は３つである。他の例については、表ＩＸを参照。
【０１５４】
センテンスの相対的大きさの決定は、図７のサブプロセスの実行により開始される。図７のサブプロセスは、以下の各文章単位の用語＆トークン獲得という表題においてより詳しく説明される。簡単には、サブプロセスは、センテンス内の全ての用語及びトークンを獲得することで開始される。次に、３つの用語／トークンがカウントされる。最後に、このカウントは、訓練された知識ベース内に見つけられるいずれかのセンテンス中の用語／トークンの最大数の推定値により割算される。
【０１５５】
例えば、表ＩＸ中で、センテンスＳ１８、すなわち、「訴訟物の裁判籍」（表ＩＸ参照）、の相対的な大きさは、３／２００＝０．０１５である。ここで、２００が訓練された知識ベース中にみつけられるいずれかのセンテンス中の用語／トークンの最大数の推定値である。
【０１５６】
センテンス中の負のＺ値を持った用語／トークンの数の決定は、図７のサブプロセスの実行により開始される。図７のサブプロセスは、以下の各文章単位の用語＆トークン獲得という表題においてより詳しく説明される。簡単には、サブプロセスは、センテンス内の全ての用語及びトークンを獲得することで開始される。そして、表Ｖのような表から各用語／トークンのＺ値が得られて、負のＺ値を持つ用語／トークンがカウントされる。
【０１５７】
例えば、表ＩＸ中で、センテンスＳ１８、すなわち、「訴訟物の裁判籍」、の用語のＺ値はそれぞれ、１．２１８２９、−０．２４５９７、及び１．２１８２９である（表ＩＶ及びＩＸ参照）。従って、負のＺ値を持った用語／トークンの数はひとつ（１）である。
【０１５８】
センテンス中の二重引用符中の単語の数の決定が、二重引用符（"）中のセンテンスの全ての文章ストリングを見つけることにより開始される。そして、これらの引用ストリング中の２字以上の単語がカウントされる。
【０１５９】
例えば、センテンスＳ１２（表ＩＩＩ参照）：
被上訴人への権限の鎖の不動産権利証書が上訴人への権限の鎖のそれよりも先日付であることは、この問題には関係が無い。上訴人が「表見上の権限」を持たなければならないことだけである。(It is irrelevant in this matter that the deed to appellee's chain of title predated that to the appellants' chain of title. Appellants must have only "color of title.")
は、２字以上の３つの単語を含んだひとつの引用ストリング、"color of title."、を有する。
【０１６０】
平均Ｚ値は、ゼロより小さい平均Ｚ値、すなわち、ＲＯＬクラスに有利な、を持ったセンテンスについてのみ決定できる。この手法は、文章単位がひとつのセンテンスよりも大きい時に使用できる。最初に、文章単位がセンテンスに分割され、第２に、上述したようにして文章単位の各センテンスについて平均Ｚ値が計算される。第３に、負の平均Ｚ値を持ったセンテンスの平均Ｚ値が加算され、そしてこのようなセンテンスの数により割算される。
【０１６１】
例えば、文章単位がセンテンスの代わりにパラグラフであり、興味のあるパラグラフは表Ｉのサンプル判例からのものと仮定すると：
「抵当権は借金又は他の義務の単なる担保にすぎず、借金又は義務からは独立に存在できない（＜ＣＡＳＥＣＩＴＥ＞コップ対サンズ・ポイント・マリーナ、１７ＮＹ２ｄ２９１、２９２、２７０Ｎ．Ｙ．Ｓ．２ｄ５９９、２１７Ｎ．Ｅ．２ｄ６５４＜／ＣＡＳＥＣＩＴＥ＞参照）。ここで、抵当権が担保する借金は明らかに訴えの提起前に満足されていたから、訴えを棄却すべき申立ては適正に許可されている。」（"A mortgage is merely security for a debt or other obligation and cannot exist independently of the debt or obligation (See, <CaseCite>Copp v Sands Point Marina, 17NY2d291,292,270N.Y.S.2d599,217N.E.2d654</Casecite>).Here, the motion to dismiss the complaint was properly granted since the debt which the mortgage secured concededly was satisfied prior to the commencement of the action."）
このパラグラフは２つのセンテンスを含む：
Ａ０３「抵当権は借金又は他の義務の単なる担保にすぎず、借金又は義務からは独立に存在できない（＜ＣＡＳＥＣＩＴＥ＞コップ対サンズ・ポイント・マリーナ、１７ＮＹ２ｄ２９１、２９２、２７０Ｎ．Ｙ．Ｓ．２ｄ５９９、２１７Ｎ．Ｅ．２ｄ６５４＜／ＣＡＳＥＣＩＴＥ＞参照）。」（"A mortgage is merely security for a debt or other obligation and cannot exist independently of the debt or obligation (See, <CaseCite>Copp v Sands Point Marina, 17NY2d291,292,270N.Y.S.2d599,217N.E.2d654</Casecite>).）
【０１６２】
Ａ０４「ここで、抵当権が担保する借金は明らかに訴えの提起前に満足されていたから、訴えを棄却すべき申立ては適正に許可されている。」（Here, the motion to dismiss the complaint was properly granted since the debt which the mortgage secured concededly was satisfied prior to the commencement of the action."）
【０１６３】
これら２つのセンテンスの平均Ｚ値はそれぞれ、−０．３２７８及び０．３７６５である。負の平均Ｚ値を持ったすべてのセンテンスの平均Ｚ値を加算して、そしてそのようなセンテンスの数により割り算すると、−０．３２７８の値が得られる。この例では、単にひとつのセンテンス、センテンスＡ０３、が負のＺ値を有することに注意する。
【０１６４】
平均Ｚ値はまた、最大の負のＺ値を持つセンテンス、すなわち、最もＲＯＬクラスに有利なセンテンスについて決定できる。この手法は文章単位がひとつのセンテンスよりも大きい時に使用される。最初に、各文章単位がセンテンスに分割され、第２に、上述したようにして各文章単位の各センテンスについて平均Ｚ値が計算される。第３に、ＲＯＬクラスに最も有利な平均Ｚ値を持ったセンテンスが見つけられる。好適な実施の形態では、このセンテンスは最大の負の平均Ｚ値を持つものである。
【０１６５】
ＶＩＩ．各文章単位の用語＆トークンの獲得
トークンの目的は、句又は単語のようなラベルを付けることである。例えば、判例の引用はラベルＣＡＳＥ＿ＣＩＴＥ＿ＴＯＫを与えられる。これらのラベルは、訓練セッション中で使用された前分類されたセンテンス中のトークンの１つの場合（例えば、判例引用の１つの場合）よりもよりしばしば発生する傾向がある。従って、トークンラベルのＺ値はＲＯＬ（大きな負のＺ値）又は〜ＲＯＬ（大きな正のＺ値）のいずれかと高い相関関係を有する傾向がある。これはずっと大きいセンテンスの資料を代表する訓練のために必要とされる前分類されたセンテンスの数を減少する１つの方法である。
【０１６６】
図７は、図６に示される各文章単位についての用語及びトークンを獲得するためのステップ６００中のサブプロセス・ステップ７００、７０１、７０２を説明する。このサブプロセスへの入力は、文章ストリングの形式のセンテンスである。出力は、そのセンテンス中に見つけられた用語及びトークンの規格化されたリストである。
【０１６７】
このサブプロセスは基本的に、入力されたセンテンスを表わす規格化された用語及びトークンのリストを生成する。これは、もし、トークン名に対応したいずれかの文章ストリングが文章中に発見された場合、入力された文章ストリングに指定されたトークン名を追加することにより達成される。トークン名は文章を置換えても良いし、又は文章に追加しても良い。
【０１６８】
一般に、トークンを文章と置換えるよりは文章へ追加することが最良である。何故ならば、トークンの個別の例の文章は反対のトークン（例えば、〜ＲＯＬの代わりにＲＯＬ）と相関関係を持つＺ値を有するからである。しかし、いくつかの場合では、日付及び引用などのトークンの文章を構成する部分が〜ＲＯＬ又はＲＯＬのいずれと高い相関関係を持たず、間違ったトークンと高い相関関係を有するかもしれない。これらの場合では、対応するトークンでそのセンテンス中の文章を置換えることが好ましい。
【０１６９】
トークン名と関連を持つ文章ストリングは２つのタイプがある。１）リスト、及び２）通常の表現である。トークン名が入力されると、用語又はトークンでないものはいずれもが入力された文章ストリングから取除かれる。
【０１７０】
以下のセンテンスＳ０４が、入力センテンスの例として使用される。
【０１７１】
当局の最終アクション前に、ＭＳＨＡが鉱山法に従うための誠実な努力を構成できるパートＩＩＩ（Ｃ）に記載されるようなスケジュールに実質的に従うことをしなかった場合、ＵＭＷＡは本裁判所に追加の適当な救済の許諾を申立てることができる。＜ＣＡＳＥＣＩＴＥ＞モンロー、８４０Ｆ．２ｄ９４７頁＜／ＣＡＳＥＣＩＴＥ＞；＜ＣＡＳＥＣＩＴＥ＞ＴＲＡＣ、７５０Ｆ．２ｄ８０−８１頁＜／ＣＡＳＥＣＩＴＥ＞参照；＜ＣＡＳＥＣＩＴＥ＞ゼッガー、７６８Ｆ．２ｄ１４８８頁＜ＣＡＳＥＣＩＴＥ＞参照（「もし、ＭＳＨＡが本裁判所に提出した見積りに従うための適正な誠実さを持った行動をしない場合、請願人はＭＳＨＡに対して規則制定プロセスを至急に完了するため指示する訴えができる。」）(Prior to final agency action, the UMWA may petition this court to grant additional appropriate relief in the event MSHA fails to adhere substantially to a schedule that would, as described in Part III(C), constitute a good faith effort by MSHA to come into compliance with the Mine Act. See <CASECITE>Monroe, 840F.2d at 947</CASECITE>;<CASECITE>TRAC, 750F.2d at 80-81</CASECITE>; See also <CASECITE>Zegeer, 768F.2d at 1448<CASECITE> ("If MSHA should fail to act with appropriate diligence in following the estimates it has tendered to this court, petitioners may invoke our authority to direct MSHA to complete the rulemaking process with due dispatch."))
【０１７２】
図７のサブプロセス６００は、トークン名を文章ストリングに追加し、単語文字ではない文字を取除き、そして全ての用語を大文字にする、それぞれのステップ７００、７０１、及び７０２を含む。
【０１７３】
文章ストリングへトークン名を追加する時、特定のトークン名が入力文章ストリングへ追加されるべきかどうかを決定するプロセスは、訓練された知識ベース内のトークンの対応する変数が１に設定されている場合にのみ、実行される。例えば、判例引用トークン、ＣＡＳＥ＿ＣＩＴＥ＿ＴＯＫ、が追加されるべきかどうかを決定するためのプロセスは、以下の変数の場合のみ実行される。
ＣＡＳＥ＿ＣＩＴＡＴＩＯＮ＝１
【０１７４】
以下に、好適な実施の形態の説明的なトークン名のリストと、その後に各名前が追加されるべきかを決定するプロセスの説明が続く。（ａ）ＣＡＳＥ＿ＣＩＴＥ＿ＴＯＫ、（ｂ）ＳＴＡＴ＿ＣＩＴＥ＿ＴＯＫ、（ｃ）ＰＲＯＮＯＵＮ＿ＴＯＫ、（ｄ）ＤＡＴＥ＿ＴＯＫ、（ｅ）ＦＩＲＳＴ＿ＮＡＭＥ＿ＴＯＫ、（ｆ）ＤＯＬＬＡＲ＿ＡＭＴ＿ＴＯＫ、（ｇ）ＰＡＲＴＹ＿ＴＯＫ、（ｈ）ＰＡＳＴ＿ＴＥＮＳＥ＿ＶＥＲＢ＿ＴＯＫ、及び（Ｉ）ＰＲＥＳＥＮＴ＿ＴＥＮＳＥ＿ＴＯＫ。
【０１７５】
（ａ）トークン名、ＣＡＳＥ＿ＣＩＴＥ＿ＴＯＫ、はセンテンス中に見つけられたどんな判例引用と置換える。ここで、判例引用は例えばｓｇｍｌタグに似たあるマークアップ：＜ＣＡＳＥＣＩＴＥ＞…＜／ＣＡＳＥＣＩＴＥ＞で囲まれる。置換えを行なうパール・コードは次ぎの通りである。
s/<CASECITE>.?<＼/CASECITE>/ CASE_CITE_TOK /g;
（ａ）の完了後、例の文章ストリングは次ぎの様になる。
【０１７６】
当局の最終アクション前に、ＭＳＨＡが鉱山法に従うための誠実な努力を構成できるパートＩＩＩ（Ｃ）に記載されるようなスケジュールに実質的に従うことをしなかった場合、ＵＭＷＡは本裁判所に追加の適当な救済の許諾を申立てることができる。ＣＡＳＥ＿ＣＩＴＥ＿ＴＯＫ；ＣＡＳＥ＿ＣＩＴＥ＿ＴＯＫ参照；ＣＡＳＥ＿ＣＩＴＥ＿ＴＯＫ参照（「もし、ＭＳＨＡが本裁判所に提出した見積りに従うための適正な誠実さを持った行動をしない場合、請願人はＭＳＨＡに対して規則制定プロセスを至急に完了するため指示する訴えができる。」）(Prior to final agency action, the UMWA may petition this court to grant additional appropriate relief in the event MSHA fails to adhere substantially to a schedule that would, as described in Part III(C), constitute a good faith effort by MSHA to come into compliance with the Mine Act. See CASE_CITE_TOK; CASE_CITE_TOK; See also CASE_CITE_TOK ("If MSHA should fail to act with appropriate diligence in following the estimates it has tendered to this court, petitioners may invoke our authority to direct MSHA to complete the rulemaking process with due dispatch."))
以上に示されるように、文章ストリング中に３つの判例の引用が見つけられた。
【０１７７】
（ｂ）トークン名、ＳＴＡＴ＿ＣＩＴＥ＿ＴＯＫ、はセンテンス中に見つけられたどんな制定法引用と置換える。ここで、制定法引用は例えばｓｇｍｌタグに似たあるマークアップ：例えば、＜ＳＴＡＴＣＩＴＥ＞…＜／ＳＴＡＴＣＩＴＥ＞で囲まれるか、又は、１つ又は複数のスペース及び１つ又は複数の数字が後に続く以下の＄Ｓ、＄Ｚ、セクション又は章、の１つのいずれかである。。置換えを行なうパール・コードは次ぎの通りである。
【０１７８】
s/<STATCITE>.?<＼/STATCITE>/ STAT_CITE_TOK /g;
s/(?:＼$[SZ]|[Ss]ection|[cC]apter)＼s+＼d+/ STAT_CITE_TOK /g;
（ｂ）の完了後、このセンテンス中には制定法が見つからないため、例の文章ストリング中には変化がない。
【０１７９】
（ｃ）トークン名、ＰＲＯＮＯＵＮ＿ＴＯＫ、はセンテンス中に好ましくはメモリ内に記憶された代名詞のリストから識別される代名詞が見つけられる時、文章ストリングに追加される。（ｃ）の完了後、例の文章ストリングは次ぎの様になる。
【０１８０】
当局の最終アクション前に、ＭＳＨＡが鉱山ＰＲＯＮＯＵＮ＿ＴＯＫ法に従うための誠実な努力を構成できるパートＩＩＩ（Ｃ）に記載されるようなスケジュールに実質的に従うことをしなかった場合、ＵＭＷＡは本裁判所に追加の適当な救済の許諾を申立てることができる。ＣＡＳＥ＿ＣＩＴＥ＿ＴＯＫ；ＣＡＳＥ＿ＣＩＴＥ＿ＴＯＫ参照；ＣＡＳＥ＿ＣＩＴＥ＿ＴＯＫ参照（「もし、ＭＳＨＡが本裁判所に提出した見積りに従うための適正な誠実さを持った行動をしない場合、請願人はＭＳＨＡに対して規則制定プロセスを至急に完了するため指示する訴えができる。」）(Prior to final agency action, the UMWA may petition this court to grant additional appropriate relief in the event MSHA fails to adhere substantially to a schedule that would, as described in Part III(C), constitute a good faith effort by MSHA to come into compliance with the Mine PRONOUN_TOK Act. See CASE_CITE_TOK; CASE_CITE_TOK; See also CASE_CITE_TOK ("If MSHA should fail to act with appropriate diligence in following the estimates it has tendered to this court, petitioners may invoke our authority to direct MSHA to complete the rulemaking process with due dispatch."))
この例では、「鉱山法」中の「鉱山」が代名詞として認識される。
【０１８１】
（ｄ）トークン名、ＤＡＴＥ＿ＴＯＫ、はセンテンス中に見つけられたどんな日付と置換える。ここで、日付は、月、又は、４つの数字の年若しくは１つ又は２つの数字の日とコンマと２つ又は４つの数字の年のいずれかが後に続く月の省略形のいずれかである。また、もし、月の名前が日又は年を有さずに完全に与えられていれば、これは日付として許容される。この置換えを行なうパールコードは通りである。
【０１８２】
s/＼b${month}＼b＼s*＼d+＼s*＼d+/ DATE_TOK /gi;
s/＼b${smonth}＼b＼s*＼d+＼s*＼d+/ DATE_TOK /gi;
ここで、
$month="January|February|March|April|May|June|July|August|September|October|November|December"、そして
$smonth="Jan|Feb|Mar|Apr|May|Jun|Jul|Aug|Sep|Oct|Nov|Dec"である。
【０１８３】
（ｄ）の完了後、このセンテンス中には日付が見つからないため、例の文章ストリング中には変化がない。
（ｅ）トークン名、ＦＩＲＳＴ＿ＮＡＭＥ＿ＴＯＫ、はセンテンス中に好ましくはメモリ内に記憶されたファースト・ネームのリストからのファースト・ネームが見つけられた時にセンテンスの文章に追加される。（ｅ）の完了後、例の文章ストリングは次ぎの様になる。
【０１８４】
当局の最終アクション前に、ＭＳＨＡが鉱山ＰＲＯＮＯＵＮ＿ＴＯＫ法に従うための誠実なＦＩＲＳＴ＿ＮＡＭＥ＿ＴＯＫ努力を構成できるパートＩＩＩ（Ｃ）に記載されるようなスケジュールに実質的に従うことをしなかった場合、ＵＭＷＡは本裁判所に追加の適当な救済の許諾ＦＩＲＳＴ＿ＭＡＭＥ＿ＴＯＫを申立てることができる。ＣＡＳＥ＿ＣＩＴＥ＿ＴＯＫ；ＣＡＳＥ＿ＣＩＴＥ＿ＴＯＫ参照；ＣＡＳＥ＿ＣＩＴＥ＿ＴＯＫ参照（「もし、ＭＳＨＡが本裁判所に提出した見積りに従うための適正な誠実さを持った行動をしない場合、請願人はＭＳＨＡに対して規則制定プロセスを至急に完了するため指示する訴えができる。」）(Prior to final agency action, the UMWA may petition this court to grant FIRST_NAME_TOK additional appropriate relief in the event MSHA fails to adhere substantially to a schedule that would, as described in Part III(C), constitute a good faith FIRST_NAME_TOK effort by MSHA to come into compliance with the Mine PRONOUN_TOK Act. See CASE_CITE_TOK; CASE_CITE_TOK; See also CASE_CITE_TOK ("If MSHA should fail to act with appropriate diligence in following the estimates it has tendered to this court, petitioners may invoke our authority to direct MSHA to complete the rulemaking process with due dispatch."))
この例では、「許諾」及び「誠実」がファースト・ネームとして認識される。
【０１８５】
（ｆ）トークン名、ＤＡＬＬＡＲ＿ＡＭＴ＿ＴＯＫ、はセンテンス中に見つけられたどんなドル金額と置換える。ここで、ドル金額は、１つのスペースと数字の、ピリオド及びコンマのどんな組合せが後に続く“＄”である。この置換えを行なうパールコードは通りである。
【０１８６】
s/＼$＼s[0-9,.]+/ DOLLAR_AMT_TOK /g;
（ｆ）の完了後、センテンス中にドル金額が見つからないため、例の文章ストリング中に変化はない。
【０１８７】
（ｇ）トークン名、ＰＡＲＴＹ＿ＴＯＫ、はセンテンス中に好ましくはメモリ内に記憶された当事者名単語のリストからの当事者名単語が見つけられた時にセンテンスの文章に追加される。（ｇ）の完了後、例の文章ストリングはセンテンス中に当事者名が見つからないため変化がない。
【０１８８】
（ｈ）トークン名、ＰＡＳＴ＿ＴＥＮＳＥ＿ＶＥＲＢ＿ＴＯＫ、はセンテンス中に好ましくはメモリ内に記憶された過去時制動詞のリストからの過去時制動詞が見つけられた時にセンテンスの文章に追加される。（ｈ）の完了後、例の文章ストリングはセンテンス中に過去時制動詞が見つからないため変化がない。
【０１８９】
（ｉ）トークン名、ＰＲＥＳＥＮＴ＿ＴＥＮＳＥ＿ＶＥＲＢ＿ＴＯＫ、はセンテンス中に好ましくはメモリ内に記憶された現在時制動詞のリストからの現在時制動詞が見つけられた時にセンテンスの文章に追加される。（ｉ）の完了後、例の文章ストリングは次ぎの様になる。
【０１９０】
当局の最終アクション前に、ＭＳＨＡが鉱山ＰＲＯＮＯＵＮ＿ＴＯＫ法に従うための誠実なＦＩＲＳＴ＿ＮＡＭＥ＿ＴＯＫ努力を構成ＰＲＥＳＥＮＴ＿ＴＥＮＳＥ＿ＶＥＲＢ＿ＴＯＫできるＰＲＥＳＥＮＴ＿ＴＥＮＳＥ＿ＶＥＲＢ＿ＴＯＫパートＩＩＩ（Ｃ）に記載されるようなスケジュールに実質的に従うＰＲＥＳＥＮＴ＿ＴＥＮＳＥ＿ＶＥＲＢ＿ＴＯＫことをしなかった場合、ＵＭＷＡは本裁判所に追加の適当な救済の許諾ＦＩＲＳＴ＿ＭＡＭＥ＿ＴＯＫを申立てることができる。ＣＡＳＥ＿ＣＩＴＥ＿ＴＯＫ；ＣＡＳＥ＿ＣＩＴＥ＿ＴＯＫ参照ＰＲＥＳＥＮＴ＿ＴＥＮＳＥ＿ＶＥＲＢ＿ＴＯＫ；ＣＡＳＥ＿ＣＩＴＥ＿ＴＯＫ参照ＰＲＥＳＥＮＴ＿ＴＥＮＳＥ＿ＶＥＲＢ＿ＴＯＫ（「もし、ＭＳＨＡが本裁判所に提出した見積りに従うための適正な誠実さを持った行動をしない場合、請願人はＭＳＨＡに対して規則制定プロセスを至急に完了するため指示する訴えができる。」）(Prior to final agency action, the UMWA may petition this court to grant FIRST_NAME_TOK additional appropriate relief in the event MSHA fails to adhere PRESENT_TENSE_VERB_TOK substantially to a schedule that would PRESENT_TENSE_VERB_TOK, as described in Part III(C), constitute PRESENT_TENSE_VERB_TOK a good faith FIRST_NAME_TOK effort by MSHA to come into compliance with the Mine PRONOUN_TOK Act. See PRESENT_TENSE_VERB_TOK CASE_CITE_TOK; CASE_CITE_TOK; See PRESENT_TENSE_VERB_TOK also CASE_CITE_TOK ("If MSHA should fail to act with appropriate diligence in following the estimates it has tendered to this court, petitioners may invoke our authority to direct MSHA to complete the rulemaking process with due dispatch."))
【０１９１】
この例では、「従う（adhere）」、「できる（would）」、「構成（constitute）」、及び「参照（see）」が現在時制動詞として認識される。トークン名を文章ストリングに追加して、次ぎのステップ７０１は、文字、数字、ダッシュ、スペースのいずれかを構成しない字のどんなストリングが除去される。どんな単一文字用語も除去される。これにより、文章単位中の文章でスペースにより分離された用語及びトークンのみが残る。この置換えを行なうパール・コードは次の通りである。
【０１９２】
s/[,.;:'"?＼$#@＼|＼/＼＼＼[＼]＼(＼)＼{＼}＼!＼%＼+＼=<>＼-]+/ /g; s＼b[a-zA-z]＼b//g;
非単語文字を除去すると、例の文字ストリングは次ぎの様になる。
【０１９３】
当局の最終アクション前にＭＳＨＡが鉱山ＰＲＯＮＯＵＮ＿ＴＯＫ法に従うための誠実なＦＩＲＳＴ＿ＮＡＭＥ＿ＴＯＫ努力を構成ＰＲＥＳＥＮＴ＿ＴＥＮＳＥ＿ＶＥＲＢ＿ＴＯＫできるＰＲＥＳＥＮＴ＿ＴＥＮＳＥ＿ＶＥＲＢ＿ＴＯＫパートＩＩＩＣに記載されるようなスケジュールに実質的に従うＰＲＥＳＥＮＴ＿ＴＥＮＳＥ＿ＶＥＲＢ＿ＴＯＫことをしなかった場合ＵＭＷＡは本裁判所に追加の適当な救済の許諾ＦＩＲＳＴ＿ＭＡＭＥ＿ＴＯＫを申立てることができるＣＡＳＥ＿ＣＩＴＥ＿ＴＯＫ ＣＡＳＥ＿ＣＩＴＥ＿ＴＯＫ参照ＰＲＥＳＥＮＴ＿ＴＥＮＳＥ＿ＶＥＲＢ＿ＴＯＫ ＣＡＳＥ＿ＣＩＴＥ＿ＴＯＫ参照ＰＲＥＳＥＮＴ＿ＴＥＮＳＥ＿ＶＥＲＢ＿ＴＯＫもしＭＳＨＡが本裁判所に提出した見積りに従うための適正な誠実さを持った行動をしない場合請願人はＭＳＨＡに対して規則制定プロセスを至急に完了するため指示する訴えができる(Prior to final agency action the UMWA may petition this court to grant FIRST_NAME_TOK additional appropriate relief in the event MSHA fails to adhere PRESENT_TENSE_VERB_TOK substantially to schedule that would PRESENT_TENSE_VERB_TOK as described in Part III constitute PRESENT_TENSE_VERB_TOK good faith FIRST_NAME_TOK effort by MSHA to come into compliance with the Mine PRONOUN_TOK Act See PRESENT_TENSE_VERB_TOK CASE_CITE_TOK CASE_CITE_TOK See PRESENT_TENSE_VERB_TOK CASE_CITE_TOK also If MSHA should fail to act with appropriate diligence in following the estimates it has tendered to this court petitioners may invoke our authority to direct MSHA to complete the rulemaking process with due dispatch)
【０１９４】
最終ステップは、全ての用語を規格化又は大文字化する７０２。このステップの完了後、例の文章ストリングは次ぎの様になる。
(PRIOR TO FINAL AGENCY ACTION THE UMWA MAY PETITION THIS COURT TO GRANT FIRST_NAME_TOK ADDITIONAL APPROPRIATE RELIEF IN THE EVENT MSHA FAILS TO ADHERE PRESENT_TENSE_VERB_TOK SUBSTANTIALLY TO SCHEDULE THAT WOULD PRESENT_TENSE_VERB_TOK AS DESCRIBED IN PART III CONSTITUTE PRESENT_TENSE_VERB_TOK GOOD FAITH FIRST_NAME_TOK EFFORT BY MSHA TO COME INTO COMPLIANCE WITH THE MINE PRONOUN_TOK ACT SEE PRESENT_TENSE_VERB_TOK CASE_CITE_TOK CASE_CITE_TOK SEE PRESENT_TENSE_VERB_TOK ALSO CASE_CITE_TOK IF MSHA SHOULD FAIL TO ACT WITH APPROPRIATE DILIGENCE IN FOLLOWING THE ESTIMATES IT HASE TENDERED TO THIS COURT PETITIONERS MAY INVOKE OUR AUTHORITY TO DIRECT MSHA TO COMPLETE THE RULEMAKING PROCESS WITH DUE DISPATCH)
【０１９５】
各文章単位について用語及びトークンの獲得が完了した際、プロセスはコンテキストに依存して適当なステップに戻る。例えば、図５に示されるようなサブプロセス３０２を使用して一次回帰方程式を生成するとき、プロセスは分類毎に頻度数を蓄積するステップ５０１に続く。同様に、図６に示されるように各文章単位について特徴を生成するサブプロセス５０３を使用するとき、プロセスは各用語又はトークンについてＺ値を得るステップ６０１に続く。
【０１９６】
上述の説明と図面は本発明の原理の説明目的だけに考察されるべきである。本発明は、好適な実施の形態に限定されず、さまざまな形と大きさで構成できる。本発明の数多い応用が当業者に容易に思い付くことができる。本発明は広くはどんな２進分類仕事についても使用でき、２進分類に従い文章の１つのカテゴリー又は他のいずれかに属するものとして文章単位を分類するために開示された方法を使用するどんなものをも含むことを意図している。例えば、本発明は文章単位を「事実」又は「議論」のいずれかとして分類するために使用できる。従って、本発明を説明され図示された特定の開示された例又は正確な応用及び作用に限定することは望んではいない。むしろ、本発明の範囲内に全ての適当な修正及び均等物が含まれる。
【図面の簡単な説明】
【図１】 本発明のシステム及び方法を実現する例示的なハードウェア構成を説明する図。
【図２】 本発明の法の支配の方法を好適に実現する高レベル・フローチャート。
【図３】 図２中の訓練＆検査ＲＯＬ認識ステップのフロー図。
【図４】 本発明による訓練された知識ベース開発中に閾値を割当てるためのプロセスのフロー図。
【図５】 図３中のの一次回帰方程式生成ステップのフロー図。
【図６】 図４中の各文章単位ステップについての特徴生成のフロー図。
【図７】 図６中の文章単位の用語＆トークン獲得ステップのフロー図。

Claims (12)

1. 特定のタイプの文章単位であるか或いはそうでないかの何れかとしてドキュメント内の文章単位の二項分類するために、訓練知識ベースを生成するコンピュータで実行される方法であって、
   用語及びトークンに分けられる前記文章単位は、平均Ｚ値を少なくとも含む数値で表現される特定可能な特徴を有し、
   ユーザインタフェースを介して、初期化された知識ベースを前記コンピュータで受信するステップと、
   ユーザインタフェースを介して、文章単位の訓練セットを前記コンピュータで受信するステップであって、前記訓練セットの各文章単位は、前記特定のタイプの文章単位であるか或いはそうでないかの何れかとして既に正確に分類されている当該ステップと、
   前記コンピュータの中央処理装置が、
   (a)前記受信された訓練セットを、回帰サブセット及びキャリブレーション・サブセットにランダムにパーティション化するステップと、
   (b)前記回帰サブセットの文章単位内にある用語及びトークンの全てに関するＺ値を生成するステップと、
   (c)前記生成したＺ値を基に、前記回帰サブセットの各文章単位に関する平均Ｚ値を計算するステップと、
   (d)前記回帰サブセットの各文章単位に関する他の特徴のために数値を生成するステップと、
   (e)ロジステイック回帰に基づき、ドキュメント内の未分類の文章単位に関するスコアを計算するために、変数として前記平均Ｚ値及び選択された他の特徴の数値を含む一次方程式を生成するステップと、
   (f)前記訓練知識ベースを生成するために、前記回帰サブセットの各用語及びトークンに関する前記生成されたＺ値、前記一次方程式、及び前記キャリブレーション・サブセットを、前記初期化された知識ベースへ送信するステップと、
   を実行することを含む前記方法。
2. 一次方程式を生成する前記ステップにおいて、ロジステイック回帰は、前記一次方程式における変数の係数が決定されるために用いられる、請求項１に記載の方法。
3. 一次方程式を生成する前記ステップにおいて、前記選択された他の特徴とは、前記文章単位に含まれる各センテンス量の、当該文章単位に含まれる他のセンテンス量に対する相対的な量を示す相対サイズ、負のＺ値を有する用語及びトークンの数、並びに前記文章単位の用語及びトークンの数である、請求項１に記載の方法。
4. 一次方程式を生成する前記ステップにおいて、
   前記平均Ｚ及び変数として選択された他の特徴の異なる組合わせの数値を基に複数の前記一次方程式が生成され、前記一次方程式における変数の係数を決定するためにロジステイック回帰が用いられ、
   前記特徴の組合わせを評価するために最尤解析が用いられるとき、前記特徴の数は最少でありながら、前記最尤解析の評価の値が最大に一致する一次方程式を選択する、請求項１に記載の方法。
5. 前記回帰サブセットの各用語及びトークンに関する前記生成されたＺ値、前記一次方程式、及び前記キャリブレーション・サブセットを用いて、評価される各スコアに対する閾値を設定するステップを更に含み、
   前記閾値を設定するステップは、
   コンピュータの中央処理装置が、
   前記キャリブレーション・サブセットの各文章単位に関する前記一次方程式の解を計算するステップと、
   前記キャリブレーション・サブセットの各文章単位に関するスコアを生成するために、Ｓ字（シグモイド）関数を、前記キャリブレーション・サブセットの各文章単位に関する前記一次方程式の解に適用するステップと、
   前記キャリブレーション・サブセットの各文章単位を、前記スコアの下降順にランク付けするステップと、
   前記キャリブレーション・サブセットの文章単位を、前記特定のタイプの文章単位であるか或いはそうでないかに分けるスコアを前記閾値として設定するステップと、
   を実行すること含む請求項１に記載の方法。
6. 前記Ｓ字（シグモイド）関数は、ｅ ^x /（１＋ｅ ^x ）であり、ｘは前記一次方程式の解である、請求項５に記載の方法。
7. 前記一次方程式を生成するステップにおいて、変数として用いられる前記他の特徴は、前記文章単位に含まれる各センテンス量の、当該文章単位に含まれる他のセンテンス量に対する相対的な量を示す相対サイズ、負のＺ値を有する用語及びトークンの数、並びに前記文章単位の用語及びトークンの数を含む、請求項１に記載の方法。
8. 前記テキストは判例ドキュメントからのものであり、前記特定タイプの文章単位は「法の支配（ＲＯＬ）」、すなわち、法の一般的な説明であり、処理を導くことが意図されたある状況の組の下で、同様な状況を有するその後の状況に対して適用される原理である、請求項１に記載の方法。
9. 特定のタイプの文章単位であるか或いはそうでないかの何れかとしてドキュメント内の文章単位の二項分類を、前記請求項１〜８の何れか１項に従い生成される訓練された知識ベースに基づき行うためのコンピュータ実行による方法であって、用語及びトークンに分けられる前記文章単位は、平均Ｚ値を少なくとも含む数値で表現される特定可能な特徴を有し、
   前記コンピュータは、
   前記コンピュータのユーザインタフェースを介して、未分類のテキストをもつドキュメントを受信するステップと、
   前記訓練知識ベースを用いて、前記ドキュメントにおいて前記特定のタイプの文章単位を見つけてマーキングするステップとを含み、
   前記特定のタイプの文章単位を見つけてマーキングするステップは、さらに、
   a)前記受信されたドキュメントの予め決められた部分を見つけて抽出するステップ、
   b)抽出された部分を文章単位にパーティション化するステップ、
   c)前記訓練知識ベースを入力し又は参照するステップ、
   d)前記抽出された部分内にある用語及びトークンの全てに関するＺ値を生成するステップ、
   e)前記生成されたＺ値を基に、前記抽出された部分内にある用語及びトークンの全てに関する平均Ｚ値を計算するステップ、
   f)前記回帰サブセットの各文章単位に関する前記特徴のために数値を生成するステップ、
   g)少なくとも前記一次方程式を用いて、前記抽出された部分の各文章単位に関するスコアを計算するステップ、
   h)前記閾値より大きな計算されたスコアをもつ前記抽出された部分の文章単位を、前記特定のタイプの文章単位として識別するステップ、
   i)前記識別された特定のタイプの文章単位をマーキングするステップ、
   j)前記マーキングされた特定のタイプの文章単位とともに前記ドキュメントを出力するステップ、
   を含む請求項１〜８の何れか１項に記載の方法。
10. 前記抽出された部分の各文章単位に関するスコアを計算するステップは、
    前記抽出された部分の各文章単位に関する前記一次方程式の解を計算するステップと、
    前記抽出された部分の各文章単位に関するスコアを計算するために、前記抽出された部分の各文章単位に関する結果に対して、Ｓ字（シグモイド）関数を適用するステップと、
    を含む請求項９に記載の方法。
11. 前記Ｓ字（シグモイド）関数は、ｅ ^x /（１＋ｅ ^x ）であり、ｘは前記一次方程式の解である、請求項１０に記載の方法。
12. 特定のタイプの文章単位であるか或いはそうでないかを区別するために、訓練知識ベースを用いて入力ドキュメントからテキストを分類するシステムであって、
    用語及びトークンに分けられる前記文章単位は、平均Ｚ値を少なくとも含む数値で表現される特定可能な特徴を有し、
    初期化された知識ベースを前記コンピュータに入力する手段と、
    文章単位の訓練セットを前記コンピュータに入力する手段であって、前記訓練セットの各文章単位は、前記特定のタイプの文章単位であるか或いはそうでないかの何れかとして既に正確に分類されており、
    前記入力された訓練セットを、回帰サブセット及びキャリブレーション・サブセットにランダムにパーティション化する手段と、
    前記回帰サブセットの文章単位内にある用語及びトークンの全てに関するＺ値を生成する手段と、
    前記生成したＺ値を基に、前記回帰サブセットの各文章単位に関する平均Ｚ値を計算する手段と、
    前記回帰サブセットの各文章単位に関する他の特徴のために数値を生成する手段と、
    ロジステイック回帰に基づき、ドキュメント内の未分類の文章単位に関するスコアを計算するために、一次方程式を生成する手段であって、前記一次方程式は変数として前記平均Ｚ値及び選択された他の特徴の数値を含む当該手段と、
    前記回帰サブセットの各用語及びトークンに関する前記生成されたＺ値、前記一次方程式、並びに前記キャリブレーション・サブセットを用いて、評価される各スコアに対する閾値を設定する手段と、
    前記訓練知識ベースを生成するために、前記回帰サブセットの各用語及びトークンに関する前記生成されたＺ値、前記一次方程式、並びに前記閾値を、前記初期化された知識ベースに入力する手段と、
    を備えたシステム。

Images