JP4773672B2 - 文章中の法の支配を見つけるためのコンピュータ・ベース・システム及び方法 - Google Patents
文章中の法の支配を見つけるためのコンピュータ・ベース・システム及び方法 Download PDFInfo
- Publication number
- JP4773672B2 JP4773672B2 JP2002500328A JP2002500328A JP4773672B2 JP 4773672 B2 JP4773672 B2 JP 4773672B2 JP 2002500328 A JP2002500328 A JP 2002500328A JP 2002500328 A JP2002500328 A JP 2002500328A JP 4773672 B2 JP4773672 B2 JP 4773672B2
- Authority
- JP
- Japan
- Prior art keywords
- sentence
- sentence unit
- value
- regression
- subset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99932—Access augmentation or optimizing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
- Y10S707/99935—Query augmenting and refining, e.g. inexact access
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Description
(発明の背景)
(発明の属する技術分野)
本発明は、2進分類の分野に関し、より詳細には、判例法ドキュメント中の法の支配を構成する文章単位の2進分類コンピュータ自動化システム及び方法に関する。
【0002】
(従来の技術)
制定法、行政府規則、及び憲法の適正な解釈について不一致が生じた時、我が国の上級裁判所はそれら意味を確立した司法的基準を適用することで明確にする。これらの適用についての記述は判決として知られている。特定の制定法又は憲法の規定を理解するために、裁判所がそれをどのように解釈しているかを見なければならない。すなわち、判決を読まなければならない。
【0003】
各判例法は、争点の性質及び判決の基礎を記載している。裁判所は全てのロー・スクールで教えられており、法の実務において使用されている法的理由付けの基本的方法を適用する。判例法ドキュメントの大部分は、事実及びその事件の手続的な経緯を述べるイントロダクションから始まる。そして、裁判所は争点の問題を識別して、その問題に関する優勢な法の説明、その問題についての裁判所の決定、そしてその決定についての裁判所の理由付けが続く。最後に、下級の裁判所の判決を取消すか又は肯定するかのいずれかのその裁判所の全体的処分の説明がある。
【0004】
判決を先例として適用するためには、将来の訴訟に対する判決の重要性と将来の事件に適用できるであろう一般的な法原理を判断しなければならない。判決は、ある事実の組が存在する時に、法はある仕方により解釈されるべきであるという説明である。
【0005】
記述された判決の大部分は、裁判所の決定を正当化するために相当のスペースをさいている。理由において、裁判所は普通、確立された法的理由付けのパターンに従い、関連有る憲法及び制定法の規定と判例法を精査し、そして裁判所の判決に到達するために使用された思考プロセスを述べる。
【0006】
「法の支配」とは、法の一般的な説明であり、処理を導くことが意図されたある状況の組の下でのその適用であり、そして同様な状況を有するその後の状況に対して適用されるであろう。法の支配は、裁判所の判断を支持するための裁判所による理由付けにおいて見られ、そして判定はしばしば法の支配とみなされる。
【0007】
従来においては、ある判決中で法の支配を確認するためには人が裁判所の決定の文書を読み通すことが必要であった。これは時間を消費し、しばしばほんのいくつかの簡潔な法の支配を発見するためには大量の余分な材料を読むことを精査する人に要求する。従って、法の支配を正確に識別する自動的なドキュメント精査の方法に対する必要性が存在する。
【0008】
法の支配を構成しない文章から法の支配を識別するためには2進分類が必要である。従来技術において、2進分類への多くの統計的及び機械的学習手法がある。統計的手法の例は、ベイズ規則、k最近接点、投影追跡回帰、判別分析及び回帰分析を含む。機械的学習手法の例は、ナイブ−ベイズ、神経ネットワーク及び回帰ツリーを含む。
【0009】
これらの手法は、分類が行なわれるタイプに基づいて2つの広いクラスにグループ分けできる。観察の一組が、データ中のクラス又はクラスターの存在の確立を目的として与えらている時、これは教師なし学習又はクラスターリングとして知られている。Nクラスが存在することが確かで、そして目的が新しい観察がそれにより1つの既存のクラスへ分類することができる規則の確立である時、これは教師あり学習として知られている。教師あり学習により、新しい観察を分類する規則が、既知の正しく分類されたデータを使用して確立される。
【0010】
規則が、上述した教師あり技術の多くを使用して確立できる。このような技術の1つが、新観察を分類するための式を確立するために使用できるロジステイック回帰、統計的回帰手順である。
【0011】
一般に、回帰分析は1つの変数と変数の別の組との間の関係の分析である。関係は式として表現される。式を使用して、応答、又は依存、リグレッサー変数及びパラメーターの関数からの変数を予測できる。リグレッサー変数は、時々、独立変数、プレディクター、説明的変数、ファクター、フイーチャー、又はキャリアとも呼ばれる。
【0012】
標準の回帰分析又は線形分析は、文章の単位を法の支配(ROL)又は法の支配でない(〜ROL)のいずれかであると指示する応答変数の2分法性質のため、本発明には推奨されない。これが真であるという理由は、回帰の効率さを評価するために線形回帰により使用されるR2が、応答変数が2分法である時には適当ではないからである。本発明は、回帰の効率さを評価するために最尤推定手順を使用しそしてこの手順が2分法である応答変数と共に動作するため、ロジステイック回帰を使用する。
【0013】
ロジステイック回帰の訓練プロセスは、クラスをできる限り分けるための超平面を選択することにより動作する。しかし、良い分離又は良い適合の基準は、線形回帰などの他の回帰方法に対するのとは同じではない。ロジステイック回帰について、良い分離の基準は条件付き尤度の最大である。ロジステイック回帰は、等しい共分散を持つ正規分布に対して、そして独立2進特徴に対しても線形回帰と理論的に同一である。これら2つの間の最も大きな違いが、データがこれら2つの場合から離れている時、例えば、特徴が大変異なる共分散を持った大変な非正規分布を有する時に、期待される。
【0014】
いくつかの周知の統計的なパッケージがロジステイック回帰のための手順を含む。例えば、SASパッケージはロジステイック手順を有する。SPSSはロジステイック回帰と呼ばれるものを有する。
【0015】
2項分布は、Z値として知られているものを使用して比較できる。統計学において、いわゆる2項分布は観察のシーケンスにおいて特定の事象が発生する可能な回数を記述する。事象は2進値に符号化される。すなわち、それは発生するか又は発生しないかである。2項分布は、研究者が、例えば、事象の強度の代わりに、事象の発生に興味を有する時に使用される。例えば、治療的試験おいて、患者が生存するか又は死ぬかである。研究者は生存者の数を研究するが、治療後にどれだけ長く患者が生存するかについては研究しない。別の例は、人が太り過ぎかどうかである。2項分布は太り過ぎの人の数を記述するが、彼らの太り過ぎの程度については記述しない。2つの2項パラメータの比較には多くの実際的な問題が含まれる。例えば、社会科学者は、異なる社会経済的背景を代表する2つのコミュニテイについて出生前の健康サービスを利用する女性の比率を比較したいと望む。又は、マーケテイング責任者は、最近発売された新製品の大衆認知度を競争会社の製品のそれと比較したいと望む。
【0016】
2つの2項パラメータはZ統計を使用して比較できる。ここで、
Z=(P0−P1)/(TP*(1−TP)(1/T0+1/T1))0.5
ここで、Pxは2項パラメータx(xは、2項パラメータ0又は1のいずれか)の確率である。TPは2つの2項パラメータの結合確率である。Txは2つの確率P0及びP1を推定するために母集団から取られたサンプル・サイズである。
【0017】
同じ式が2つの異なる分類からの2項パラメータを比較するために使用できる。この場合、Pxは、xが分類0又は1のいずれかである分類x内の2項パラメータの確率である。TPはどの分類から来たからかには関係しない2項パラメータの確率である。Txはxが分類0又は1のいずれかである分類xから取られたサンプル・サイズである。
【0018】
文章中の単語は、2項分布を生成する。すなわち、単語は文章中に存在するか又は存在しないかのいずれかである。従って、上式が2つの分類に出現する単語を比較するために使用できる。
【0019】
さらに、上式は大きなZ値(大きな正又は大きな負の値のいずれか)を持った単語が、1つの分類中に他よりもより高い確率で存在する。これは、Z値が、a)質問のついての単語を自動的に示唆する、すなわち、スマートなどの情報検索システムにおける用語示唆する、及びb)2進分類システムに対する効果的特徴を計算するために使用できることを意味する。
【0020】
T検定は、一組のドキュメントの特定の話題(P)を示唆する用語(単語)を選択するために使用されている統計的検定である。T検定は、ドキュメントの話題(P)組を多くの異なる話題からランダムに選択されたドキュメント(R)の組と比較するために使用できる。単語の出現の間の間隔が統計的な解析の基礎として選択できる。この検定の基礎にあるのは、ドキュメントの話題(P)組においては、話題(P)の単一の単語はより頻繁にそしてより規則的に出現する、すなわち、おおよそ等しい間隔で、出現するという仮定である。従って、この性質を有する用語、すなわち、ドキュメントの(R)組よりもドキュメントの話題(P)組において、より頻繁にそしてより規則的に出現する用語は、話題Pを最も良く示唆する用語の1つであろう。
【0021】
このT統計に対する式は、
T=n0.5(X−Xbar)/s
ここで、nはドキュメントの話題(P)組において特定の単語Wの間隔数である。XはドキュメントのR組における単語Wの平均間隔である。XbarはドキュメントのP組の平均間隔である。sはドキュメントのP組における単語の標準偏差又は変分である。
【0022】
特定の話題(P)を示唆する単語を見つけるT検定法は単語の出現の間隔を使用する。一方、Z値法は話題関連ドキュメントの組中及び多くの異なる話題領域からのドキュメントの組中に出現する単語の回数の差に依存している。
【0023】
(発明の開示)
本発明は、センテンス、パラグラフ、及びドキュメントなどの文章単位の2進分類方法及びシステムである。分類が2進のため、文章単位は2つのクラスの1つとして分類される。好適な実施の形態は、法の支配(ROL)又は法の支配でない(〜ROL)のいずれかとして文章単位を分類するためのシステム及び方法である。
【0024】
本発明のシステム及び方法の訓練フェーズの間、初期化された知識ベース及びラベルを付けた又は前分類された文章単位の集まりが、訓練された知識ベースを構築するために使用される。訓練された知識ベースは、式、閾値、及びZ値と呼ばれる複数の統計値を含む。この訓練された知識ベースは、どんな判例法ドキュメントの入力文章中の文章単位をROL又は〜ROLのいずれかとして分類するのに使用される。
【0025】
分類プロセスで最も有効なツールであるZ値は、以下に定義されるように、入力文章中の各用語又はトークンについて生成される。Z値は、各文章単位についての平均Z値を計算するために使用される。そして、平均Z値及びおそらく他の特徴は、各センテンスのスコアを計算する式への入力となる。そして、各計算されたスコアは、各文章単位をROL又は〜ROLのいずれかとして分類するための閾値と比較される。
【0026】
訓練された知識ベースは、文章単位の訓練組を入力することにより生成される。訓練組において、各文章単位は、既にROL文章単位又は〜ROL文章単位のいずれかとして分類されている。入力された訓練組は、ランダムベースで2つの小組に区分される。2つの小組は、回帰組及び検査組を表わす。Z値は回帰組中の各用語又はトークンについて生成される。そして、これらZ値は回帰組の各文章単位についての平均Z値を計算するために使用される。これら平均Z値及びおそらく他の特徴を使用して、各文章単位についてのスコアを計算するために一次方程式が生成される。生成されたZ値、一次方程式及び検査組を使用して各スコアが評価される閾値が選択される。
【0027】
訓練された知識ベースを使用して、さらに本発明は事前に分類されていない文章を有する入力判例法ドキュメント中のROL文章単位を見つけて印を付けることを含む。判例法ドキュメントを入力する際、ドキュメントの一部が抽出される。好適な実施の形態において、この部分は裁判所の多数意見である。この多数意見は文章単位中に区分され、そして特徴が各文章単位について生成される。特徴は、特定のクラス内の文章単位を代表する特性であり、そして〜ROL文章単位からROL文章単位を区別するのに役立つ。
【0028】
各文章に一次方程式とシグモイド関数を各文章単位に適用して、各文章単位についてスコアが生成される。スコアは閾値と比較され、そして閾値よりも大きいスコアを有する文章単位が、ROL文章単位として選択されて印が付けられる。そして、ドキュメントがROL文章単位に印を付けて出力される。
【0029】
従って、本発明の1つの目的は、判例法ドキュメント中に法の支配を見つけるためのコンピュータ自動化システム及び方法を提供することである。
【0030】
本発明の別の目的は、文章単位を2つの一般的クラスから区別するために使用できる平均Z値として知られる特徴を計算するためのコンピュータ自動化システム及び方法である。
【0031】
本発明のさらに別の目的は、判例法ドキュメント中の他の文章単位から法の支配の文章単位を区別するのに有効な特徴及びトークンを計算するためのコンピュータ自動化システム及び方法である。
【0032】
本発明のさらに別の目的は、特定の話題を示唆する用語を選択するためのコンピュータ自動化システム及び方法である。
【0033】
本発明のさらに別の目的は、自動化方法で判例法ドキュメント部分を分類化できるコンピュータ自動化システム及び方法を提供することである。
【0034】
本発明のこれらの及び他の目的、そして本発明の多くの意図された利点は、添付図面を参照した以下の説明からより明らかとなる。
【0035】
(発明の好適な実施の形態)
図面に示された本発明の好適な実施の形態を説明する際、簡潔さのために特別の用語が使用される。しかし、本発明は選択された特別の用語に限定される意図はなく、各特別の用語は同様の目的を達成するために同様な態様で動作する全ての技術的な均等物を含むもとのとして理解される。例えば、判例法ドキュメントの文章単位をROL又は〜ROLのいずれかに分類する特別の仕事に適用されるのに加えて、本発明はいかなる2進分類仕事に適用できる。同様に、本明細書において「センテンス」は、フレーズ、センテンス、パラグラフ、ドキュメントなどの抽出/識別できるどんな文章単位をいう。さらに、用語について計算されたZ値は、このプロセスがドキュメント組に適用される時、特定の話題Pを示唆する用語を選定するために使用できる。
【0036】
言葉の定義
本明細書に使用される以下の用語は、次ぎの意味を有する。
【0037】
文章単位の2進分類
文章単位を2つのクラスの中の1つに分類する仕事。例えば、好適な実施の形態では、2つのクラスは、法の支配(ROL)文章単位及び法の支配でない(〜ROL)文章単位である。
【0038】
特徴
数値として表現できる文章単位の特性、従って、ロジステイック回帰に使用することができる。
【0039】
ラベル付き文章単位
ラベル又は分類と関連付けられたセンテンス又はパラグラフ等の文章単位。好適な実施の形態では、このラベルは、ROL(クラス=1)又は〜ROL(クラス=0)のいずれかである。センテンスの例示的組については表IIを参照。
【0040】
ROL
法分野において認められた用語の使用に従って定義された「法の支配」を意味する。一般に、法の支配とは法の一般的な説明であり、処理を導くことが意図されたある状況の組の下でのその適用であり、そして同様な状況を有するその後の状況に対して適用されるであろう。好適な実施の形態において、ROLはクラス=1。
【0041】
〜ROL
「ROLでない」ことを意味する。好適な実施の形態において文章単位の2つの分類の中の1つ。好適な実施の形態の中で、〜ROLはクラス=0。
【0042】
用語(TERM)
単語又はおそらくは句。
【0043】
トークン(TOKEN)
用語のグループに与えられた名前又は特定の規則的な表現に合致したいずれのストリング。
【0044】
用語又はトークンのZ値
(P0−P1)/(TP*(1−TP)(1/T0+1/T1))0.5、ここで、Pxはあるクラスxの用語/トークンTの確率(xは、0又は1のいずれか)の確率である。TPは用語又はトークンの全確率である。そして、Txはクラスxの中の用語/トークンの数である(xは0又は1のいずれか)。
【0045】
文章単位についての平均Z
文章単位中の用語/トークンの数で割った文章単位の全ての用語/トークンのZ値の和。
【0046】
これらの用語の定義を用いて、本発明の好適な実施の形態の構造と作用を以下に説明する。
【0047】
I.例示的なハードウェア構成
図1に代表的に示すように、本発明のROL認識システムは、通常のコンピュータ上で実行される一連のモジュールを含んだソフトウェア・システムとして実現できる。例示的なハードウェア・プラットホームは、中央処理ユニット100を含む。中央処理ユニット100は、ユーザ・インターフェイス101を介して人間ユーザと相互作用を行なう。ユーザ・インターフェイスは、システム内に情報を入力するために、そして人間ユーザとシステムの間の相互作用のために使用される。ユーザ・インターフェイスは、例えば、ビデオディスプレイ105、キーボード107及びマウス109を含む。メモリ102は、データ(判例法ドキュメント及びラベル付き文章単位の訓練組など)と中央処理ユニットで実行されるソフトウェア・プログラム(ROL認識プロセス)を記憶する。メモリ102は、ランダム・アクセス・メモリであってよい。ハードディスク・ドライブ又はテープ・ドライブなどの補助記憶103は、追加の記憶容量及び大量の情報の検索手段を提供する。
【0048】
図1に示された全てのコンポーネントは、業界では良く知られたタイプであってよい。例えば、システムは、カリフォルニア、サニーベイルのサンマイクロシステムズから入手可能なSPRACシステム10(商標)及びサン(商標)OSバージョン5.5.1の実行プラットホームを含んだサン(商標)ワークステーションを含んで良い。ソフトウェアは、C、C++、及びPerlなどのプログラミング言語で書かれてよい。もちろん、本発明のシステムは、既存お詫び将来開発されるどんな数のコンピュータ・システムでも実現してよい。
【0049】
本発明による方法の例示的な実施の形態が以下に説明される。
【0050】
II.ROL認識システム
図2に、ROL認識方法の高レベルのフローチャートが示される。方法は、ラベル付き文章単位200の訓練組の入力及び初期化知識ベース201の入力により開始する。初期化知識ベース201の一例は以下の通りである。
【0051】
maxsize=200
pasttenseverbs=1
presenttenseverbs=1
pronouns=1
firstnames=1
partynames=1
quotedstrings=1
case_citations=1
statue_citations=1
【0052】
ここで、「maxsize=200」は最大のセンテンスの大きさの推定である。すなわち、200用語。上記の他の変数の設定は、本明細書の後で説明するサブプロセス、各文章単位の用語&トークンを獲得、により加えられるべきさまざまなトークン化を示す。1の値は、「関連したトークン化をする」を意味し、一方、0の値は、「関連したトークン化をしない」を意味する。例えば、「pronouns=1」は、代名詞トークン、PRONOUN_TOKが生成されるべきことを意味する。
【0053】
図2に示されるROL認識システムは、2つの中心サブプロセスを含む。訓練&検査ROL認識サブプロセス202及び判例法ドキュメント内でROL文章ユニットを見つけ&印を付けサブプロセス205である。訓練&検査サブプロセスにおいて、初期化知識ベース及び判例法ドキュメント組からのラベル付きセンテンスの訓練組が入力される。このサブプロセスの出力は、訓練された知識ベース203である。見つけ&印付けサブプロセスは、判例法ドキュメント204の入力で開始し、そして後でROL文章単位として決定される入力された判例法ドキュメントの文章単位を見つけて印を付けるために訓練された知識ベースを使用する。
【0054】
より詳細には、訓練&検査ROL認識サブプロセスは、訓練された知識ベース203を作るために、ラベル付き文章単位の入力された訓練組200及び初期化知識ベース201を使用する。訓練された知識ベースが生成されると、判例法ドキュメント内でROL文章単位を見つけ&印を付けサブプロセス205が知識ベースを使用して、入力された判例法ドキュメント内のROL文章単位を見つけて印を付ける。
【0055】
このシステムの訓練&検査ROL認識サブプロセスの出力は、訓練された知識ベース203である。判例法ドキュメント内のROL文章単位を見つけ&印を付けサブプロセス205の出力は、印付けされたROL文章単位206を有する入力された判例法ドキュメントである。ROL文章単位は、sgmlタグ<ROL>…</ROL>によりROL文章単位を囲むことにより印を付けてよい。表Iにsgmlタグにより囲まれた1つのROLを持つ入力されたドキュメントの例の本体部分が示されている。他の形式の印付けも使用できる。
【0056】
表I
意見:決定&命令
<多数_意見>
決定&命令
抵当権行使の訴えにおいて、原告は、(1)とりわけ、被告トーマス・パリシ及びチョン・パリシの彼らに対する不履行の訴えを棄却すべき申立てを許可した同じ裁判所の1997年12月26日付け命令を取消すためにその申立てを否定した1998年6月10日付けのナッソウ・カウンティ(ウインスロー、ジェー)最高裁判所の命令に対し、及び(2)1998年10月28日付の同じ裁判所の命令からその書面により制限されるため、再弁論の際、前の決定に拘束されるため、上訴した。
【0057】
1998年6月10日付け命令に対する上訴は、この命令は再弁論の際に行なわれた1998年10月28日付け命令により置換えられているため、棄却すると命令する。そしてさらに1998年10月28日付け命令は上訴された範囲で肯定すると命令する。そしてさらに被上訴人は1つの訴訟費用を与えられると命令する。
【0058】
<ROL>抵当権は借金又は他の義務の単なる担保にすぎず、借金又は義務からは独立に存在できない(コップ対サンズ・ポイント・マリーナ、17NY2d291、292、270N.Y.S.2d599、217N.E.2d654参照)。</ROL>ここで、抵当権が担保する借金は明らかに訴えの提起前に満足されていたから、訴えを棄却すべき申立ては適正に許可されている。
【0059】
上訴人の他の主張には理由がない。
【0060】
ブラッケン、ジェー・ピー、サリバン、ゴールドスタイン、及びマックギニィテイ、ジェージェー、同意する。
【0061】
</多数_意見>
( Table I
OPINION: DECISION & ORDER
<MAJORITY_OPINION>
DECISION & ORDER
In an action to foreclose a mortgage, the plaintiff appeals (1) from an order of the Supreme Court, Nassau County (Winslow, J.), dated June 10, 1998, which denied its motion, inter alia, to vacate an order of the same court dated December 26, 1997, granting the motion of the defendants Thomas Parisi and Chong Parisi to dismiss the complaint insofar as asserted against them upon its default in opposing the motion, and (2), as limited by its brief, from so much of an order of the same court, dated October 28, 1998, as, upon reargument, adhered to the prior determination.ORDERED that the appeal from the order dated June 10, 1998, is dismissed, as that order was superseded by the order dated October 28, 1998, made upon reargument; and it is further, ORDERED that the order dated October 28, 1998, is affirmed insofar as appealed from; and it is further, ORDERED that the respondents are awarded one bill of costs.
<ROL>A mortgage is merely security for a debt or other obligation and cannot exist independently of the debt or obligation (See, Copp v Sands Point Marina, 17NY2d291,292,270N.Y.S.2d599,217N.E.2d654).</ROL>Here, the motion to dismiss the complaint was properly granted since the debt which the mortgage secured concededly was satisfied prior to the commencement of the action.
The appellant's remaining contentions are without merit.
BLACKEN,J.P.,SULLIVAN,GOLDSTEIN, and McGINITY, JJ., concur.
</MAJORITY_OPINION>)
【0062】
III.訓練&検査ROL認識
図3に図2の訓練&検査ROL認識サブプロセス202が詳細に説明されている。このサブプロセスは、既に正しくROL又は〜ROLとして分類された文章単位300の訓練組を入力することにより開始する。表IIに訓練組の例が示されている。
【0063】
表II
【0064】
この例の訓練組は、法の支配(C=1)又は法の支配でない(C=0)として分類されたセンテンスの大きな母集団からランダムに選択された30のセンテンスを含む。各センテンスは、識別子(参照のためのみ)及びクラスの分類(C)を有する。ここで、クラス=1はセンテンスがROLであることを意味し、そしてクラス=0はセンテンスが〜ROLであることを意味する。「センテンス」は興味のある特定の文である。この例の訓練組は、本発明の処理ステップを説明するためにここで使用される。しかし、本発明を実際に適用する時は、訓練組のセンテンスはラベル付きセンテンスの大きな母集団からランダムに選択され、そして選択された数は訓練組が母集団全体を代表するように十分に大きくなければならない。
【0065】
訓練された知識ベースを生成するための方法は、入力された訓練組を2つの小組、回帰小組と検査小組、にランダムに区分けることに進む301。どちらかいずれかの小組が回帰小組として選択されて、回帰式を生成するために使用される302。他方の選択されなかった小組が検査小組を構成して、閾値を計算するために使用される303。
【0066】
より詳細には、ランダム数発生器が、訓練組の各センテンスにゼロ(0.0)及び1(1.0)の間のランダムな数を割当てるために使用される。そして、これらのセンテンスは、これらに割当てられたランダムな数により数値的に分類される。最後に、分類されたセンテンスの最初のN%が回帰小組となり、残りのセンテンスが検査小組となる。Nの値は訓練組の大きさに依存して変化する。
【0067】
表IIIは、表IIの訓練組から取られた回帰小組の例である。表IIIは、表IIの30センテンスからランダムに選択された20センテンスを含む。これらのセンテンスは、ロジステイック回帰式及びそれらの中に見つけられた各用語又はトークンについてのZ値を生成するために使用される。前の表IIのように、各センテンスは識別子(参照のためにのみ)とクラスについての分類(C)を有する。ここで、クラス=1はセンテンスがROLであることを意味し、クラス=0はセンテンスが〜ROLであることを意味する。「センテンス」は興味のある特定の文である。
【0068】
表III
【0069】
表IVは、表IIの同じ訓練組の例から取られた検査小組の例である。表IVは、表IIの30センテンスからの10センテンスを含む。これらのセンテンスは、センテンスが法の支配であるか否かを決定するために使用されるロジステイック回帰式から得られたロジステイック回帰スコアに対する閾値を確立するために使用される。前の表IIのように、各センテンスは識別子(参照のためにのみ)とクラスについての分類(C)を有する。ここで、クラス=1はセンテンスがROLであることを意味し、クラス=0はセンテンスが〜ROLであることを意味する。「センテンス」は興味のある特定の文である。
【0070】
表IV
【0071】
上記の手順では、最初のN%の分類されたセンテンスが回帰小組となり、残りのセンテンスが検査組となるようにしてこれらの小組が生成された。ここではNが66%である。すなわち、20センテンスが回帰小組内にあり、10センテンスが検査組内にある。
【0072】
方法は、回帰小組をサブプロセスへの入力として使用して一次回帰方程式を生成することにより続けられる。Z値が回帰小組の文章単位内の全ての用語及びトークンについて生成される。ロジステイック回帰が、ROL文章単位であろう文章単位のスコアを作るための方程式を開発するために使用される。表IIIの例の回帰小組に対してこのステップ302により生成された方程式は、方程式=0.7549−14.0622*f[1]−14.2148*f[2]−0.0560*f[3]+0.1234*f[4]である。ここで、f[1]はセンテンスの平均Z値であり、f[2]はセンテンスの相対的な大きさであり、f[3]は負のZ値を持つセンテンス内の用語又はトークンの数であり、そしてf[4]はセンテンス内の用語又はトークンの数である。表Vに同じ例の回帰小組について計算されたZ値の組が与えられている。
【0073】
表Vの欄のヘッダーの定義は以下の通りである。F0はクラス=0のセンテンス内の用語又はトークンの出現回数;F1はクラス=1のセンテンス内の用語又はトークンの出現回数;TPは用語又はトークンの全確率、すなわち、(F0+F1)/(T0+T1);P0はクラス=0内の用語又はトークンの確率、すなわち、F0/T0;P1はクラス=1内の用語又はトークンの確率、すなわち、F1/T1;Zは用語又はトークンについてのZ値、すなわち、(P0−P1)/(TP*(1−TP)(1/T0+1/T1))0.5;そして、TERM/TOKENは訓練データのあるセンテンス内に見つけられる用語又はトークンである。
【0074】
【0075】
【0076】
【0077】
【0078】
【0079】
【0080】
【0081】
【0082】
【0083】
回帰小組内の文章中に見つけられる各用語又はトークンについてのZ値、前のステップで開発された方程式、そして計算小組を使用して、閾値が方程式により計算されたスコアに対して選択される。入力された例の訓練組に対して選択された閾値は、訓練された知識ベースの一部として与えられ、そして「閾値=0.5」である。しばしば、選択された閾値は0.5に近い値である。
【0084】
図4を参照すると、閾値に値を割当てるためのより厳格なプロセスが、一次方程式を適用するステップ404を実行し、そしてシグモイド関数を適用するステップ405を実行することにより検査小組の各センテンスについてスコアを生成することである。これらのセンテンスは、それらのスコアに下降順に分類されてランクされる。すなわち、最大のスコアが分類リストの始まりある。そして、検査小組のセンテンスをROL(C=1)と〜ROL(C=0)のグループに最も良く分離するスコアが選択される。図4に示されるより厳格なプロセスはオプショナルであり、訓練された知識ベースの開発中に実行される。
【0085】
表VIは、このプロセスを表IVの検査小組に対して適用した結果を示す。表VIは、最大のスコアを持つセンテンスが最初にリストされるようにそれらのスコアの順番づけられたセンテンス、すなわち、それらのセンテンス識別番号(SID)、を示す。表VIはまた、0.1866と0.9734との間のどんなスコアも検査小組をROLと〜ROLのグループに完全に分離することを示す。選択された値は0.5であって、それは0.1866と0.9734との約半分の所にある。
【0086】
【0087】
スコアは常に、〜ROLセンテンスからROLセンテンスを完全に分離するのではない。すなわち、時々、ROL(C=1)センテンスよりも大きなスコアを持った〜ROL(C=0)センテンスが存在するだろう。完全な分離が無い時、選択される閾値はどれだけのエラー及びどんなタイプのエラーが所望又は許容されるかに依存する。
【0088】
以下に、入力された訓練組が表IIで上記に与えられた例の組である時、ROL認識システムにより生成された訓練された知識ベースの内容の代表的なリストを示す。
【0089】
maxsize=200
pasttenseverbs=1
presenttenseverbs=1
pronouns=1
firstnames=1
partynames=1
quotedstrings=1
case_citations=1
statue_citations=1
equation=0.7549−14.0622*f[1]−14.2148*f[2]−0.0560*f[3]+0.1234*f[4]
threshold=0.5
各用語又はトークンのZ値は回帰組内に見つけられる。
【0090】
(例の訓練組のZ値は表Vに与えられている。)
ここで、方程式及びZ値は訓練&検査ROL認識サブプロセスの一次回帰方程式を生成するステップ302により生成され、そして閾値は閾値を計算するこのサブプロセスのステップ303により生成される。
【0091】
IV.判例法ドキュメント中のROL文章単位を見つけ&印付ける
訓練された知識ベースが開発されると、判例法ドキュメント中のROL文章単位を見つけ&印付けるサブプロセスが入力された判例法ドキュメント中のROL文章単位を見つけて印を付けることができる。入力された判例法ドキュメントの選択された部分が普通最も解析される。好適な実施の形態においては、この選択された部分は裁判所の多数意見である。
【0092】
図4に、図2の判例法ドキュメント中のROL文章単位を見つけ&印付けるサブプロセス205の詳細が示されている。このサブプロセスは、判例法ドキュメントを入力するステップ400で開始する。このステップを説明するため、表Iに示される入力されたドキュメントの例示的な抄録として使用される短い例示的な判例法ドキュメントを参照する。判例がこのサブプロセスに入力される時、表Iに示されるような印付けられたROL文章単位を有さない。好適な実施の形態では、多数意見がsgmlタグにより印付けられる。
【0093】
次ぎのステップ401は、多数意見を文章単位中において分割する。多数意見を分割するためには、この意見がまず見つけられ、そして判例法ドキュメントから抽出されなければならない。もし、判例の部分がsgmlマークアップ言語を使用して印付けされていると、多数意見を容易に見つけて抽出できる。例えば、多数意見は以下のsgmlタグにより囲まれる。
【0094】
<MAJORITY_OPINION>...</MAJORITY_OPINION>
そして、以下のパール通常表現が多数意見を抽出する。
$opinion=$1 if /<MAJORITY_OPINION>(.+?)</MAJORITY_OPINION>/;
多数意見はセンテンスが4つの小文字及びピリオドで常に終わると仮定することにより容易にセンテンスに分割できる。本発明は、分割が完全でなくとも効果的に機能する。
【0095】
表VIIは、表Iの例示的な入力判例法の多数意見の分割から得られたセンテンスを示す。各センテンスについて、表VIIは、a)センテンス識別子(SID)、b)ROL(C=1)又は〜ROL(C=0)のいずれかの分類、そしてc)センテンスの文章を与える。
【0096】
【0097】
そして、前に入力されて訓練された知識ベースの入力、又は参照のステップ402を実行する必要がある。例示的な訓練された知識ベースは次ぎの通りである。
【0098】
maxsize=200
pasttenseverbs=1
presenttenseverbs=1
pronouns=1
firstnames=1
partynames=1
quotedstrings=1
case_citations=1
statue_citations=1
equation=0.7549−14.0622*f[1]−14.2148*f[2]−0.0560*f[3]+0.1234*f[4]
threshold=0.5
各用語又はトークンのZ値は回帰組内に見つけられる。
【0099】
(例の訓練組のZ値は表Vに与えられている。)
ここで、方程式とZ値は、一次回帰方程式を作成するステップ302により生成され、そして閾値は閾値を計算するステップ303により生成される。
【0100】
次ぎのステップ403は、各文章単位の特徴を生成することである。これは、図6と関連して説明されるサブプロセス503により達成される。表VIIIは、表VIIで分割されたような表Iの例の判例方のセンテンスの特徴を列挙している。特徴は、列f[1]乃至f[4]である。
【0101】
【0102】
表VIIIにリストされるように、SIDがセンテンス識別子であり、f[1]がそのセンテンスの平均Z値であり、f[2]がセンテンスの相対的な大きさであり、f[3]が負のZ値を持ったセンテンス中の用語又はトークンの数であり、f[4]がそのセンテンス中の用語又はトークンの数であり、Cがそのセンテンスの期待されるクラスであり、EResultが一次方程式を適用した結果であり、そしてScoreがシグモイド関数をEResultに適用した結果である。
【0103】
次ぎのステップ404は、サブプロセス202、訓練&検査ROL認識、により生成された一次方程式を適用することである。表IIIの回帰組を使用して訓練&検査ROL認識サブプロセス202により生成された一次方程式は以下の通りである。
0.7549−14.0622*f[1]−14.2148*f[2]−0.0560*f[3]+0.1234*f[4]
【0104】
ここで、f[1]、f[2]、f[3]及びf[4]は、表VIIIに記載されている通りである。この方程式がステップ203の訓練された知識ベース出力の一部であることを思い出す。また、表VIIIは、一次方程式をセンテンスに適用した結果、すなわち、EResult列を与える。
【0105】
1つの例として、センテンスA01について上記式のf[1]乃至f[4]を置換えると以下のようになる。
0.7549−14.0622*0.3071−14.2148*0.51−0.0560*25+0.1234*67=−3.9453(すなわち、EResult)
【0106】
次ぎのステップ405は、シグモイド関数を提供することである。シグモイド関数は、ex/(1+ex)、である。ここで、xは、EResultである。表VIIIは、シグモイド関数のセンテンスへの適用の結果を、Score列に与えている。例えば、もし、xがセンテンスA01のEResultであると(すなわち、−3.9453)、exはe-3.9453=0.019345である。従って、シグモイド関数は、ex/(1+ex)=0.019345/(1+0.019345)=0.0190である(すなわち、A01のScore)。
【0107】
次ぎのステップ406は、ROL文章単位である文章単位を選択することである。訓練プロセス(ステップ200−203)から得られた訓練された知識ベースに見つけられた閾値よりも大きなスコアの文章単位がROLとして選択される。表IIの訓練組については、閾値=0.5である。従って、表VIII中のセンテンスの中でセンテンスA03のみがROLである。他の全てのセンテンスは0.0に近いスコアを有する。
【0108】
最後に、ステップ407で、方法はROL文章単位に印が付けられた判例法ドキュメントを出力する。上述したように、ROL文章単位はsgmlタグ:<ROL>…</ROL>で囲まれることで印付けられるか、又は当業者に知られている他の方法で印を付けることができる。
【0109】
V.一次回帰方程式の生成
図5は、図3の一次回帰方程式生成ステップ302の拡張である。一次回帰方程式を生成するためのサブプロセスへの入力は、ラベル付けされたセンテンスの回帰組である。表IIIは、センテンスの回帰組の例を示す。
【0110】
このサブプロセスの出力は、訓練された知識ベースであり、次ぎを含む。a)初期化された知識ベース内のもの、b)関連したZ値と一緒の用語及びトークンのリスト、c)センテンスがROL又は〜ROLかを判定するための方程式、そしてd)与えられたものから選択された特徴のリスト。
【0111】
図5には、一次回帰方程式を生成するためのステップが説明されている。方法は、回帰組の各文章単位に対する用語又はトークンを獲得するステップ400で開始される。表IXは、表IIIの回帰組に対してこのステップから得られた用語及びトークンを示す。用語及びトークンは表IXの最右欄に記載されている。表IXの右から2つ目の欄に示されている表IIIの例示的な回帰組の各センテンスに対して、用語及びトークンが与えられる。
【0112】
【0113】
【0114】
【0115】
【0116】
【0117】
【0118】
【0119】
【0120】
【0121】
【0122】
【0123】
【0124】
【0125】
【0126】
例えば、センテンスS02に対する用語及びトークンは以下の通りである。
【0127】
【0128】
センテンスのROL(クラス=1)又は〜ROL(クラス=0)の分類は、表IX中の右から第3番目の欄に与えられている。
【0129】
次に、ステップ501でクラス毎の頻度数が蓄積される。蓄積される頻度カウントは、各クラスにおける用語又はトークンの出現の総数(Txで表わされる。xは0(〜ROL)又は1(ROL)のいずれかである)、及び各クラス、すなわち、ROL又は〜ROL、における各用語又はトークンの出現数である。例の回帰組については、ROLクラス(すなわち、クラス=1)における用語及びトークンの総数は、T1=461である。〜ROLクラス(すなわち、クラス=0)については、数はT0=311である。
【0130】
表V中の最初の2つの欄は、表III中の例の回帰組についてクラス毎の各用語又はトークンの頻度数を与える。表Vの最初の欄は、クラス=0の用語の頻度カウントを与え、第2欄はクラス=1の用語の頻度カウントを与える。例えば、単語「IS」は、クラス=0のセンテンスで3回出現し、クラス=1のセンテンスでは13回出現している。同様に、トークン、PRONOUN_TOKはクラス=0のセンテンス内では14回出現し、そしてクラス=1のセンテンス内では6回出現する。
【0131】
ステップ502で、各用語又はトークンについてZ値が計算される。用語又はトークンTについてのZ値を計算する式は、
Z=(P0−P1)/(TP*(1−TP)(1/T0+1/T1))0.5
ここで、Pxはクラスx(xは0又は1のいずれか)のある用語/トークンTの確率である。これは、Fx/Txに等しい。ここで、Fxはクラスxのその用語の出現数、そしてTxはクラスxの用語及びトークンの総数である。TPは用語又はトークンの総確率であり、(F0+F1)/(T0+T1)である。
【0132】
上式において、P1がP0から差引かれるため、負のZ値を持った用語/トークンはROLクラスに有利である。すなわち、ROLクラスにおいてその用語/トークンを見つける確率は、それを〜ROLクラスにおいて見つけるそれよりも大きい。同様に、正のZ値を持った用語/トークンがクラス〜ROLの分類の中で見つけられるより大きい確率が存在する。
【0133】
本発明の背後にある理論は、これら0と1の2つの分類における大部分の文章単位を代表する程度に十分に大きい0と1の分類からランダムに選択された文章単位のサンプルについてZ値が計算されると、平均Z値がいずれかの分類からのいずれの文章単位に対して計算できる。この平均Z値は、文章単位がどちらの分類から来たのかを決定するために使用できる。文章単位についての平均Z値は、文章単位の中の単語数で割られたその文章単位中の全ての単語についてのZ値の和である。
【0134】
例の回帰組の各用語又はトークンについて、表VがF0、F1、TP、P0、P1、及びZを与える。例えば、用語「IS」について、F0、F1、TP、P0、及びP1はそれぞれ、3、13、0.02073、0.00965、及び0.02820である。また、P0は、式Px=Fx/Txを使用して表Vのどんな用語/トークンについて計算できることに注意する。例えば、用語「IS」について、P0=3/311又は=0.00965である。さらに、表中のどんな用語/トークンについてのTPは次ぎを使用して計算できる。TP=(F0+F1)/(T0+T1)。例えば、「IS」については、TP=(3+13)/(311+461)、又は=16/772、又は=0.02073である。用語「IS」についてのZは、
(0.00965−0.02820)/(0.02073*(1−0.02073)(1/311+1/461))0.5、
又はZ=−1.77476である。
【0135】
ドキュメントの2つの組について計算されたZ値が、ドキュメントの話題P組を非常に示唆する用語(単語)を選択するために使用できることに注意する。
【0136】
方法の次のステップ503は各文章単位についての特徴を生成する。図6に示され、そしてセクションVIに説明されたサブプロセスがこの仕事を実行するために使用される。表IXは、表IIIの例の回帰組の各センテンスについて生成された特徴をリストしている。ここで、第2欄はセンテンスについての平均Z値(avgz)、第3欄はセンテンスの相対的な大きさ(relsize)、第4欄は負のZ値を持つ用語/トークンの数(nnegz)(すなわち、ROLクラスに有利な)、及び第5欄はセンテンス中の用語/トークンの数(nterms)である。最後の欄には各センテンスの全ての用語/トークンが各用語の後の括弧内にその用語のZ値を含むようにして示される。
【0137】
次ぎのステップ504は、ロジステイック回帰を実行する。以下は、表III中の回帰組について、前のステップ、ステップ503で生成された特徴を使用してロジステイック回帰を実行するSAS(統計的解析システム)プログラムである。
【0138】
filename pdata 'regression.set.features';
data preg;
infile pdata;
input pid avgz relsize nnegz nterms rol;
proc sort data=preg;
by rol;
proc logistic order=data descending;
model rol=avgz relsize nnegz nterms;
run;
【0139】
表Xは、SASにより生成された出力ファイルを示す。それは訓練された知識ベース内に見つけられた式中の係数として使用されるパラメータ推定量を含む。表XのSAS出力からの一次方程式は、
0.7549−14.0622*f[1]−14.2148*f[2]−0.0560*f[3]+0.1234*f[4]
である。ここで、f[1]乃至f[4]はそれぞれ次ぎのSAS出力中の変数に対応する。AVGZ、RELSIZE、NNEGZ、及びNTERMS。そして、上式でf[1]乃至f[4]に掛算される係数は、SAS出力中の上述の変数のすぐ右側のパラメータ推定量(Parameter Estimates)に対応する。
【0140】
以下のSASプログラムに対する入力ファイルの一例、regression.set.feaures’、は表IXの欄1乃至6の内容である。しかし、欄のヘッダーは含まない。
【0141】
【0142】
オプショナルなステップは、一次方程式を選択するステップ505である。上記のSASプログラムは全ての与えられた特徴(avgz、relsize、nnegz、及びnterms)を使用する。従って、SAS出力ファイル内には単に一組のパラメータ推定量が存在する。しかし、このSASプログラムは、特徴の異なる組合せを評価するために修正できる。これはロジステイックproc(プロシージャー)のステップ方式オプションを使用してなされる。このオプションにより、最尤解析が特徴のどの組合せが最も良く動作するかを評価するために使用できる。選択された方程式は最小数の特徴を有し、それに関連した最大の一致した値を有する。しかし、トレード・オフが存在する。方程式中の特徴のより大きい数は、その方程式に関連したより大きい一致した値を持つ。しかし、方程式中の特徴の数が増加すると、方程式の予測パワーが減少する。従って、わずかな特徴を持つが関連する一致した値が最大の一致値に近い方程式を選択するのが最良である。
【0143】
以下が、特徴の異なる組を評価するためのステップ方式オプションを使用したSASプログラムの一例である。
【0144】
filename pdata 'regression.set.features';
data preg;
infile pdata;
input pid avgz relsize nnegz nterms rol;
proc sort data=preg;
by rol;
proc logistic order=data descending;
model rol=avgz relsize nnegz nterms;
/ selection=stepwise
details
ctable;
run;
【0145】
VI.各文章単位についての特徴の生成
図6は、図5の各文章単位についての特徴を生成するサブプロセス503の拡張を示す。図6を参照すると、このサブプロセスへの入力は、1)表Vに示されるように関連したZ値を持った用語及びトークンのリスト、及び2)表II、III、及びIVに示されるようなセンテンスである。
【0146】
このサブプロセスの出力は、各センテンスについての特徴のリストである。表IXは、表V中の用語/トークンZ値を使用して表III中のセンテンスの組について生成された特徴を含む。
【0147】
訓練された知識ベースを生成するために訓練&検査ROL認識サブプロセス202を使用する時、各文章単位について特徴を生成するサブプロセス503が、最終的に訓練された知識ベースの一部である方程式を生成するためのSASロジステイックprocへの入力となる特徴を生成する。また、判例のどのセンテンスがROL文章単位であるかを決定するための判例法ドキュメント中の文章単位を見つけ&印付けるサブプロセス205を使用する時、各文章単位について特徴を生成するサブプロセス503は各センテンスについてのスコアを計算するために使用する特徴を生成する。
【0148】
以下に、どのようにいくつかの特徴が計算されるかを説明する。これらの特徴は、他のクラスから1つのクラスを区別することのできる能力の程度、すなわち、〜ROLからROLを区別することのできる能力の程度に従って提供される。最も能力のある特徴が最初に提供される。これらの特徴の全て又はいくつかが使用できる。オプショナルな選択式ステップ505がこれらの特徴の最良なものを選択するために使用できる。代替的に、ロジステイック回帰を実行するステップ504は、これらの特徴の全てを使用するために使用できる。
【0149】
全ての特徴を使用することが、500万程度にもなる大変大きなドキュメントの資料に適用されるため本発明のROL又は〜ROLの実施の形態について推奨される。しかし、結果としての分類システムが適用される顕著に少ないドキュメントの資料を持ったROL/〜ROLとは異なる2進分類仕事に対しては、全ての特徴よりは少ない特徴でもって行なうことができるだろう。前に分類された文章単位が文章単位の全資料の代表であると仮定すると、ステップ方式のロジステイック回帰はどの特徴が必要かを決定する。
【0150】
図7に示されるサブプロセスの実行により、文章単位についての平均Z値の計算が開始される。図7のサブプロセスは、以下の各文章単位の用語&トークン獲得という表題においてより詳しく説明される。簡単には、サブプロセスは、センテンス内の全ての用語及びトークンを獲得することにより開始され、そして、表Vに示されるような表から各用語/トークンのZ値が得られる。これらのZ値は加算されて、そして結果はそのセンテンス中の用語/トークンの数で割算される。
【0151】
例えば、表IIIの回帰組のセンテンスS18、すなわち、「訴訟物の裁判籍」、の3つの用語のZ値は、それぞれ、1.21829、−0.24597、及び、1.21829である(表IV及びIXを参照)。従って、平均Z値は、(1.21829−0.24597+1.21829)/3=0.7302である。
【0152】
センテンス中の用語/トークンの数の決定は、図7のサブプロセスの実行により開始される。図7のサブプロセスは、以下の各文章単位の用語&トークン獲得という表題においてより詳しく説明される。簡単には、サブプロセスは、センテンス内の全ての用語及びトークンを獲得することで開始され、そして、これら用語/トークンがカウントされる。
【0153】
例えば、センテンスS18、すなわち、「訴訟物の裁判籍」、中の用語/トークンの数は3つである。他の例については、表IXを参照。
【0154】
センテンスの相対的大きさの決定は、図7のサブプロセスの実行により開始される。図7のサブプロセスは、以下の各文章単位の用語&トークン獲得という表題においてより詳しく説明される。簡単には、サブプロセスは、センテンス内の全ての用語及びトークンを獲得することで開始される。次に、3つの用語/トークンがカウントされる。最後に、このカウントは、訓練された知識ベース内に見つけられるいずれかのセンテンス中の用語/トークンの最大数の推定値により割算される。
【0155】
例えば、表IX中で、センテンスS18、すなわち、「訴訟物の裁判籍」(表IX参照)、の相対的な大きさは、3/200=0.015である。ここで、200が訓練された知識ベース中にみつけられるいずれかのセンテンス中の用語/トークンの最大数の推定値である。
【0156】
センテンス中の負のZ値を持った用語/トークンの数の決定は、図7のサブプロセスの実行により開始される。図7のサブプロセスは、以下の各文章単位の用語&トークン獲得という表題においてより詳しく説明される。簡単には、サブプロセスは、センテンス内の全ての用語及びトークンを獲得することで開始される。そして、表Vのような表から各用語/トークンのZ値が得られて、負のZ値を持つ用語/トークンがカウントされる。
【0157】
例えば、表IX中で、センテンスS18、すなわち、「訴訟物の裁判籍」、の用語のZ値はそれぞれ、1.21829、−0.24597、及び1.21829である(表IV及びIX参照)。従って、負のZ値を持った用語/トークンの数はひとつ(1)である。
【0158】
センテンス中の二重引用符中の単語の数の決定が、二重引用符(")中のセンテンスの全ての文章ストリングを見つけることにより開始される。そして、これらの引用ストリング中の2字以上の単語がカウントされる。
【0159】
例えば、センテンスS12(表III参照):
被上訴人への権限の鎖の不動産権利証書が上訴人への権限の鎖のそれよりも先日付であることは、この問題には関係が無い。上訴人が「表見上の権限」を持たなければならないことだけである。(It is irrelevant in this matter that the deed to appellee's chain of title predated that to the appellants' chain of title. Appellants must have only "color of title.")
は、2字以上の3つの単語を含んだひとつの引用ストリング、"color of title."、を有する。
【0160】
平均Z値は、ゼロより小さい平均Z値、すなわち、ROLクラスに有利な、を持ったセンテンスについてのみ決定できる。この手法は、文章単位がひとつのセンテンスよりも大きい時に使用できる。最初に、文章単位がセンテンスに分割され、第2に、上述したようにして文章単位の各センテンスについて平均Z値が計算される。第3に、負の平均Z値を持ったセンテンスの平均Z値が加算され、そしてこのようなセンテンスの数により割算される。
【0161】
例えば、文章単位がセンテンスの代わりにパラグラフであり、興味のあるパラグラフは表Iのサンプル判例からのものと仮定すると:
「抵当権は借金又は他の義務の単なる担保にすぎず、借金又は義務からは独立に存在できない(<CASECITE>コップ対サンズ・ポイント・マリーナ、17NY2d291、292、270N.Y.S.2d599、217N.E.2d654</CASECITE>参照)。ここで、抵当権が担保する借金は明らかに訴えの提起前に満足されていたから、訴えを棄却すべき申立ては適正に許可されている。」("A mortgage is merely security for a debt or other obligation and cannot exist independently of the debt or obligation (See, <CaseCite>Copp v Sands Point Marina, 17NY2d291,292,270N.Y.S.2d599,217N.E.2d654</Casecite>).Here, the motion to dismiss the complaint was properly granted since the debt which the mortgage secured concededly was satisfied prior to the commencement of the action.")
このパラグラフは2つのセンテンスを含む:
A03「抵当権は借金又は他の義務の単なる担保にすぎず、借金又は義務からは独立に存在できない(<CASECITE>コップ対サンズ・ポイント・マリーナ、17NY2d291、292、270N.Y.S.2d599、217N.E.2d654</CASECITE>参照)。」("A mortgage is merely security for a debt or other obligation and cannot exist independently of the debt or obligation (See, <CaseCite>Copp v Sands Point Marina, 17NY2d291,292,270N.Y.S.2d599,217N.E.2d654</Casecite>).)
【0162】
A04「ここで、抵当権が担保する借金は明らかに訴えの提起前に満足されていたから、訴えを棄却すべき申立ては適正に許可されている。」(Here, the motion to dismiss the complaint was properly granted since the debt which the mortgage secured concededly was satisfied prior to the commencement of the action.")
【0163】
これら2つのセンテンスの平均Z値はそれぞれ、−0.3278及び0.3765である。負の平均Z値を持ったすべてのセンテンスの平均Z値を加算して、そしてそのようなセンテンスの数により割り算すると、−0.3278の値が得られる。この例では、単にひとつのセンテンス、センテンスA03、が負のZ値を有することに注意する。
【0164】
平均Z値はまた、最大の負のZ値を持つセンテンス、すなわち、最もROLクラスに有利なセンテンスについて決定できる。この手法は文章単位がひとつのセンテンスよりも大きい時に使用される。最初に、各文章単位がセンテンスに分割され、第2に、上述したようにして各文章単位の各センテンスについて平均Z値が計算される。第3に、ROLクラスに最も有利な平均Z値を持ったセンテンスが見つけられる。好適な実施の形態では、このセンテンスは最大の負の平均Z値を持つものである。
【0165】
VII.各文章単位の用語&トークンの獲得
トークンの目的は、句又は単語のようなラベルを付けることである。例えば、判例の引用はラベルCASE_CITE_TOKを与えられる。これらのラベルは、訓練セッション中で使用された前分類されたセンテンス中のトークンの1つの場合(例えば、判例引用の1つの場合)よりもよりしばしば発生する傾向がある。従って、トークンラベルのZ値はROL(大きな負のZ値)又は〜ROL(大きな正のZ値)のいずれかと高い相関関係を有する傾向がある。これはずっと大きいセンテンスの資料を代表する訓練のために必要とされる前分類されたセンテンスの数を減少する1つの方法である。
【0166】
図7は、図6に示される各文章単位についての用語及びトークンを獲得するためのステップ600中のサブプロセス・ステップ700、701、702を説明する。このサブプロセスへの入力は、文章ストリングの形式のセンテンスである。出力は、そのセンテンス中に見つけられた用語及びトークンの規格化されたリストである。
【0167】
このサブプロセスは基本的に、入力されたセンテンスを表わす規格化された用語及びトークンのリストを生成する。これは、もし、トークン名に対応したいずれかの文章ストリングが文章中に発見された場合、入力された文章ストリングに指定されたトークン名を追加することにより達成される。トークン名は文章を置換えても良いし、又は文章に追加しても良い。
【0168】
一般に、トークンを文章と置換えるよりは文章へ追加することが最良である。何故ならば、トークンの個別の例の文章は反対のトークン(例えば、〜ROLの代わりにROL)と相関関係を持つZ値を有するからである。しかし、いくつかの場合では、日付及び引用などのトークンの文章を構成する部分が〜ROL又はROLのいずれと高い相関関係を持たず、間違ったトークンと高い相関関係を有するかもしれない。これらの場合では、対応するトークンでそのセンテンス中の文章を置換えることが好ましい。
【0169】
トークン名と関連を持つ文章ストリングは2つのタイプがある。1)リスト、及び2)通常の表現である。トークン名が入力されると、用語又はトークンでないものはいずれもが入力された文章ストリングから取除かれる。
【0170】
以下のセンテンスS04が、入力センテンスの例として使用される。
【0171】
当局の最終アクション前に、MSHAが鉱山法に従うための誠実な努力を構成できるパートIII(C)に記載されるようなスケジュールに実質的に従うことをしなかった場合、UMWAは本裁判所に追加の適当な救済の許諾を申立てることができる。<CASECITE>モンロー、840F.2d947頁</CASECITE>;<CASECITE>TRAC、750F.2d80−81頁</CASECITE>参照;<CASECITE>ゼッガー、768F.2d1488頁<CASECITE>参照(「もし、MSHAが本裁判所に提出した見積りに従うための適正な誠実さを持った行動をしない場合、請願人はMSHAに対して規則制定プロセスを至急に完了するため指示する訴えができる。」)(Prior to final agency action, the UMWA may petition this court to grant additional appropriate relief in the event MSHA fails to adhere substantially to a schedule that would, as described in Part III(C), constitute a good faith effort by MSHA to come into compliance with the Mine Act. See <CASECITE>Monroe, 840F.2d at 947</CASECITE>;<CASECITE>TRAC, 750F.2d at 80-81</CASECITE>; See also <CASECITE>Zegeer, 768F.2d at 1448<CASECITE> ("If MSHA should fail to act with appropriate diligence in following the estimates it has tendered to this court, petitioners may invoke our authority to direct MSHA to complete the rulemaking process with due dispatch."))
【0172】
図7のサブプロセス600は、トークン名を文章ストリングに追加し、単語文字ではない文字を取除き、そして全ての用語を大文字にする、それぞれのステップ700、701、及び702を含む。
【0173】
文章ストリングへトークン名を追加する時、特定のトークン名が入力文章ストリングへ追加されるべきかどうかを決定するプロセスは、訓練された知識ベース内のトークンの対応する変数が1に設定されている場合にのみ、実行される。例えば、判例引用トークン、CASE_CITE_TOK、が追加されるべきかどうかを決定するためのプロセスは、以下の変数の場合のみ実行される。
CASE_CITATION=1
【0174】
以下に、好適な実施の形態の説明的なトークン名のリストと、その後に各名前が追加されるべきかを決定するプロセスの説明が続く。(a)CASE_CITE_TOK、(b)STAT_CITE_TOK、(c)PRONOUN_TOK、(d)DATE_TOK、(e)FIRST_NAME_TOK、(f)DOLLAR_AMT_TOK、(g)PARTY_TOK、(h)PAST_TENSE_VERB_TOK、及び(I)PRESENT_TENSE_TOK。
【0175】
(a)トークン名、CASE_CITE_TOK、はセンテンス中に見つけられたどんな判例引用と置換える。ここで、判例引用は例えばsgmlタグに似たあるマークアップ:<CASECITE>…</CASECITE>で囲まれる。置換えを行なうパール・コードは次ぎの通りである。
s/<CASECITE>.?<\/CASECITE>/ CASE_CITE_TOK /g;
(a)の完了後、例の文章ストリングは次ぎの様になる。
【0176】
当局の最終アクション前に、MSHAが鉱山法に従うための誠実な努力を構成できるパートIII(C)に記載されるようなスケジュールに実質的に従うことをしなかった場合、UMWAは本裁判所に追加の適当な救済の許諾を申立てることができる。CASE_CITE_TOK;CASE_CITE_TOK参照;CASE_CITE_TOK参照(「もし、MSHAが本裁判所に提出した見積りに従うための適正な誠実さを持った行動をしない場合、請願人はMSHAに対して規則制定プロセスを至急に完了するため指示する訴えができる。」)(Prior to final agency action, the UMWA may petition this court to grant additional appropriate relief in the event MSHA fails to adhere substantially to a schedule that would, as described in Part III(C), constitute a good faith effort by MSHA to come into compliance with the Mine Act. See CASE_CITE_TOK; CASE_CITE_TOK; See also CASE_CITE_TOK ("If MSHA should fail to act with appropriate diligence in following the estimates it has tendered to this court, petitioners may invoke our authority to direct MSHA to complete the rulemaking process with due dispatch."))
以上に示されるように、文章ストリング中に3つの判例の引用が見つけられた。
【0177】
(b)トークン名、STAT_CITE_TOK、はセンテンス中に見つけられたどんな制定法引用と置換える。ここで、制定法引用は例えばsgmlタグに似たあるマークアップ:例えば、<STATCITE>…</STATCITE>で囲まれるか、又は、1つ又は複数のスペース及び1つ又は複数の数字が後に続く以下の$S、$Z、セクション又は章、の1つのいずれかである。。置換えを行なうパール・コードは次ぎの通りである。
【0178】
s/<STATCITE>.?<\/STATCITE>/ STAT_CITE_TOK /g;
s/(?:\$[SZ]|[Ss]ection|[cC]apter)\s+\d+/ STAT_CITE_TOK /g;
(b)の完了後、このセンテンス中には制定法が見つからないため、例の文章ストリング中には変化がない。
【0179】
(c)トークン名、PRONOUN_TOK、はセンテンス中に好ましくはメモリ内に記憶された代名詞のリストから識別される代名詞が見つけられる時、文章ストリングに追加される。(c)の完了後、例の文章ストリングは次ぎの様になる。
【0180】
当局の最終アクション前に、MSHAが鉱山PRONOUN_TOK法に従うための誠実な努力を構成できるパートIII(C)に記載されるようなスケジュールに実質的に従うことをしなかった場合、UMWAは本裁判所に追加の適当な救済の許諾を申立てることができる。CASE_CITE_TOK;CASE_CITE_TOK参照;CASE_CITE_TOK参照(「もし、MSHAが本裁判所に提出した見積りに従うための適正な誠実さを持った行動をしない場合、請願人はMSHAに対して規則制定プロセスを至急に完了するため指示する訴えができる。」)(Prior to final agency action, the UMWA may petition this court to grant additional appropriate relief in the event MSHA fails to adhere substantially to a schedule that would, as described in Part III(C), constitute a good faith effort by MSHA to come into compliance with the Mine PRONOUN_TOK Act. See CASE_CITE_TOK; CASE_CITE_TOK; See also CASE_CITE_TOK ("If MSHA should fail to act with appropriate diligence in following the estimates it has tendered to this court, petitioners may invoke our authority to direct MSHA to complete the rulemaking process with due dispatch."))
この例では、「鉱山法」中の「鉱山」が代名詞として認識される。
【0181】
(d)トークン名、DATE_TOK、はセンテンス中に見つけられたどんな日付と置換える。ここで、日付は、月、又は、4つの数字の年若しくは1つ又は2つの数字の日とコンマと2つ又は4つの数字の年のいずれかが後に続く月の省略形のいずれかである。また、もし、月の名前が日又は年を有さずに完全に与えられていれば、これは日付として許容される。この置換えを行なうパールコードは通りである。
【0182】
s/\b${month}\b\s*\d+\s*\d+/ DATE_TOK /gi;
s/\b${smonth}\b\s*\d+\s*\d+/ DATE_TOK /gi;
ここで、
$month="January|February|March|April|May|June|July|August|September|October|November|December"、そして
$smonth="Jan|Feb|Mar|Apr|May|Jun|Jul|Aug|Sep|Oct|Nov|Dec"である。
【0183】
(d)の完了後、このセンテンス中には日付が見つからないため、例の文章ストリング中には変化がない。
(e)トークン名、FIRST_NAME_TOK、はセンテンス中に好ましくはメモリ内に記憶されたファースト・ネームのリストからのファースト・ネームが見つけられた時にセンテンスの文章に追加される。(e)の完了後、例の文章ストリングは次ぎの様になる。
【0184】
当局の最終アクション前に、MSHAが鉱山PRONOUN_TOK法に従うための誠実なFIRST_NAME_TOK努力を構成できるパートIII(C)に記載されるようなスケジュールに実質的に従うことをしなかった場合、UMWAは本裁判所に追加の適当な救済の許諾FIRST_MAME_TOKを申立てることができる。CASE_CITE_TOK;CASE_CITE_TOK参照;CASE_CITE_TOK参照(「もし、MSHAが本裁判所に提出した見積りに従うための適正な誠実さを持った行動をしない場合、請願人はMSHAに対して規則制定プロセスを至急に完了するため指示する訴えができる。」)(Prior to final agency action, the UMWA may petition this court to grant FIRST_NAME_TOK additional appropriate relief in the event MSHA fails to adhere substantially to a schedule that would, as described in Part III(C), constitute a good faith FIRST_NAME_TOK effort by MSHA to come into compliance with the Mine PRONOUN_TOK Act. See CASE_CITE_TOK; CASE_CITE_TOK; See also CASE_CITE_TOK ("If MSHA should fail to act with appropriate diligence in following the estimates it has tendered to this court, petitioners may invoke our authority to direct MSHA to complete the rulemaking process with due dispatch."))
この例では、「許諾」及び「誠実」がファースト・ネームとして認識される。
【0185】
(f)トークン名、DALLAR_AMT_TOK、はセンテンス中に見つけられたどんなドル金額と置換える。ここで、ドル金額は、1つのスペースと数字の、ピリオド及びコンマのどんな組合せが後に続く“$”である。この置換えを行なうパールコードは通りである。
【0186】
s/\$\s[0-9,.]+/ DOLLAR_AMT_TOK /g;
(f)の完了後、センテンス中にドル金額が見つからないため、例の文章ストリング中に変化はない。
【0187】
(g)トークン名、PARTY_TOK、はセンテンス中に好ましくはメモリ内に記憶された当事者名単語のリストからの当事者名単語が見つけられた時にセンテンスの文章に追加される。(g)の完了後、例の文章ストリングはセンテンス中に当事者名が見つからないため変化がない。
【0188】
(h)トークン名、PAST_TENSE_VERB_TOK、はセンテンス中に好ましくはメモリ内に記憶された過去時制動詞のリストからの過去時制動詞が見つけられた時にセンテンスの文章に追加される。(h)の完了後、例の文章ストリングはセンテンス中に過去時制動詞が見つからないため変化がない。
【0189】
(i)トークン名、PRESENT_TENSE_VERB_TOK、はセンテンス中に好ましくはメモリ内に記憶された現在時制動詞のリストからの現在時制動詞が見つけられた時にセンテンスの文章に追加される。(i)の完了後、例の文章ストリングは次ぎの様になる。
【0190】
当局の最終アクション前に、MSHAが鉱山PRONOUN_TOK法に従うための誠実なFIRST_NAME_TOK努力を構成PRESENT_TENSE_VERB_TOKできるPRESENT_TENSE_VERB_TOKパートIII(C)に記載されるようなスケジュールに実質的に従うPRESENT_TENSE_VERB_TOKことをしなかった場合、UMWAは本裁判所に追加の適当な救済の許諾FIRST_MAME_TOKを申立てることができる。CASE_CITE_TOK;CASE_CITE_TOK参照PRESENT_TENSE_VERB_TOK;CASE_CITE_TOK参照PRESENT_TENSE_VERB_TOK(「もし、MSHAが本裁判所に提出した見積りに従うための適正な誠実さを持った行動をしない場合、請願人はMSHAに対して規則制定プロセスを至急に完了するため指示する訴えができる。」)(Prior to final agency action, the UMWA may petition this court to grant FIRST_NAME_TOK additional appropriate relief in the event MSHA fails to adhere PRESENT_TENSE_VERB_TOK substantially to a schedule that would PRESENT_TENSE_VERB_TOK, as described in Part III(C), constitute PRESENT_TENSE_VERB_TOK a good faith FIRST_NAME_TOK effort by MSHA to come into compliance with the Mine PRONOUN_TOK Act. See PRESENT_TENSE_VERB_TOK CASE_CITE_TOK; CASE_CITE_TOK; See PRESENT_TENSE_VERB_TOK also CASE_CITE_TOK ("If MSHA should fail to act with appropriate diligence in following the estimates it has tendered to this court, petitioners may invoke our authority to direct MSHA to complete the rulemaking process with due dispatch."))
【0191】
この例では、「従う(adhere)」、「できる(would)」、「構成(constitute)」、及び「参照(see)」が現在時制動詞として認識される。トークン名を文章ストリングに追加して、次ぎのステップ701は、文字、数字、ダッシュ、スペースのいずれかを構成しない字のどんなストリングが除去される。どんな単一文字用語も除去される。これにより、文章単位中の文章でスペースにより分離された用語及びトークンのみが残る。この置換えを行なうパール・コードは次の通りである。
【0192】
s/[,.;:'"?\$#@\|\/\\\[\]\(\)\{\}\!\%\+\=<>\-]+/ /g; s\b[a-zA-z]\b//g;
非単語文字を除去すると、例の文字ストリングは次ぎの様になる。
【0193】
当局の最終アクション前にMSHAが鉱山PRONOUN_TOK法に従うための誠実なFIRST_NAME_TOK努力を構成PRESENT_TENSE_VERB_TOKできるPRESENT_TENSE_VERB_TOKパートIIICに記載されるようなスケジュールに実質的に従うPRESENT_TENSE_VERB_TOKことをしなかった場合UMWAは本裁判所に追加の適当な救済の許諾FIRST_MAME_TOKを申立てることができるCASE_CITE_TOK CASE_CITE_TOK参照PRESENT_TENSE_VERB_TOK CASE_CITE_TOK参照PRESENT_TENSE_VERB_TOKもしMSHAが本裁判所に提出した見積りに従うための適正な誠実さを持った行動をしない場合請願人はMSHAに対して規則制定プロセスを至急に完了するため指示する訴えができる(Prior to final agency action the UMWA may petition this court to grant FIRST_NAME_TOK additional appropriate relief in the event MSHA fails to adhere PRESENT_TENSE_VERB_TOK substantially to schedule that would PRESENT_TENSE_VERB_TOK as described in Part III constitute PRESENT_TENSE_VERB_TOK good faith FIRST_NAME_TOK effort by MSHA to come into compliance with the Mine PRONOUN_TOK Act See PRESENT_TENSE_VERB_TOK CASE_CITE_TOK CASE_CITE_TOK See PRESENT_TENSE_VERB_TOK CASE_CITE_TOK also If MSHA should fail to act with appropriate diligence in following the estimates it has tendered to this court petitioners may invoke our authority to direct MSHA to complete the rulemaking process with due dispatch)
【0194】
最終ステップは、全ての用語を規格化又は大文字化する702。このステップの完了後、例の文章ストリングは次ぎの様になる。
(PRIOR TO FINAL AGENCY ACTION THE UMWA MAY PETITION THIS COURT TO GRANT FIRST_NAME_TOK ADDITIONAL APPROPRIATE RELIEF IN THE EVENT MSHA FAILS TO ADHERE PRESENT_TENSE_VERB_TOK SUBSTANTIALLY TO SCHEDULE THAT WOULD PRESENT_TENSE_VERB_TOK AS DESCRIBED IN PART III CONSTITUTE PRESENT_TENSE_VERB_TOK GOOD FAITH FIRST_NAME_TOK EFFORT BY MSHA TO COME INTO COMPLIANCE WITH THE MINE PRONOUN_TOK ACT SEE PRESENT_TENSE_VERB_TOK CASE_CITE_TOK CASE_CITE_TOK SEE PRESENT_TENSE_VERB_TOK ALSO CASE_CITE_TOK IF MSHA SHOULD FAIL TO ACT WITH APPROPRIATE DILIGENCE IN FOLLOWING THE ESTIMATES IT HASE TENDERED TO THIS COURT PETITIONERS MAY INVOKE OUR AUTHORITY TO DIRECT MSHA TO COMPLETE THE RULEMAKING PROCESS WITH DUE DISPATCH)
【0195】
各文章単位について用語及びトークンの獲得が完了した際、プロセスはコンテキストに依存して適当なステップに戻る。例えば、図5に示されるようなサブプロセス302を使用して一次回帰方程式を生成するとき、プロセスは分類毎に頻度数を蓄積するステップ501に続く。同様に、図6に示されるように各文章単位について特徴を生成するサブプロセス503を使用するとき、プロセスは各用語又はトークンについてZ値を得るステップ601に続く。
【0196】
上述の説明と図面は本発明の原理の説明目的だけに考察されるべきである。本発明は、好適な実施の形態に限定されず、さまざまな形と大きさで構成できる。本発明の数多い応用が当業者に容易に思い付くことができる。本発明は広くはどんな2進分類仕事についても使用でき、2進分類に従い文章の1つのカテゴリー又は他のいずれかに属するものとして文章単位を分類するために開示された方法を使用するどんなものをも含むことを意図している。例えば、本発明は文章単位を「事実」又は「議論」のいずれかとして分類するために使用できる。従って、本発明を説明され図示された特定の開示された例又は正確な応用及び作用に限定することは望んではいない。むしろ、本発明の範囲内に全ての適当な修正及び均等物が含まれる。
【図面の簡単な説明】
【図1】 本発明のシステム及び方法を実現する例示的なハードウェア構成を説明する図。
【図2】 本発明の法の支配の方法を好適に実現する高レベル・フローチャート。
【図3】 図2中の訓練&検査ROL認識ステップのフロー図。
【図4】 本発明による訓練された知識ベース開発中に閾値を割当てるためのプロセスのフロー図。
【図5】 図3中のの一次回帰方程式生成ステップのフロー図。
【図6】 図4中の各文章単位ステップについての特徴生成のフロー図。
【図7】 図6中の文章単位の用語&トークン獲得ステップのフロー図。
Claims (12)
- 特定のタイプの文章単位であるか或いはそうでないかの何れかとしてドキュメント内の文章単位の二項分類するために、訓練知識ベースを生成するコンピュータで実行される方法であって、
用語及びトークンに分けられる前記文章単位は、平均Z値を少なくとも含む数値で表現される特定可能な特徴を有し、
ユーザインタフェースを介して、初期化された知識ベースを前記コンピュータで受信するステップと、
ユーザインタフェースを介して、文章単位の訓練セットを前記コンピュータで受信するステップであって、前記訓練セットの各文章単位は、前記特定のタイプの文章単位であるか或いはそうでないかの何れかとして既に正確に分類されている当該ステップと、
前記コンピュータの中央処理装置が、
(a)前記受信された訓練セットを、回帰サブセット及びキャリブレーション・サブセットにランダムにパーティション化するステップと、
(b)前記回帰サブセットの文章単位内にある用語及びトークンの全てに関するZ値を生成するステップと、
(c)前記生成したZ値を基に、前記回帰サブセットの各文章単位に関する平均Z値を計算するステップと、
(d)前記回帰サブセットの各文章単位に関する他の特徴のために数値を生成するステップと、
(e)ロジステイック回帰に基づき、ドキュメント内の未分類の文章単位に関するスコアを計算するために、変数として前記平均Z値及び選択された他の特徴の数値を含む一次方程式を生成するステップと、
(f)前記訓練知識ベースを生成するために、前記回帰サブセットの各用語及びトークンに関する前記生成されたZ値、前記一次方程式、及び前記キャリブレーション・サブセットを、前記初期化された知識ベースへ送信するステップと、
を実行することを含む前記方法。 - 一次方程式を生成する前記ステップにおいて、ロジステイック回帰は、前記一次方程式における変数の係数が決定されるために用いられる、請求項1に記載の方法。
- 一次方程式を生成する前記ステップにおいて、前記選択された他の特徴とは、前記文章単位に含まれる各センテンス量の、当該文章単位に含まれる他のセンテンス量に対する相対的な量を示す相対サイズ、負のZ値を有する用語及びトークンの数、並びに前記文章単位の用語及びトークンの数である、請求項1に記載の方法。
- 一次方程式を生成する前記ステップにおいて、
前記平均Z及び変数として選択された他の特徴の異なる組合わせの数値を基に複数の前記一次方程式が生成され、前記一次方程式における変数の係数を決定するためにロジステイック回帰が用いられ、
前記特徴の組合わせを評価するために最尤解析が用いられるとき、前記特徴の数は最少でありながら、前記最尤解析の評価の値が最大に一致する一次方程式を選択する、請求項1に記載の方法。 - 前記回帰サブセットの各用語及びトークンに関する前記生成されたZ値、前記一次方程式、及び前記キャリブレーション・サブセットを用いて、評価される各スコアに対する閾値を設定するステップを更に含み、
前記閾値を設定するステップは、
コンピュータの中央処理装置が、
前記キャリブレーション・サブセットの各文章単位に関する前記一次方程式の解を計算するステップと、
前記キャリブレーション・サブセットの各文章単位に関するスコアを生成するために、S字(シグモイド)関数を、前記キャリブレーション・サブセットの各文章単位に関する前記一次方程式の解に適用するステップと、
前記キャリブレーション・サブセットの各文章単位を、前記スコアの下降順にランク付けするステップと、
前記キャリブレーション・サブセットの文章単位を、前記特定のタイプの文章単位であるか或いはそうでないかに分けるスコアを前記閾値として設定するステップと、
を実行すること含む請求項1に記載の方法。 - 前記S字(シグモイド)関数は、e x /(1+e x )であり、xは前記一次方程式の解である、請求項5に記載の方法。
- 前記一次方程式を生成するステップにおいて、変数として用いられる前記他の特徴は、前記文章単位に含まれる各センテンス量の、当該文章単位に含まれる他のセンテンス量に対する相対的な量を示す相対サイズ、負のZ値を有する用語及びトークンの数、並びに前記文章単位の用語及びトークンの数を含む、請求項1に記載の方法。
- 前記テキストは判例ドキュメントからのものであり、前記特定タイプの文章単位は「法の支配(ROL)」、すなわち、法の一般的な説明であり、処理を導くことが意図されたある状況の組の下で、同様な状況を有するその後の状況に対して適用される原理である、請求項1に記載の方法。
- 特定のタイプの文章単位であるか或いはそうでないかの何れかとしてドキュメント内の文章単位の二項分類を、前記請求項1〜8の何れか1項に従い生成される訓練された知識ベースに基づき行うためのコンピュータ実行による方法であって、用語及びトークンに分けられる前記文章単位は、平均Z値を少なくとも含む数値で表現される特定可能な特徴を有し、
前記コンピュータは、
前記コンピュータのユーザインタフェースを介して、未分類のテキストをもつドキュメントを受信するステップと、
前記訓練知識ベースを用いて、前記ドキュメントにおいて前記特定のタイプの文章単位を見つけてマーキングするステップとを含み、
前記特定のタイプの文章単位を見つけてマーキングするステップは、さらに、
a)前記受信されたドキュメントの予め決められた部分を見つけて抽出するステップ、
b)抽出された部分を文章単位にパーティション化するステップ、
c)前記訓練知識ベースを入力し又は参照するステップ、
d)前記抽出された部分内にある用語及びトークンの全てに関するZ値を生成するステップ、
e)前記生成されたZ値を基に、前記抽出された部分内にある用語及びトークンの全てに関する平均Z値を計算するステップ、
f)前記回帰サブセットの各文章単位に関する前記特徴のために数値を生成するステップ、
g)少なくとも前記一次方程式を用いて、前記抽出された部分の各文章単位に関するスコアを計算するステップ、
h)前記閾値より大きな計算されたスコアをもつ前記抽出された部分の文章単位を、前記特定のタイプの文章単位として識別するステップ、
i)前記識別された特定のタイプの文章単位をマーキングするステップ、
j)前記マーキングされた特定のタイプの文章単位とともに前記ドキュメントを出力するステップ、
を含む請求項1〜8の何れか1項に記載の方法。 - 前記抽出された部分の各文章単位に関するスコアを計算するステップは、
前記抽出された部分の各文章単位に関する前記一次方程式の解を計算するステップと、
前記抽出された部分の各文章単位に関するスコアを計算するために、前記抽出された部分の各文章単位に関する結果に対して、S字(シグモイド)関数を適用するステップと、
を含む請求項9に記載の方法。 - 前記S字(シグモイド)関数は、e x /(1+e x )であり、xは前記一次方程式の解である、請求項10に記載の方法。
- 特定のタイプの文章単位であるか或いはそうでないかを区別するために、訓練知識ベースを用いて入力ドキュメントからテキストを分類するシステムであって、
用語及びトークンに分けられる前記文章単位は、平均Z値を少なくとも含む数値で表現される特定可能な特徴を有し、
初期化された知識ベースを前記コンピュータに入力する手段と、
文章単位の訓練セットを前記コンピュータに入力する手段であって、前記訓練セットの各文章単位は、前記特定のタイプの文章単位であるか或いはそうでないかの何れかとして既に正確に分類されており、
前記入力された訓練セットを、回帰サブセット及びキャリブレーション・サブセットにランダムにパーティション化する手段と、
前記回帰サブセットの文章単位内にある用語及びトークンの全てに関するZ値を生成する手段と、
前記生成したZ値を基に、前記回帰サブセットの各文章単位に関する平均Z値を計算する手段と、
前記回帰サブセットの各文章単位に関する他の特徴のために数値を生成する手段と、
ロジステイック回帰に基づき、ドキュメント内の未分類の文章単位に関するスコアを計算するために、一次方程式を生成する手段であって、前記一次方程式は変数として前記平均Z値及び選択された他の特徴の数値を含む当該手段と、
前記回帰サブセットの各用語及びトークンに関する前記生成されたZ値、前記一次方程式、並びに前記キャリブレーション・サブセットを用いて、評価される各スコアに対する閾値を設定する手段と、
前記訓練知識ベースを生成するために、前記回帰サブセットの各用語及びトークンに関する前記生成されたZ値、前記一次方程式、並びに前記閾値を、前記初期化された知識ベースに入力する手段と、
を備えたシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/583,867 | 2000-05-31 | ||
US09/583,867 US6684202B1 (en) | 2000-05-31 | 2000-05-31 | Computer-based system and method for finding rules of law in text |
PCT/US2001/017507 WO2001093193A1 (en) | 2000-05-31 | 2001-05-31 | Computer-based system and method for finding rules of law in text |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003535407A JP2003535407A (ja) | 2003-11-25 |
JP4773672B2 true JP4773672B2 (ja) | 2011-09-14 |
Family
ID=24334908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002500328A Expired - Lifetime JP4773672B2 (ja) | 2000-05-31 | 2001-05-31 | 文章中の法の支配を見つけるためのコンピュータ・ベース・システム及び方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US6684202B1 (ja) |
EP (1) | EP1305771B1 (ja) |
JP (1) | JP4773672B2 (ja) |
AU (2) | AU2001266627B2 (ja) |
CA (1) | CA2410881C (ja) |
WO (1) | WO2001093193A1 (ja) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2002303270A1 (en) * | 2001-04-04 | 2002-10-21 | West Publishing Company | System, method, and software for identifying historically related legal opinions |
US7630910B2 (en) * | 2001-12-31 | 2009-12-08 | Genworth Financial, Inc. | System for case-based insurance underwriting suitable for use by an automated system |
US7818186B2 (en) * | 2001-12-31 | 2010-10-19 | Genworth Financial, Inc. | System for determining a confidence factor for insurance underwriting suitable for use by an automated system |
US20040236611A1 (en) * | 2003-04-30 | 2004-11-25 | Ge Financial Assurance Holdings, Inc. | System and process for a neural network classification for insurance underwriting suitable for use by an automated system |
US7917587B2 (en) | 2004-07-30 | 2011-03-29 | Microsoft Corporation | Method and system for prioritizing communications based on interpersonal relationships |
US7567895B2 (en) * | 2004-08-31 | 2009-07-28 | Microsoft Corporation | Method and system for prioritizing communications based on sentence classifications |
US20060224953A1 (en) * | 2005-04-01 | 2006-10-05 | Xiaofan Lin | Height-width estimation model for a text block |
US7676460B2 (en) * | 2006-03-03 | 2010-03-09 | International Business Machines Corporation | Techniques for providing suggestions for creating a search query |
US7735010B2 (en) * | 2006-04-05 | 2010-06-08 | Lexisnexis, A Division Of Reed Elsevier Inc. | Citation network viewer and method |
US20070239629A1 (en) * | 2006-04-10 | 2007-10-11 | Bo Ling | Cluster Trending Method for Abnormal Events Detection |
US7792830B2 (en) * | 2006-08-01 | 2010-09-07 | International Business Machines Corporation | Analyzing the ability to find textual content |
US20080126319A1 (en) * | 2006-08-25 | 2008-05-29 | Ohad Lisral Bukai | Automated short free-text scoring method and system |
CN101595482A (zh) * | 2006-12-15 | 2009-12-02 | 韩国(管理部署:建设交通部航空安全本部) | Sarp的管理和实施*** |
NZ578672A (en) * | 2006-12-29 | 2012-08-31 | Thomson Reuters Glo Resources | Information-retrieval systems, methods, and software with concept-based searching and ranking |
US7936951B2 (en) | 2007-03-06 | 2011-05-03 | Ecompex, Inc. | System for document digitization |
US20100211484A1 (en) * | 2009-02-13 | 2010-08-19 | Centergistic Solutions, Inc. | Electronic bankruptcy claims filing system |
US8234259B2 (en) * | 2009-05-08 | 2012-07-31 | Raytheon Company | Method and system for adjudicating text against a defined policy |
US8180783B1 (en) * | 2009-05-13 | 2012-05-15 | Softek Solutions, Inc. | Document ranking systems and methods |
JP5751253B2 (ja) * | 2010-05-24 | 2015-07-22 | 日本電気株式会社 | 情報抽出システム、方法及びプログラム |
WO2012061252A2 (en) | 2010-11-04 | 2012-05-10 | Dw Associates, Llc. | Methods and systems for identifying, quantifying, analyzing, and optimizing the level of engagement of components within a defined ecosystem or context |
US8996359B2 (en) | 2011-05-18 | 2015-03-31 | Dw Associates, Llc | Taxonomy and application of language analysis and processing |
US8952796B1 (en) | 2011-06-28 | 2015-02-10 | Dw Associates, Llc | Enactive perception device |
US9269353B1 (en) | 2011-12-07 | 2016-02-23 | Manu Rehani | Methods and systems for measuring semantics in communications |
US9020807B2 (en) | 2012-01-18 | 2015-04-28 | Dw Associates, Llc | Format for displaying text analytics results |
US9424254B2 (en) * | 2012-11-29 | 2016-08-23 | Thomson Reuters Global Resoures | Systems and methods for natural language generation |
US11144994B1 (en) | 2014-08-18 | 2021-10-12 | Street Diligence, Inc. | Computer-implemented apparatus and method for providing information concerning a financial instrument |
US10474702B1 (en) | 2014-08-18 | 2019-11-12 | Street Diligence, Inc. | Computer-implemented apparatus and method for providing information concerning a financial instrument |
US11449789B2 (en) | 2016-02-16 | 2022-09-20 | Micro Focus Llc | System and method for hierarchical classification |
US10740563B2 (en) * | 2017-02-03 | 2020-08-11 | Benedict R. Dugan | System and methods for text classification |
US11763321B2 (en) | 2018-09-07 | 2023-09-19 | Moore And Gasperecz Global, Inc. | Systems and methods for extracting requirements from regulatory content |
CN109933647A (zh) * | 2019-02-12 | 2019-06-25 | 北京百度网讯科技有限公司 | 确定描述信息的方法、装置、电子设备和计算机存储介质 |
CN110069777A (zh) * | 2019-04-03 | 2019-07-30 | 网宿科技股份有限公司 | 一种客服质量审计方法及装置 |
US11244112B1 (en) | 2019-04-26 | 2022-02-08 | Bank Of America Corporation | Classifying and grouping sentences using machine learning |
US11783005B2 (en) | 2019-04-26 | 2023-10-10 | Bank Of America Corporation | Classifying and mapping sentences using machine learning |
US11163947B2 (en) * | 2019-07-30 | 2021-11-02 | Imrsv Data Labs Inc. | Methods and systems for multi-label classification of text data |
US11556711B2 (en) | 2019-08-27 | 2023-01-17 | Bank Of America Corporation | Analyzing documents using machine learning |
US11526804B2 (en) | 2019-08-27 | 2022-12-13 | Bank Of America Corporation | Machine learning model training for reviewing documents |
US11423231B2 (en) | 2019-08-27 | 2022-08-23 | Bank Of America Corporation | Removing outliers from training data for machine learning |
US11449559B2 (en) | 2019-08-27 | 2022-09-20 | Bank Of America Corporation | Identifying similar sentences for machine learning |
US11461539B2 (en) * | 2020-07-29 | 2022-10-04 | Docusign, Inc. | Automated document highlighting in a digital management platform |
US10956673B1 (en) | 2020-09-10 | 2021-03-23 | Moore & Gasperecz Global Inc. | Method and system for identifying citations within regulatory content |
US20220147814A1 (en) | 2020-11-09 | 2022-05-12 | Moore & Gasperecz Global Inc. | Task specific processing of regulatory content |
US11314922B1 (en) | 2020-11-27 | 2022-04-26 | Moore & Gasperecz Global Inc. | System and method for generating regulatory content requirement descriptions |
US11823477B1 (en) | 2022-08-30 | 2023-11-21 | Moore And Gasperecz Global, Inc. | Method and system for extracting data from tables within regulatory content |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08123778A (ja) * | 1994-10-20 | 1996-05-17 | Hitachi Ltd | 非線形モデル自動生成方法 |
JPH08221420A (ja) * | 1995-02-09 | 1996-08-30 | Canon Inc | 情報処理装置および情報処理方法 |
JPH08255172A (ja) * | 1995-03-16 | 1996-10-01 | Toshiba Corp | 文書検索システム |
WO1999067728A1 (en) * | 1998-06-23 | 1999-12-29 | Microsoft Corporation | Methods and apparatus for classifying text and for building a text classifier |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5146405A (en) * | 1988-02-05 | 1992-09-08 | At&T Bell Laboratories | Methods for part-of-speech determination and usage |
US5182708A (en) * | 1990-12-11 | 1993-01-26 | Ricoh Corporation | Method and apparatus for classifying text |
US5729730A (en) * | 1995-03-28 | 1998-03-17 | Dex Information Systems, Inc. | Method and apparatus for improved information storage and retrieval system |
AU6849196A (en) * | 1995-08-16 | 1997-03-19 | Syracuse University | Multilingual document retrieval system and method using semantic vector matching |
US6076088A (en) * | 1996-02-09 | 2000-06-13 | Paik; Woojin | Information extraction system and method using concept relation concept (CRC) triples |
US6021403A (en) * | 1996-07-19 | 2000-02-01 | Microsoft Corporation | Intelligent user assistance facility |
US6182029B1 (en) * | 1996-10-28 | 2001-01-30 | The Trustees Of Columbia University In The City Of New York | System and method for language extraction and encoding utilizing the parsing of text data in accordance with domain parameters |
US6470307B1 (en) * | 1997-06-23 | 2002-10-22 | National Research Council Of Canada | Method and apparatus for automatically identifying keywords within a document |
US6263333B1 (en) * | 1998-10-22 | 2001-07-17 | International Business Machines Corporation | Method for searching non-tokenized text and tokenized text for matches against a keyword data structure |
US6397205B1 (en) * | 1998-11-24 | 2002-05-28 | Duquesne University Of The Holy Ghost | Document categorization and evaluation via cross-entrophy |
US6415248B1 (en) * | 1998-12-09 | 2002-07-02 | At&T Corp. | Method for building linguistic models from a corpus |
NZ516822A (en) * | 1999-08-06 | 2004-05-28 | Lexis Nexis | System and method for classifying legal concepts using legal topic scheme |
US6529902B1 (en) * | 1999-11-08 | 2003-03-04 | International Business Machines Corporation | Method and system for off-line detection of textual topical changes and topic identification via likelihood based methods for improved language modeling |
US6535849B1 (en) * | 2000-01-18 | 2003-03-18 | Scansoft, Inc. | Method and system for generating semi-literal transcripts for speech recognition systems |
-
2000
- 2000-05-31 US US09/583,867 patent/US6684202B1/en not_active Expired - Lifetime
-
2001
- 2001-05-31 AU AU2001266627A patent/AU2001266627B2/en not_active Expired
- 2001-05-31 WO PCT/US2001/017507 patent/WO2001093193A1/en active Application Filing
- 2001-05-31 EP EP01944190.6A patent/EP1305771B1/en not_active Expired - Lifetime
- 2001-05-31 JP JP2002500328A patent/JP4773672B2/ja not_active Expired - Lifetime
- 2001-05-31 CA CA002410881A patent/CA2410881C/en not_active Expired - Lifetime
- 2001-05-31 AU AU6662701A patent/AU6662701A/xx active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08123778A (ja) * | 1994-10-20 | 1996-05-17 | Hitachi Ltd | 非線形モデル自動生成方法 |
JPH08221420A (ja) * | 1995-02-09 | 1996-08-30 | Canon Inc | 情報処理装置および情報処理方法 |
JPH08255172A (ja) * | 1995-03-16 | 1996-10-01 | Toshiba Corp | 文書検索システム |
WO1999067728A1 (en) * | 1998-06-23 | 1999-12-29 | Microsoft Corporation | Methods and apparatus for classifying text and for building a text classifier |
Also Published As
Publication number | Publication date |
---|---|
US6684202B1 (en) | 2004-01-27 |
CA2410881A1 (en) | 2001-12-06 |
WO2001093193A1 (en) | 2001-12-06 |
AU2001266627B2 (en) | 2007-07-19 |
EP1305771A4 (en) | 2009-06-03 |
AU6662701A (en) | 2001-12-11 |
CA2410881C (en) | 2007-01-09 |
EP1305771B1 (en) | 2020-01-01 |
EP1305771A1 (en) | 2003-05-02 |
JP2003535407A (ja) | 2003-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4773672B2 (ja) | 文章中の法の支配を見つけるためのコンピュータ・ベース・システム及び方法 | |
Kobayashi et al. | Text mining in organizational research | |
AU2001266627A1 (en) | Computer-based system and method for finding rules of law in text | |
Ko et al. | Automatic text categorization by unsupervised learning | |
Popowich | Using text mining and natural language processing for health care claims processing | |
US20050021512A1 (en) | Automatic indexing of digital image archives for content-based, context-sensitive searching | |
Hausladen et al. | Text classification of ideological direction in judicial opinions | |
Waltl et al. | Predicting the outcome of appeal decisions in Germany’s tax law | |
US20050004806A1 (en) | Automatic patent claim reader and computer-aided claim reading method | |
Sadeghian et al. | Automatic semantic edge labeling over legal citation graphs | |
US20140280014A1 (en) | Apparatus and method for automatic assignment of industry classification codes | |
Sangodiah et al. | Taxonomy Based Features in Question Classification Using Support Vector Machine. | |
Urena-López et al. | Integrating linguistic resources in TC through WSD | |
Ko et al. | Learning with unlabeled data for text categorization using a bootstrapping and a feature projection technique | |
Ribeiro et al. | Discovering IMRaD structure with different classifiers | |
Pirovani et al. | Adapting NER (CRF+ LG) for Many Textual Genres. | |
US20210272038A1 (en) | Healthcare Decision Platform | |
Hung et al. | Neural network based document clustering using wordnet ontologies | |
EP3417409B1 (en) | Scenario analytics system | |
Al-augby et al. | Proposed investment decision support system for stock exchange using text mining method | |
Zhang et al. | Informing the curious negotiator: Automatic news extraction from the internet | |
Sable et al. | Text-based approaches for the categorization of images | |
Cho | Knowledge discovery from distributed and textual data | |
Chartrand et al. | Detecting Large Concept Extensions for Conceptual Analysis | |
DeVille et al. | Text as Data: Computational Methods of Understanding Written Expression Using SAS |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110609 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110624 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140701 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4773672 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |