JP5744228B2 - インターネットにおける有害情報の遮断方法と装置 - Google Patents
インターネットにおける有害情報の遮断方法と装置 Download PDFInfo
- Publication number
- JP5744228B2 JP5744228B2 JP2013545039A JP2013545039A JP5744228B2 JP 5744228 B2 JP5744228 B2 JP 5744228B2 JP 2013545039 A JP2013545039 A JP 2013545039A JP 2013545039 A JP2013545039 A JP 2013545039A JP 5744228 B2 JP5744228 B2 JP 5744228B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- corpus
- matching
- user feedback
- model information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000000903 blocking effect Effects 0.000 title claims description 54
- 238000000034 method Methods 0.000 title claims description 52
- 238000007781 pre-processing Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 description 21
- 238000004458 analytical method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 229930091051 Arenine Natural products 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
- Machine Translation (AREA)
Description
(1)キーワードマッチングに基づく遮断方法
判定プロセスにおいて、この方法は精確なマッチング法でキーワードがあるテキストを遮断する。当該方法が採用される場合に、インターネットにおける有害情報を速く遮断でき、簡単で使いやすい。
(2)統計のテキスト分類モデルに基づく遮断方法
この方法において、本質的には、統計に基づく有害テキストの遮断モデルはテキストを二種類に分類する。テキスト分類は自然言語の処理領域における重要な研究方向であり、大量のモデルが参考にできる。理論上、統計のテキスト分類モデルは、効果的であるはずであるが、実際の適用時には性能が望ましくない。誤判断の場合がよくあり、主な原因が下記で示され、
(1)順方向コーパス(corpus)と逆方向コーパスはバランスが取れていない。その中、順方向コーパスに少量の種類しか含まれていなく、例えば、広告、色情、暴力など、ユーザーが関心を持っている有害情報はメインである。一方、逆方向コーパスには、大量の種類が含まれており、テキスト内容によって分類すると、経済、体育、政治、医薬、アート、歴史、政治、文化、環境、交通、コンピューター、教育、軍事などが分けられている。
(2)有害情報の内容の表現は非常に隠蔽で変わりやすい。伝播者は常に通常の言語をわざと避け、代わりに、同音字、漢字分解、略字、造語などが使用されている。
(3)ユーザー辞書にキーワードを精確にマッチングする方法しか提供されないため、判定方法は機械的で融通性がなくなる。しかも、単一のキーワードの単語感情極性は代表的なものではなく、誤判断率が高い。例えば、「免費(無料)」と「発票(インボイス)」が同時にコンテキストに現れる場合は、単一の「発票(インボイス)」より説得力がある。
(4)従来の中国語情報処理方法はテキスト分類に基づく有害情報の遮断には適用できない。例えば、一定規模の禁止用語の使用や、特徴項に二文字以上の語彙しか含まれないなど。
(5)広告、色情、暴力などの有害情報を総合的に遮断するための統一的モデルがない。
本発明は、このような目的を達成するために、インターネットにおける有害情報の遮断方法であって、遮断待ちテキスト情報、システムプレリサーチ(pre-research)モデル情報及びユーザーフィードバックモデル情報を取得するステップと、 前記遮断待ちテキスト情報を前処理するステップと、 前記前処理された遮断待ちテキスト情報と前記システムプレリサーチモデル情報とに対して特徴情報マッチングし、第一マッチング結果を取得するステップと、前記前処理された遮断待ちテキスト情報と前記ユーザーフィードバックモデル情報とに対して特徴情報マッチングし、第二マッチング結果を取得するステップと、第一マッチング結果と第二マッチング結果に基いて、前記遮断待ちテキスト情報を遮断するステップと、を備えることを特徴とする。
ステップ201:前記システムプレリサーチモデル情報のコーパス及びユーザーフィードバックモデル情報のコーパスを取得する。ここで、前記ユーザーフィードバックモデル情報のコーパスには、ユーザーフィードバックコーパス及び/または被遮断コーパスが含まれる。通常、前記システムプレリサーチモデル情報及びユーザーフィードバックモデル情報の学習コーパスには、順方向コーパスと逆方向コーパスとが含まれる。順方向コーパスとしては、例えば、広告、色情、暴力などの有害情報を含むテキストが10000件用意される。一方、逆方向コーパスとしては、例えば、経済、政治、体育、文化、医薬、交通、環境、軍事、アート、歴史、コンピューター、教育、法律、不動産、科学技術、自動車、人材、娯楽などの非有害情報を含むテキストが30000件用意される。
ここで、前記学習コーパスの収集において、順方向コーパスと逆方向コーパスはバランスが取れていない場合がよくあり、一方は範囲が広すぎるが、もう一方は範囲が狭すぎる。本発明において、このようなバランスが取れていないコーパスの分布が許容される。コーパス範囲が広い場合は、量ではなく、できるだけ多くの種類を確保しながら用意する。
このステップにおいては、前記遮断待ちテキスト情報に対してセグメント処理をする。例えば、句読点と常用語に基づいて、コーパスを区切る。常用語とは、よく使用され判定には無意味な語彙であり、例えば「的」、「了」など。しかし、「
(貴方)」はよく順方向コーパスに、「我(私)」はよく逆方向コーパスに使用されるが、いずれも常用語に使用されない。
ここで、自然言語処理においては、よく用いられる禁止用語リストが常用語リストとして適用されない。通常、「方正智思分詞4.0(ペキンファンダー社が開発ソフトウェア)」によって、コーパスに対してセグメントや品詞分類をすることができる。前記セグメント処理されたセグメントユニットは後工程における最小の処理単位である。
前記セグメント処理された特徴項候補量を統計する。例えば、前記セグメント処理されたセグメントユニットにおける非漢字部分を統計し、前記セグメントユニットの合計をN1、非漢字部分の合計をN2とする場合、N2/N1が閾値より大きければ、当該特徴項候補に対応する遮断待ちテキスト情報は有害情報と判断される。判断の理由としては、大量のノイズ文字がこの情報に含まれ、広告などのスパムテキストであるかもしれない。もしくは、前記セグメントユニットにおける、広告によく用いられるURL、電話番号、電子メールアドレス、QQ等の連絡方法の数量num(ad)を統計し、デフォルトウェートscoreadを与える。
ステップ2041:前記前処理された遮断待ちテキスト情報及び前記システムプレリサーチモデル情報を取得する。前記システムプレリサーチモデル情報に規則索引データベースと前記システムリサーチモデルの特徴項情報とが含まれる。具体的には、前記規則索引データベースにおけるユーザー規則索引データベースとユーザーキーワード索引データベースが生成されるプロセスは以下のようである。すなわち、
ステップS1:キーワード解析。まず、常用漢字のピンインの索引を作成し、キーワードにおける各字のピンインの索引に基づいてキーワード全体の索引を生成する。それから、キーワードにおける各字に対して構造的に分解し、分解された結果に基いて、キーワードを再帰し再組合せする。最後、キーワードの索引と、分解の集合によってキーバリューペア(key value pair)を形成させ、全ての解析結果を保存し、ユーザーキーワードの索引データベースを生成する。例えば「***功」は、キーワード解析後に、一つの索引値が生成され、しかも幾つかの分解結果がある。具体的には、「三去車侖工力」、「法車侖功」などが含まれる。
ステップS1:前記セグメントユニットを文字列に組合せし、特徴項候補とする。
(例1):連続的なセグメントユニットを文字列に組合せする場合。
各文のセグメントユニットに対して、一番目のセグメントユニットから、組合せウィンドウの最大値をNとして組合せする。順序があるセグメントユニット「ABCD」を例として挙げると、組合せウィンドウの最大値が3である場合に、文字列の組合せはABC、BCD、AB、BC、CD、A、B、C、Dとの九つがある。
(例2):
非連続のセグメントユニットを文字列に組合せする場合。
例1で組合せの文字列に対してピンインの索引を計算し、前記ステップ2041におけるステップS1で生成されたユーザーキーワードの索引データベースに基づいてマッチングする。マッチング成功の集合があれば、マッチング成功の数量num(user)を統計する。それから、前記ステップ2041におけるステップS2で生成されたユーザー規則索引データベースに基づいてマッチングし、マッチング成功すれば、非連続のセグメントユニットに対して一つの文字列が生成される。例えば、例1における九つの文字列。ユーザーキーワードの索引データベースにおいて、二つの文字列A、Dがマッチング成功する。ユーザー規則索引データベースに規則「A NEAR2 D」がある場合に、特徴項ADが新たに生成される。ここに、2はAとDの距離は2以下の意味とする。マッチング成功の数量num(user)を累計し、デフォルトウェートscoreuserを与える。
まず、改めて不適切の頻度を評価し、例えば、全てのBが現れる時に、Aも同時に現れ、ABになる場合であれば、Bの頻度が0になる。頻度再評価式は:
ここで、aは特徴項であり、f(a)はaのワード頻度であり、bはaが含まれる長い文字列の特徴項であり、Taはbの集合であり、P(Ta)は集合のサイズである。
前記特徴項情報の逆方向得点を計算し、その計算式は:
なお、num(ad)とnum(user)も考慮すると、上記計算式の右側が下記のようになる:
(1)ユーザーフィードバックメカニズム
実際の使用するプロセスにおいて、判定には問題があると発見され、主に有害情報が通常情報と誤判断される場合に、ユーザーはシステムにエラーを報告し、システムはユーザーからの標準回答を受けフィードバックコーパスとする。
(2)判断モデルメカニズム
処理待ちのテキストがステップ206での有害情報判定を受け、当該テキストの判定結果が出力される。結果は有害情報テキストか通常テキストである。信頼性を判定する状況に基づいて、処理待ちのテキストはフィードバック学習に用いられるかどうかを判断する。
前記ユーザーフィードバックモデル情報のコーパス量及びそれに対応する閾値を取得する。具体的には、フィードバック学習に使用できるコーパス量を統計し、前記コーパス量はそれに対応する閾値を越えているかどうかを判断する。
遮断待ちテキスト情報、システムプレリサーチモデル情報及びユーザーフィードバックモデル情報を取得する情報取得モジュール301と、前記遮断待ちテキスト情報を前処理する前処理モジュール302と、前記前処理された遮断待ちテキスト情報と前記システムプレリサーチモデル情報とに対して特徴情報マッチングし、第一マッチング結果を取得する第一マッチングモジュール303と、前記前処理された遮断待ちテキスト情報と前記ユーザーフィードバックモデル情報とに対して特徴情報マッチングし、第二マッチング結果を取得する第二マッチングモジュール304と、第一マッチング結果と第二マッチング結果に基いて、前記遮断待ちテキスト情報を遮断する遮断モジュール305と、を備える。
情報取得モジュール401:遮断待ちテキスト情報、システムプレリサーチモデル情報及びユーザーフィードバックモデル情報を取得し、ユーザーフィードバックモデル情報の学習コーパスを取得する。ここで、前記ユーザーフィードバックモデル情報のコーパスには、ユーザーフィードバックコーパス及び/または被遮断コーパスが含まれる。
Claims (16)
- インターネットにおける有害情報の遮断方法であって、
遮断待ちテキスト情報、システムプレリサーチモデル情報及びユーザーフィードバックモデル情報を取得するステップと、
前記遮断待ちテキスト情報を前処理するステップと、
前記前処理された遮断待ちテキスト情報と前記システムプレリサーチモデル情報とに対して特徴情報マッチングし、第一マッチング結果を取得するステップと、
前記前処理された遮断待ちテキスト情報と前記ユーザーフィードバックモデル情報とに対して特徴情報マッチングし、前記第一マッチング結果から独立した第二マッチング結果を取得するステップと、
第一マッチング結果と第二マッチング結果とが一致しているか否かに基いて、前記遮断待ちテキスト情報を遮断するステップと、
を備えることを特徴とする方法。 - 更に、
前記システムプレリサーチモデル情報のコーパス及び前記ユーザーフィードバックモデル情報のコーパスを取得するステップを備えることを特徴とする請求項1に記載の方法。 - 前記ユーザーフィードバックモデル情報のコーパスには、ユーザーフィードバックコーパス及び/または被遮断コーパスが含まれることを特徴とする請求項2に記載の方法。
- 更に、
前記ユーザーフィードバックモデル情報のコーパス量及びそれに対応する閾値を取得するステップと、
前記ユーザーフィードバックモデル情報のコーパス量及びそれに対応する閾値に基づいて、前記ユーザーフィードバックモデル情報を更新するステップと、
を備えることを特徴とする請求項3に記載の方法。 - 前記遮断待ちテキスト情報を前処理するステップにおいては、
前記遮断待ちテキスト情報に対してセグメント処理をし、
前記セグメント処理がされた特徴項候補量を統計することを特徴とする請求項2、3または4に記載の方法。 - 前記前処理された遮断待ちテキスト情報と前記システムプレリサーチモデル情報とに対して特徴情報マッチングし、第一マッチング結果を取得するステップにおいては、
前記前処理された遮断待ちテキスト情報及び前記システムプレリサーチモデル情報を取得し、
前記前処理された遮断待ちテキスト情報と前記システムプレリサーチモデル情報とをマッチングし、特徴項を取得し、
前記特徴項のコーパス情報の得点を計算し、
コーパス情報の得点に基づいて、前記特徴項に対応する遮断待ちテキスト情報が有害情報であるかどうかを判断し、
判断結果に基づいて、第一マッチング結果を取得することを特徴とする請求項5に記載の方法。 - 前記前処理された遮断待ちテキスト情報と前記ユーザーフィードバックモデル情報とに対して特徴情報マッチングし、第二マッチング結果を取得するステップにおいては、
前記前処理された遮断待ちテキスト情報及び前記ユーザーフィードバックモデル情報を取得し、
前記前処理された遮断待ちテキスト情報と前記ユーザーフィードバックモデル情報とをマッチングし、特徴項を取得し、
前記特徴項のコーパス情報の得点を計算し、
コーパス情報の得点に基づいて、前記特徴項に対応する遮断待ちテキスト情報が有害情報であるかどうかを判断し、
判断結果に基づいて、第二マッチング結果を取得することを特徴とする請求項6に記載の方法。 - 前記システムプレリサーチモデル情報は規則索引データベースとシステムリサーチモデルの特徴項情報とを含んでおり、
前記ユーザーフィードバックモデル情報は規則索引データベースとユーザーフィードバックモデルの特徴項情報とを含むことを特徴とする請求項6または7に記載の方法。 - 前記システムプレリサーチモデル情報の規則索引データベースは、システムプリセット規則を含んでおり、
前記ユーザーフィードバックモデル情報の規則索引データベースは、ユーザー設定規則を含むことを特徴とする請求項8に記載のインターネットにおける有害情報の遮断方法。 - インターネットにおける有害情報の遮断装置であって
遮断待ちテキスト情報、システムプレリサーチモデル情報及びユーザーフィードバックモデル情報を取得する情報取得モジュールと、
前記遮断待ちテキスト情報を前処理する前処理モジュールと、
前記前処理された遮断待ちテキスト情報と前記システムプレリサーチモデル情報とに対して特徴情報マッチングし、第一マッチング結果を取得する第一マッチングモジュールと、
前記前処理された遮断待ちテキスト情報と前記ユーザーフィードバックモデル情報とに対して特徴情報マッチングし、前記第一マッチング結果から独立した第二マッチング結果を取得する第二マッチングモジュールと、
第一マッチング結果と第二マッチング結果とが一致しているか否かに基いて、前記遮断待ちテキスト情報を遮断する遮断モジュールと、
を備えることを特徴とする装置。 - 前記情報取得モジュールは、更に、前記ユーザーフィードバックモデル情報のコーパスを取得することを特徴とする請求項10に記載の装置。
- 前記ユーザーフィードバックモデル情報のコーパスには、ユーザーフィードバックコーパス及び/または被遮断コーパスが含まれることを特徴とする請求項11に記載の装置。
- 更に、
前記ユーザーフィードバックモデル情報のコーパス量及びそれに対応する閾値を取得する閾値取得モジュールと、
前記ユーザーフィードバックモデル情報のコーパス量及びそれに対応する閾値に基づいて、前記ユーザーフィードバックモデル情報を更新する更新モジュールと、
を備えることを特徴とする請求項12に記載の装置。 - 前記前処理モジュールは、
前記遮断待ちテキスト情報に対してセグメント処理をするセグメントサブモジュールと、
前記セグメント処理された特徴項候補量を統計する統計サブモジュールと、
を備えることを特徴とする請求項11、12または13に記載の装置。 - 前記第一マッチングモジュールは、
前記前処理された遮断待ちテキスト情報及び前記システムプレリサーチモデル情報を取得する情報取得サブモジュールと、
前記前処理された遮断待ちテキスト情報と前記システムプレリサーチモデル情報とをマッチングし、特徴項を取得するマッチングサブモジュールと、
前記特徴項のコーパス情報の得点を計算する統計サブモジュールと、
コーパス情報の得点に基づいて、前記特徴項に対応する遮断待ちテキスト情報が有害情報であるかどうかを判断する判断サブモジュールと、
判断結果に基いて、第一マッチング結果を取得する結果出力サブモジュールと、
を備えることを特徴とする請求項14に記載の装置。 - 前記第二マッチングモジュールは、
前記前処理された遮断待ちテキスト情報及び前記システムプレリサーチモデル情報を取得する情報取得サブモジュールと、
前記前処理された遮断待ちテキスト情報と前記ユーザーフィードバックモデル情報とをマッチングし、特徴項を取得するマッチングサブモジュールと、
前記特徴項のコーパス情報の得点を統計する統計サブモジュールと、
コーパス情報の得点に基づいて、前記特徴項に対応する遮断待ちテキスト情報が有害情報であるかどうかを判断する判断サブモジュールと、
判断結果に基づいて、第二マッチング結果を取得する結果出力サブモジュールと、
を備えることを特徴とする請求項15に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010621142.1A CN102567304B (zh) | 2010-12-24 | 2010-12-24 | 一种网络不良信息的过滤方法及装置 |
CN201010621142.1 | 2010-12-24 | ||
PCT/CN2011/084699 WO2012083892A1 (zh) | 2010-12-24 | 2011-12-26 | 一种网络不良信息的过滤方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014502754A JP2014502754A (ja) | 2014-02-03 |
JP5744228B2 true JP5744228B2 (ja) | 2015-07-08 |
Family
ID=46313198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013545039A Expired - Fee Related JP5744228B2 (ja) | 2010-12-24 | 2011-12-26 | インターネットにおける有害情報の遮断方法と装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20140013221A1 (ja) |
EP (1) | EP2657852A4 (ja) |
JP (1) | JP5744228B2 (ja) |
CN (1) | CN102567304B (ja) |
WO (1) | WO2012083892A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103514227B (zh) * | 2012-06-29 | 2016-12-21 | 阿里巴巴集团控股有限公司 | 一种更新数据库的方法及装置 |
KR20140025113A (ko) * | 2012-08-21 | 2014-03-04 | 한국전자통신연구원 | 유해 컨텐츠 고속 판단 장치 및 방법 |
US9773182B1 (en) * | 2012-09-13 | 2017-09-26 | Amazon Technologies, Inc. | Document data classification using a noise-to-content ratio |
CN103729384B (zh) * | 2012-10-16 | 2017-02-22 | ***通信集团公司 | 信息过滤方法、***与装置 |
CN103246641A (zh) * | 2013-05-16 | 2013-08-14 | 李营 | 一种文本语义信息分析***和方法 |
WO2015062377A1 (zh) * | 2013-11-04 | 2015-05-07 | 北京奇虎科技有限公司 | 一种相似文本检测装置、方法以及应用 |
CN103886026B (zh) * | 2014-02-25 | 2017-09-05 | 厦门客来点信息科技有限公司 | 基于个体特征的服装匹配方法 |
CN104281696B (zh) * | 2014-10-16 | 2017-09-15 | 江西师范大学 | 一种主动的空间信息个性化分发方法 |
CN105183894B (zh) * | 2015-09-29 | 2020-03-10 | 百度在线网络技术(北京)有限公司 | 过滤网站内链的方法及装置 |
CN105528404A (zh) * | 2015-12-03 | 2016-04-27 | 北京锐安科技有限公司 | 种子关键字字典建立方法和装置及关键词提取方法和装置 |
CN106874253A (zh) * | 2015-12-11 | 2017-06-20 | 腾讯科技(深圳)有限公司 | 识别敏感信息的方法及装置 |
CN105653649B (zh) * | 2015-12-28 | 2019-05-21 | 福建亿榕信息技术有限公司 | 海量文本中低占比信息识别方法及装置 |
US10469511B2 (en) | 2016-03-28 | 2019-11-05 | Cisco Technology, Inc. | User assistance coordination in anomaly detection |
CN106339429A (zh) * | 2016-08-17 | 2017-01-18 | 浪潮电子信息产业股份有限公司 | 一种实现智能客服的方法、装置和*** |
CN107239447B (zh) * | 2017-06-05 | 2020-12-18 | 厦门美柚股份有限公司 | 垃圾信息识别方法及装置、*** |
CN108038245A (zh) * | 2017-12-28 | 2018-05-15 | 中译语通科技(青岛)有限公司 | 一种基于多语言的数据挖掘方法 |
CN109597987A (zh) * | 2018-10-25 | 2019-04-09 | 阿里巴巴集团控股有限公司 | 一种文本还原方法、装置及电子设备 |
CN110633466B (zh) * | 2019-08-26 | 2021-01-19 | 深圳安巽科技有限公司 | 基于语义分析的短信犯罪识别方法、***和可读存储介质 |
CN112749565B (zh) * | 2019-10-31 | 2024-07-16 | 华为终端有限公司 | 基于人工智能的语义识别方法、装置和语义识别设备 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5867799A (en) * | 1996-04-04 | 1999-02-02 | Lang; Andrew K. | Information system and method for filtering a massive flow of information entities to meet user information classification needs |
US5987457A (en) * | 1997-11-25 | 1999-11-16 | Acceleration Software International Corporation | Query refinement method for searching documents |
AU2000233633A1 (en) * | 2000-02-15 | 2001-08-27 | Thinalike, Inc. | Neural network system and method for controlling information output based on user feedback |
US7249162B2 (en) * | 2003-02-25 | 2007-07-24 | Microsoft Corporation | Adaptive junk message filtering system |
US7543053B2 (en) * | 2003-03-03 | 2009-06-02 | Microsoft Corporation | Intelligent quarantining for spam prevention |
US7813482B2 (en) * | 2005-12-12 | 2010-10-12 | International Business Machines Corporation | Internet telephone voice mail management |
US8463810B1 (en) * | 2006-06-01 | 2013-06-11 | Monster Worldwide, Inc. | Scoring concepts for contextual personalized information retrieval |
US8020206B2 (en) * | 2006-07-10 | 2011-09-13 | Websense, Inc. | System and method of analyzing web content |
WO2008021244A2 (en) * | 2006-08-10 | 2008-02-21 | Trustees Of Tufts College | Systems and methods for identifying unwanted or harmful electronic text |
CN101166159B (zh) * | 2006-10-18 | 2010-07-28 | 阿里巴巴集团控股有限公司 | 一种确定垃圾信息的方法及*** |
KR100815530B1 (ko) * | 2007-07-20 | 2008-04-15 | (주)올라웍스 | 유해성 컨텐츠 필터링 방법 및 시스템 |
US8965888B2 (en) * | 2007-10-08 | 2015-02-24 | Sony Computer Entertainment America Llc | Evaluating appropriateness of content |
JP5032286B2 (ja) * | 2007-12-10 | 2012-09-26 | 株式会社ジャストシステム | フィルタリング処理方法、フィルタリング処理プログラムおよびフィルタリング装置 |
EP2071339A3 (en) * | 2007-12-12 | 2015-05-20 | Sysmex Corporation | System for providing animal test information and method of providing animal test information |
US8850571B2 (en) * | 2008-11-03 | 2014-09-30 | Fireeye, Inc. | Systems and methods for detecting malicious network content |
CN101477544B (zh) * | 2009-01-12 | 2011-09-21 | 腾讯科技(深圳)有限公司 | 一种识别垃圾文本的方法和*** |
US20140108156A1 (en) * | 2009-04-02 | 2014-04-17 | Talk3, Inc. | Methods and systems for extracting and managing latent social networks for use in commercial activities |
US8849725B2 (en) * | 2009-08-10 | 2014-09-30 | Yahoo! Inc. | Automatic classification of segmented portions of web pages |
CN101639824A (zh) * | 2009-08-27 | 2010-02-03 | 北京理工大学 | 一种针对不良信息的基于情感倾向性分析的文本过滤方法 |
CN101702167A (zh) * | 2009-11-03 | 2010-05-05 | 上海第二工业大学 | 一种基于互联网的模板抽取属性和评论词的方法 |
CN101794303A (zh) * | 2010-02-11 | 2010-08-04 | 重庆邮电大学 | 采用特征扩展分类文本及构造文本分类器的方法和装置 |
CN101908055B (zh) * | 2010-03-05 | 2013-02-13 | 黑龙江工程学院 | 一种信息过滤*** |
CN101877704B (zh) * | 2010-06-02 | 2016-02-10 | 中兴通讯股份有限公司 | 一种进行网络访问控制的方法及服务网关 |
CN101894102A (zh) * | 2010-07-16 | 2010-11-24 | 浙江工商大学 | 一种主观性文本情感倾向性分析方法和装置 |
-
2010
- 2010-12-24 CN CN201010621142.1A patent/CN102567304B/zh not_active Expired - Fee Related
-
2011
- 2011-12-26 WO PCT/CN2011/084699 patent/WO2012083892A1/zh active Application Filing
- 2011-12-26 EP EP11850052.9A patent/EP2657852A4/en not_active Ceased
- 2011-12-26 US US13/997,666 patent/US20140013221A1/en not_active Abandoned
- 2011-12-26 JP JP2013545039A patent/JP5744228B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2012083892A1 (zh) | 2012-06-28 |
US20140013221A1 (en) | 2014-01-09 |
CN102567304B (zh) | 2014-02-26 |
JP2014502754A (ja) | 2014-02-03 |
EP2657852A4 (en) | 2014-08-20 |
EP2657852A1 (en) | 2013-10-30 |
CN102567304A (zh) | 2012-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5744228B2 (ja) | インターネットにおける有害情報の遮断方法と装置 | |
TWI732271B (zh) | 人機對話方法、裝置、電子設備及電腦可讀媒體 | |
CN108804512B (zh) | 文本分类模型的生成装置、方法及计算机可读存储介质 | |
US10068008B2 (en) | Spelling correction of email queries | |
US11144581B2 (en) | Verifying and correcting training data for text classification | |
KR101465770B1 (ko) | 단어 확률 결정 | |
US8386240B2 (en) | Domain dictionary creation by detection of new topic words using divergence value comparison | |
JP5379138B2 (ja) | 領域辞書の作成 | |
US10102191B2 (en) | Propagation of changes in master content to variant content | |
US20150170051A1 (en) | Applying a Genetic Algorithm to Compositional Semantics Sentiment Analysis to Improve Performance and Accelerate Domain Adaptation | |
JP2019504413A (ja) | 絵文字を提案するためのシステムおよび方法 | |
CN110597994A (zh) | 事件元素识别方法和装置 | |
WO2021169423A1 (zh) | 客服录音的质检方法、装置、设备及存储介质 | |
US9348901B2 (en) | System and method for rule based classification of a text fragment | |
US11593557B2 (en) | Domain-specific grammar correction system, server and method for academic text | |
US20200082204A1 (en) | Dynamic intent classification based on environment variables | |
CN110162771A (zh) | 事件触发词的识别方法、装置、电子设备 | |
CN111753082A (zh) | 基于评论数据的文本分类方法及装置、设备和介质 | |
CN112559747A (zh) | 事件分类处理方法、装置、电子设备和存储介质 | |
Wint et al. | Deep learning based sentiment classification in social network services datasets | |
CN112380847A (zh) | 兴趣点处理方法、装置、电子设备及存储介质 | |
CN108268443B (zh) | 确定话题点转移以及获取回复文本的方法、装置 | |
CN115248890A (zh) | 用户兴趣画像的生成方法、装置、电子设备以及存储介质 | |
CN112597768A (zh) | 文本审核方法、装置、电子设备、存储介质及程序产品 | |
CN114201607B (zh) | 一种信息处理的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140328 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20140410 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20140507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140916 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150428 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5744228 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |