JP3225767U

JP3225767U - AI module using statistical method and big data

Info

Publication number: JP3225767U
Application number: JP2019004816U
Authority: JP
Inventors: ▲暁▼瓊陳; 榮輝王
Original assignee: Individual
Current assignee: Individual
Priority date: 2019-12-19
Filing date: 2019-12-19
Publication date: 2020-04-02
Anticipated expiration: 2029-12-19

Abstract

【課題】ＡＩシステムのデータベースに格納されたデータを変更して、ユーザーにリアルタイム、かつ、もっとも事実に近い情報を提供することができる統計手法及びビッグデータを用いたＡＩモジュールを提供する。【解決手段】サーチエンジン１０とデータプロセッサー２０が、ストリーミング方式によってデータをサーチした上、ストリーミングデータをバッチデータに生成する。統計処理プロセッサー３０は、データプロセッサーのバッチデータについて統計処理を行い、統計分布データを獲得し、得られたデータを再びＡＩシステム４０に入力し、ＡＩシステムデータの修正を行う。統計処理プロセッサーは、統計検証方法によって検証を行い、同じマトリックスが異なる時間または環境で得られた分布の統計量に改変を認める場合、ＡＩシステムによって、データを更新させる。【選択図】図２The present invention provides an AI module using big data and a statistical method capable of changing data stored in a database of an AI system to provide a user with information in real time and closest to the fact. A search engine and a data processor search for data by a streaming method and then generate streaming data as batch data. The statistical processing processor 30 performs statistical processing on the batch data of the data processor, acquires statistical distribution data, inputs the obtained data to the AI system 40 again, and corrects the AI system data. The statistical processor verifies according to a statistical verification method, and causes the AI system to update the data if the same matrix shows a change in the statistics of the distribution obtained at different times or environments. [Selection diagram] FIG.

Description

本考案はビッグデータと人工知能の応用に関し、特に統計手法及びビッグデータを用いたＡＩモジュールの修正に関する。 The present invention relates to the application of big data and artificial intelligence, and in particular, to a statistical method and modification of an AI module using big data.

コンピュータ技術の進歩につれて、人工知能が大きく進歩している。人工知能を応用することによって、コンピュータが専門家と同等または優れる解決能力を有する。多くの人工知能はエキスパートシステムによって実現される。 With the advancement of computer technology, artificial intelligence has made great strides. By applying artificial intelligence, the computer has the same or better resolution than the expert. Much artificial intelligence is provided by expert systems.

エキスパートシステムには、専業知識を格納するデータベースを配置しなければならない。エキスパートシステムが係る専業知識と、既定論理を応用し、さらに推論エンジンの推論によって、必要な回答が得られる。人工知能で処理可能な課題は、配置したデータベースに格納されたナレッジベースによって、制限受ける。格納していたナレッジベースが現実を逸脱していたら、出来上がった推論も実際にそぐわない、または間違えを生じる。 The expert system must be equipped with a database that stores specialized knowledge. The expert system applies the specialized knowledge and the predetermined logic, and the necessary answer can be obtained by the inference of the inference engine. Issues that can be handled by artificial intelligence are limited by the knowledge base stored in the deployed database. If the stored knowledge base deviates from reality, the resulting inference will not actually match or cause a mistake.

この他、ネットワーク技術の進歩により、人類は、コンピュータシステムをネットワークでビッグデータ技術を利用して、大量な情報を抽出できる。しかしながら、一部情報の正確性は、抽出された大量データの分布によって左右される。一例として、ユーザーがある製品の嗜好度を知りたい場合には、ネットワークを介してデータを抽出し、かつ、異なるグループまたは年齢層を通じて、異なる個体の嗜好状態の分布を得た上、これらの分布を統計演算して、係る製品の嗜好度の概念が得られる。しかし、たとえマトリックスに改変がなくても、それらの分布は時間によって改変される。一例として、ある製品の嗜好度が変動される。そのため、関連のＡＩシステムにこのようなデータを処理されている場合は、随時に関連情報を更新しなければならない。しかし、得られたデータの変動は、実務上が往々にして統計誤差に過ぎない。そこで、ネットワークから得られたデータが異なることで、データベースのデータを修正するになれば、頻繁に修正する必要となり、実質上の意味を有しない。 In addition, due to advances in network technology, human beings can extract a large amount of information by using big data technology over computer systems. However, the accuracy of some information depends on the distribution of the extracted large amounts of data. As an example, if a user wants to know the preference of a certain product, data is extracted through a network, and the distribution of the preference of different individuals through different groups or age groups is obtained. Is statistically calculated to obtain a concept of the degree of preference of the product. However, even if the matrices are unaltered, their distribution is altered over time. As an example, the preference of a certain product is changed. Therefore, if such data is being processed by a related AI system, the related information must be updated at any time. However, fluctuations in the data obtained are often only statistical errors in practice. Therefore, if the data obtained from the network is different, and if the data in the database is to be corrected, the data must be corrected frequently, and has no practical meaning.

本考案の目的は、前述公知技術の課題解決を図るものである。本考案において、ビッグデータを利用して、ネットワークで特定テーマの分布状況を抽出した上、これらの分布状況に基づき、その統計量を算出し、異なる時間で得られた統計量について検証を行い、同じマトリックスにおける統計量に著しく改変されたかを確認する。この手法を適用して、ＡＩシステムのデータベースに格納されたデータを変更して、ユーザーにリアルタイム、かつ、もっとも事実に近い情報を提供することができる。 An object of the present invention is to solve the problems of the above-mentioned known technology. In the present invention, using big data, the distribution status of a specific theme is extracted on the network, and based on these distribution statuses, the statistics are calculated, and the statistics obtained at different times are verified. Check if the statistics in the same matrix have been significantly altered. By applying this method, the data stored in the database of the AI system can be changed to provide the user with real-time and most realistic information.

本考案の一実施形態による人工知能モジュールを示すのブロック図である。FIG. 3 is a block diagram illustrating an artificial intelligence module according to an embodiment of the present invention. 本考案の一実施形態によるサーチエンジン、データプロセッサー、統計処理プロセッサー及びＡＩシステムの素子接続構造を示すブロック図である。FIG. 2 is a block diagram illustrating a connection structure of a search engine, a data processor, a statistical processor, and an AI system according to an embodiment of the present invention. 本考案の一実施形態によるサーチエンジン、データプロセッサー、統計処理プロセッサー及びＡＩシステムのデータ伝送を示す模式図である。FIG. 2 is a schematic diagram illustrating data transmission of a search engine, a data processor, a statistical processing processor, and an AI system according to an embodiment of the present invention.

（一実施形態）
図１〜図３を参照する。本考案の一実施形態による人工知能モジュールは、以下の素子を備える。情報処理システム２を含む電子デバイス１（図１参照。）を有する。係る情報処理システム２は、サーチエンジン１０と、データプロセッサー２０と、統計処理プロセッサー３０と、ＡＩシステム４０と、を備える。 (One embodiment)
Please refer to FIG. An artificial intelligence module according to an embodiment of the present invention includes the following elements. An electronic device 1 (see FIG. 1) including an information processing system 2 is provided. The information processing system 2 includes a search engine 10, a data processor 20, a statistical processing processor 30, and an AI system 40.

サーチエンジン１０は、ネットワークまたは大型データベース３のデータサーチに用いられ、データのタイプは、人と人とのコミュニケーションデータ、人とマシンとのコミュニケーションするデータ、マシンとマシンとのコミュニケーションするデータと、を含む。 The search engine 10 is used for data search of a network or the large database 3, and data types include communication data between people, data between people and machines, and data between machines and machines. Including.

データプロセッサー２０は、サーチエンジン１０に接続していて、サーチエンジン１０でサーチされたデータの処理を行い、ストリーミング方式によって、サーチされたデータを処理した上、これらのストリーミングデータをバッチデータに生成し、バッチデータに処理を行う。 The data processor 20 is connected to the search engine 10, processes the data searched by the search engine 10, processes the searched data by a streaming method, and generates these streaming data into batch data. , Perform processing on batch data.

図２に示すデータプロセッサー２０は、ストリーミングデータ処理素子２１と、バッチデータ処理素子２２と、ビッグデータ記憶素子２３と、を有する。少なくとも一つのストリーミングデータ処理素子２１は、サーチエンジン１０に接続して、係るサーチエンジン１０よりストリーミングデータ９０を受け入れ（図３参照）、ストリーミング処理方法を用いて、リアルタイムに処理する。 The data processor 20 illustrated in FIG. 2 includes a streaming data processing element 21, a batch data processing element 22, and a big data storage element 23. At least one streaming data processing element 21 is connected to the search engine 10, receives the streaming data 90 from the search engine 10 (see FIG. 3), and processes the data in real time using a streaming processing method.

少なくとも一つのストリーミングデータ処理素子２１は、サーチエンジン１０に並列接続された複数のストリーミングデータ処理素子２１である。よって、異なるネットワークでさまざまなデータを抽出できる。 At least one streaming data processing element 21 is a plurality of streaming data processing elements 21 connected in parallel to the search engine 10. Therefore, various data can be extracted from different networks.

バッチデータ処理素子２２は、ストリーミングデータ処理素子２１に接続して、ストリーミングデータ処理素子２１由来のストリーミングデータ９０を受け入れ、これらのストリーミングデータ９０をバッチデータ９２に蓄積した上、バッチデータ９２について演算を実施する。 The batch data processing element 22 is connected to the streaming data processing element 21, receives the streaming data 90 from the streaming data processing element 21, accumulates the streaming data 90 in the batch data 92, and performs an operation on the batch data 92. carry out.

ビッグデータ記憶素子２３は、バッチデータ処理素子２２に接続して、システムデータの格納に備える。 The big data storage element 23 is connected to the batch data processing element 22 to prepare for storage of system data.

データプロセッサー２０は、同じタイプのデータについて、ストリーミングデータ処理素子２１を用いて収集した上、バッチデータ処理素子２２に入力し、時間または内容に基づき、異なるバッチデータを生成する。必要に応じて、生成されたバッチデータをビッグデータ記憶素子２３に格納できる。 The data processor 20 collects the same type of data using the streaming data processing element 21 and inputs the data to the batch data processing element 22 to generate different batch data based on time or content. If necessary, the generated batch data can be stored in the big data storage element 23.

統計処理プロセッサー３０は、データプロセッサー２０に接続して、バッチデータ処理素子２２のバッチデータ９２またはビッグデータ記憶素子２３に格納されたバッチデータ９２について、統計処理を行い、平均値μ、μ’、標準偏差σ、σ’、変異数など統計分布データを獲得する。 The statistical processing processor 30 is connected to the data processor 20, performs statistical processing on the batch data 92 of the batch data processing element 22 or the batch data 92 stored in the big data storage element 23, and calculates average values μ, μ ′, Acquire statistical distribution data such as standard deviations σ, σ ′, and the number of mutations.

統計処理プロセッサー３０は、統計演算素子３１と、統計記憶素子３２と、を含む。統計演算素子３１は、主に前述統計関連の演算を担うものである。一方、統計記憶素子３２は、異なるバッチの統計データ格納に用いられる。 The statistical processing processor 30 includes a statistical operation element 31 and a statistical storage element 32. The statistical operation element 31 is mainly responsible for the above-mentioned statistical operations. On the other hand, the statistical storage element 32 is used for storing statistical data of different batches.

一例として、ある新製品の嗜好度について分析する場合、サーチエンジン１０がビッグデータのデータサーチによって、異なる年齢層の係る製品に対する嗜好を得ることができる。まず、ストリーミングデータ処理素子２１を用いて、設定された項目（係る新製品）がさまざまな属性（例えば、異なる年齢層）を時系列に間欠的または連続的に発言量サーチを行い、これらのデータをバッチデータ処理素子２２に入力し、バッチデータ処理素子２２によって、ある期間範囲のデータをバッチデータに蓄積した上、バッチデータより異なる属性（例えば、異なる年齢層）が係るサーチ項目の発言数によって形成される分布を取得する。これらの分布に基づき、統計量を算出した上、出力することができる。基本として、同じマトリックスの統計量がトレンドの改変によって、係る統計量も改変される。しかし、同じマトリックスが異なる時間に得られた２つの統計量が統計検証を経て、その誤差が受け入れられる有意水準α範囲の場合は、マトリックスにおいて異なる属性の発言数には時間経過によって、著しく改変を認めない。これに対して、マトリックスにおいて異なる属性の発言数がすでに時間経過によって、著しく改変したことを認める。 As an example, when analyzing the preference level of a certain new product, the search engine 10 can obtain the preference for the product of a different age group by a data search of big data. First, using the streaming data processing element 21, the set item (the new product) performs an intermittent or continuous speech amount search for various attributes (for example, different age groups) in a time series, and Is input to the batch data processing element 22, and the batch data processing element 22 accumulates data in a certain period range in the batch data. Get the distribution that is formed. Based on these distributions, statistics can be calculated and output. Basically, the statistic of the same matrix is changed by changing the trend. However, if two statistics obtained from the same matrix at different times are subjected to statistical verification and the error is within the acceptable range of significance level α, the number of statements with different attributes in the matrix may be significantly altered by the passage of time. I will not admit it. On the other hand, it is recognized that the number of utterances having different attributes in the matrix has already been significantly changed with the passage of time.

本案を適用すれば、異なる時間の統計データを時間軸にリストすることによって、ユーザーは異なる時間におけるトレンドの変動を観察できる。 By applying the present invention, by listing statistical data at different times on a time axis, a user can observe a change in a trend at different times.

このほか、同じサーチ項目において、同じ時間に得られたデータ量の増加が前の時間区間に得られたデータ量の変動が設定値に達したとき、すなわち、ネットワーク発現量に著しき改変あったとき、次の段のユニットに出力される。 In addition, for the same search item, when the increase in the amount of data obtained at the same time reaches the set value in the change in the amount of data obtained in the previous time period, that is, the amount of network expression was significantly changed. At this time, it is output to the next unit.

統計処理プロセッサー３０に接続するＡＩシステム４０は、データベース４１と、論理ベース４２と、推論エンジン４３と、ユーザーインターフェース４４と、を含む。
データベース４１は、統計処理プロセッサー３０に接続していて、係る統計処理プロセッサー３０のデータを受け入れる。データベース４１は、一組の事実を表して、ＡＩシステム４０の一項目の基本データとする。 The AI system 40 connected to the statistical processor 30 includes a database 41, a logic base 42, an inference engine 43, and a user interface 44.
The database 41 is connected to the statistical processing processor 30 and receives the data of the statistical processing processor 30. The database 41 expresses a set of facts as basic data of one item of the AI system 40.

論理ベース４２には、論理専門家の嗜好論理が格納され、それらの論理がユーザーより入力する質問を含む、その質問が格納された論理と結合して、記述を形成する。 The logic base 42 stores logic expert's preference logic, which is combined with the logic in which the question is stored, including the questions entered by the user, to form a description.

推論エンジン４３は、論理ベース４２およびデータベース４１にそれぞれ接続して、論理ベース４２由来の記述を受け入れ、係る記述とデータベース４１に格納されたデータとの突き合わせによって、専門家の回答を獲得する。 The inference engine 43 connects to the logical base 42 and the database 41, respectively, receives the description derived from the logical base 42, and obtains the expert's answer by matching the description with the data stored in the database 41.

ユーザーインターフェース４４と、推論エンジン４３と、論理ベース４２にそれぞれ接続して、ユーザーが情報装置６０を介して、係るユーザーインターフェース４４に接続して、ユーザーインターフェース４４を介して所望な回答を得るための入力を行い、係る推論エンジンよりＡＩシステム４０で推論された回答を取得する。 A user interface 44, an inference engine 43, and a logic base 42, respectively, for allowing a user to connect to the user interface 44 via the information device 60 and obtain a desired answer via the user interface 44. An input is made, and an answer inferred by the AI system 40 is obtained from the inference engine.

本考案の長所は、ビッグデータを利用して、ネットワークで特定テーマの分布状況を抽出した上、これらの分布状況に基づき、その統計量を算出し、異なる時間で得られた統計量について検証を行い、同じマトリックスにおける統計量に著しく改変されたかを確認する。この手法を適用して、ＡＩシステムのデータベースに格納されたデータを変更して、ユーザーにリアルタイム、かつ、もっとも事実に近い情報を提供することができる。 The advantage of the present invention is that it uses big data to extract the distribution status of a specific theme on a network, calculates the statistics based on these distribution statuses, and verifies the statistics obtained at different times. To determine if the statistics in the same matrix have been significantly altered. By applying this method, the data stored in the database of the AI system can be changed to provide the user with real-time and most realistic information.

以上に取り上げた説明は、本考案の実行可能な一実施例にすぎない。しかし、係る実施例は本考案の請求範囲に制限を加わるものではなく、本案の技術精神に逸脱しない等効果による実施または変更は、なお本案の請求範囲に含む。 The above description is only one possible embodiment of the present invention. However, such an embodiment does not limit the scope of the claims of the present invention, and implementations or changes due to effects such as not departing from the technical spirit of the present invention are still included in the claims of the present invention.

１・・・電子デバイス
２・・・情報処理システム
３・・・ネットワークまたは大型データベース
１０・・・サーチエンジン
２０・・・データプロセッサー
２１・・・ストリーミングデータ処理素子
２２・・・バッチデータ処理素子
２３・・・ビッグデータ記憶素子
３０・・・統計処理プロセッサー
３１・・・統計演算素子
３２・・・統計記憶素子
４０・・・ＡＩシステム
４１・・・データベース
４２・・・論理ベース
４３・・・推論エンジン
４４・・・ユーザーインターフェース
９２・・・バッチデータ
Ａ、Ａ’・・・分布
μ、μ’・・・平均値
σ、σ’・・・標準偏差 DESCRIPTION OF SYMBOLS 1 ... Electronic device 2 ... Information processing system 3 ... Network or large database 10 ... Search engine 20 ... Data processor 21 ... Streaming data processing element 22 ... Batch data processing element 23 ... Big data storage element 30 ... Statistical processing processor 31 ... Statistical operation element 32 ... Static storage element 40 ... AI system 41 ... Database 42 ... Logic base 43 ... Inference Engine 44 ・・・ User interface 92 ・・・ Batch data A, A ′ ・・・ Distribution μ, μ ′ ・・・ Average σ, σ ′ ・・・ Standard deviation

Claims

電子デバイスにより構成され、統計手法及びビッグデータを用いたＡＩモジュールであって、情報処理システムを備え、
前記情報処理システムは、
ネットワークまたは大型データベースのサーチデータに用いるサーチエンジンと、
前記サーチエンジンに接続していて、前記サーチエンジンによってサーチされたデータの処理手法は、ストリーミング方式によって、サーチされたデータを処理した上、ストリーミングデータをバッチデータに生成し、前記バッチデータを処理するデータプロセッサーと、
前記データプロセッサーに接続していて、前記データプロセッサーの前記バッチデータについて、統計処理を行い、統計分布データを取得する統計処理プロセッサーと、
前記統計処理プロセッサーに接続するＡＩシステムと、
を含み、
前記統計処理プロセッサーは、統計関連の演算を行う統計演算素子を有し、
前記統計演算素子は、統計検証手法によって、統計項目について、同じマトリックスで得られた異なるサンプルの統計分布の改変を確認した上、統計結果を前記ＡＩシステムに出力し、統計結果に改変があった場合は、前記ＡＩシステムによって、格納されたデータの改変を行うことを特徴とするＡＩモジュール。 An AI module configured by an electronic device and using a statistical method and big data, including an information processing system,
The information processing system,
A search engine used for search data in networks or large databases,
The method of processing the data searched by the search engine, which is connected to the search engine, processes the searched data by a streaming method, generates streaming data into batch data, and processes the batch data. A data processor,
A statistical processing processor connected to the data processor, performing statistical processing on the batch data of the data processor, and obtaining statistical distribution data,
An AI system connected to the statistical processor;
Including
The statistical processing processor has a statistical operation element that performs a statistical-related operation,
The statistical operation element, by a statistical verification method, for a statistical item, after confirming a change in the statistical distribution of different samples obtained in the same matrix, outputs a statistical result to the AI system, and the statistical result has been modified. In the case, the AI system modifies stored data by the AI system.

前記データプロセッサーは、
前記サーチエンジンに接続して、前記サーチエンジンより前記ストリーミングデータを受け入れ、ストリーミング処理方法を用いて、リアルタイムに処理する少なくとも一つのストリーミングデータ処理素子と、
前記ストリーミングデータ処理素子に接続して、前記ストリーミングデータ処理素子由来の前記ストリーミングデータを受け入れ、前記ストリーミングデータを前記バッチデータに蓄積した上、前記バッチデータについて演算を実施するバッチデータ処理素子と、
前記バッチデータ処理素子に接続して、システムデータの格納に備えるビッグデータ記憶素子と、を含み、
前記データプロセッサーは、同じタイプのデータについて、前記ストリーミングデータ処理素子を用いて収集した上、前記バッチデータ処理素子に入力し、時間または内容に基づき、異なる前記バッチデータを生成し、必要に応じて、生成された前記バッチデータを前記ビッグデータ記憶素子に格納することを特徴とする請求項１記載のＡＩモジュール。 The data processor comprises:
At least one streaming data processing element connected to the search engine, receiving the streaming data from the search engine, and processing the data in real time using a streaming processing method;
A batch data processing element connected to the streaming data processing element, receiving the streaming data from the streaming data processing element, storing the streaming data in the batch data, and performing an operation on the batch data;
A big data storage element connected to the batch data processing element and provided for storage of system data,
The data processor collects the same type of data using the streaming data processing element, inputs the data to the batch data processing element, generates different batch data based on time or content, and generates The AI module according to claim 1, wherein the generated batch data is stored in the big data storage element.

前記ストリーミングデータ処理素子を用いて、設定された項目がさまざまな属性を時系列に間欠的または連続的に発言数サーチを行い、データを前記バッチデータ処理素子に入力し、前記バッチデータ処理素子によって、ある期間範囲のデータを前記バッチデータに蓄積した上、前記バッチデータより、異なる属性がサーチ項目に対する発言数で形成する分布を取得して、その分布について、統計量を算出し統計量を出力することを特徴とする請求項２記載のＡＩモジュール。 Using the streaming data processing element, the set item performs an intermittent or continuous utterance number search for various attributes in a time series and inputs data to the batch data processing element, and the batch data processing element Accumulating data of a certain period range in the batch data, obtaining a distribution in which different attributes are formed by the number of utterances for the search item from the batch data, calculating a statistic of the distribution, and outputting the statistic. The AI module according to claim 2, wherein:

前記データプロセッサーが同じマトリックスの異なる時間に得られた２つの統計量に統計検証を経て、その誤差が受け入れられる有意水準範囲であるか否かを検証することを特徴とする請求項３記載のＡＩモジュール。 4. The AI of claim 3, wherein the data processor performs a statistical check on two statistics obtained at different times of the same matrix to verify whether the error is within an acceptable level of significance. module.

前記統計処理プロセッサーを用いて、異なる時間の統計データを時間軸にリストすることによって、ユーザーは異なる時間におけるトレンドの変動を観察できることを特徴とする請求項２記載のＡＩモジュール。 3. The AI module according to claim 2, wherein the statistical processing processor lists the statistical data at different times on a time axis so that a user can observe a change in a trend at different times.

前記統計処理プロセッサーによって、前記バッチデータ処理素子で得られた前記バッチデータまたは前記ビッグデータ記憶素子に格納された前記バッチデータについて、統計処理を行い、統計分布データを獲得することを特徴とする請求項２記載のＡＩモジュール。 The statistical processor performs statistical processing on the batch data obtained by the batch data processing element or the batch data stored in the big data storage element to obtain statistical distribution data. Item 2. The AI module according to Item 2.

少なくとも一つの前記ストリーミングデータ処理素子は、前記サーチエンジンに並列接続された複数の前記ストリーミングデータ処理素子であって、異なるネットワークからデータを抽出可能であることを特徴とする、請求項２記載のＡＩモジュール。 The AI according to claim 2, wherein at least one of the streaming data processing elements is a plurality of the streaming data processing elements connected in parallel to the search engine, and is capable of extracting data from different networks. module.

前記ＡＩシステムは、前記統計処理プロセッサーに接続するデータベースを含み、
前記データベースは、前記統計処理プロセッサーの統計データを受け入れ、前記データベースが一組の事実を表して前記ＡＩシステム一項目の基本データとすることを特徴とする請求項１記載のＡＩモジュール。 The AI system includes a database connected to the statistical processor;
2. The AI module according to claim 1, wherein the database receives statistical data of the statistical processor, and the database represents a set of facts as basic data of one item of the AI system.

前記統計処理プロセッサーは、異なるバッチの統計データを格納する統計記憶素子を更に含むことを特徴とする、請求項１記載のＡＩモジュール。 The AI module according to claim 1, wherein the statistical processor further includes a statistical storage element for storing different batches of statistical data.