JP2020154828A - データ補完プログラム、データ補完方法及びデータ補完装置 - Google Patents

Abstract

【課題】データの欠損値の補完精度を向上すること。【解決手段】相関行列計算部が、全学習レコードを用いて、属性間の相関行列を計算する。そして、回帰補完部が、欠損属性について、相関値の絶対値が相関閾値より大きい属性がある場合に、相関値の絶対値が相関閾値より大きい属性を用いて回帰補完を行う。そして、統計量補完部が、欠損属性について、統計補完を行う。そして、削除部が、補完が行われなかった欠損値を含むレコードを削除して補完済学習レコードを出力する。【選択図】図４

Description

本発明は、データ補完プログラム、データ補完方法及びデータ補完装置に関する。

データには欠損値が含まれる場合があり、例えば、機械学習において、学習データに欠損値が含まれる場合がある。図７は、欠損値の例を示す図である。図７は、データの例として金融の財務諸表データを示す。図７において、一つのレコードは一つのデータである。各レコードは、企業Ｎｏ．、決算月、売上高、輸出売上高、従業員数、人件費、売上原価、売上総利益等の複数の属性について属性値を有する。

図７では、取り消し線がつけられた属性値が欠損値である。例えば、企業Ｎｏ．が「１」であるレコードでは、売上純利益の値が得られておらず欠損値である。金融の財務諸表データには約４００の属性がある。これらの属性の間には高い相関がある場合もある。例えば、従業員数と人件費は相関が高い。

学習データに欠損値が多いと、学習精度が低下する。このため、機械学習では、欠損値の補完が行われる。例えば、レコード内の他の属性値を用いて欠損値を補完する回帰補完がある。回帰補完では、回帰式を用いて欠損値を他の属性値から計算する。回帰補完では、欠損値の属性と相関の高い属性がないと、補完精度が低い。

また、欠損値の属性について他のレコードの属性値の平均値や中央値等の統計量を計算し、計算した統計量を用いて欠損値を補完する統計量補完がある。統計量補完では、欠損値の属性の欠損率が高いと、補完精度が低い。また、複数のレコードが同じ統計量で補完されるため、学習データとしては適さない。

また、レコード内の他の属性値と他のレコードの同じ属性の属性値との両方を用いる多重代入法（ＭＩ：Multiple Imputation）及び完全情報最尤推定法（ＦＩＭＬ：Full Information Maximum Likelihood）がある。

ＭＩは、観測データから、欠損データの事後分布を構築して、欠損値をＭ個のシミュレーション値に置き換えてＭ個の補完済データセットを作成する。そして、ＭＩは、Ｍ個の補完済データセットそれぞれを用いて回帰係数を計算し、Ｍ組の回帰係数の平均値を計算することで回帰補完に用いる回帰係数を決定する。ＭＩは、回帰係数を用いるので回帰補完の一例である。

ＦＩＭＬは、レコード毎に欠損値を無視した尤度を計算し、全レコードの尤度の合計を最大にする平均と分散共分散を計算する。そして、ＦＩＭＬは、計算した平均で欠損値を補完する。ＦＩＭＬは、平均で欠損値を補完するので統計量補完の一例である。

なお、関連する従来技術として、訓練データに含まれている説明変数の一部が欠損していても、精度の高い予測を可能にするモデルを生成する予測モデル学習装置がある。この予測モデル学習装置は、目的変数と説明変数ベクトルとの組であるサンプルが集められている訓練データを複数にグループ分けする。そして、この予測モデル学習装置は、各グループに対して設定された予測モデルを複数使用するモデルを機械学習する。

機械学習する場合に、この予測モデル学習装置は、説明変数ベクトルにおける成分の欠損状態を示す欠損パターンに対する出力対象のモデルを構成する各予測モデルの使用割合を、推定したパラメータを利用して計算する。また、この予測モデル学習装置は、欠損パターンに対する各予測モデルの使用割合を利用して、各予測モデルのパラメータを推定する。そして、この予測モデル学習装置は、各予測モデルの使用割合の計算と各予測モデルのパラメータの推定を交互に繰り返す。

また、関連する従来技術として、サンプルデータの欠損個所の補完データを自動的に算出する欠損データ補完システムがある。この欠損データ補完システムは、データベースに蓄積されているサンプルデータ群の中から、一部の特徴の欠損が存在する欠損データを検出し、当該欠損データと欠損のない正常データとに分割する。そして、この欠損データ補完システムは、欠損データに類似する正常データを所定の類似尺度を用いて求め、求めた正常データにおける欠損データの欠損特徴に対応する特徴のデータを補完データとして、欠損データの欠損特徴に代入して補完する。

また、関連する従来技術として、行列形データにおける欠損値の予測精度を向上する欠損値予測装置がある。この欠損値予測装置は、因子行列を変換する関数のパラメータのうち、当該関数が因子行列を変換したときのデータが行列形データである尤もらしさを最大にするパラメータを推定する。ここで、因子行列は、２つの因子を含む行列形データにおける一方の因子の因子要素毎に定義される行列であって、当該行列形データにおけるもう一方の因子の各因子要素の特徴を表す行列である。そして、この欠損値予測装置は、推定したパラメータ及び行列形データにおける既知の行列要素の値を用いて、行列形データにおける行列要素の欠損値を予測する。

特開２０１５−６０２３７号公報 特開２００２−２１５６４６号公報 特開２０１１−１５４５５４号公報

高橋将宜、伊藤孝之、様々な多重代入法アルゴリズムの比較〜大規模経済系データを用いた分析〜、統計研究彙報 第７１号 ２０１４年３月、ｐｐ．３９〜８２ 「欠損データ分析(missing data analysis)-完全情報最尤推定法と多重代入法-」、［平成３１年１月３０日検索］、インターネット＜URL:http://koumurayama.com/koujapanese/missing_data.pdf＞

ＭＩやＦＩＭＬ等の一つの補完方法を各レコードに対して一律に適用した場合、どの補完方法を用いたとしても、補完精度が低下するという問題がある。例えば、ＭＩの場合には、欠損率が高いとＭ個のシミュレーション値の精度が低く、また、低相関な属性のみのレコードは回帰補完の精度が低い。

図８は、ＭＩを適用した場合の補完精度の低下例を示す図である。図８では、取り消し線がつけられた属性値は欠損値であり、欠損値の下の値が補完値である。「売上高」と「輸出売上高」と「売上原価」と「売上総利益」は相関が高く、「人件費」と「従業員数」は相関が高い。このため、「人件費」と「従業員数」に欠損が生じている企業Ｎｏ．「３」のレコードは補完精度が低い。また、「売上高」と「輸出売上高」と「売上原価」と「売上総利益」に欠損が生じている企業Ｎｏ．「Ｙ」のレコードは補完精度が低い。

ＦＩＭＬの場合には、欠損率が高いと、推定した統計量の精度が低く、属性毎に全ての欠損値を低精度な統計量により補完するため補完精度が低い。図９は、ＦＩＭＬを適用した場合の補完精度の低下例を示す図である。例えば、「売上高」は全て「２０００」で補完され、補完精度が低い。

なお、欠損を一つでも含むレコードを除去してしまうと、欠損率が高い場合に、学習に必要なレコード数が確保できない。図１０は、欠損を一つでも含むレコードを除去する場合を示す図である。図１０に示すように、欠損を一つでも含むレコードを除去してしまうと、学習レコードの数が限られてしまう。

本発明は、一つの側面では、欠損値の補完精度を向上し、例えば欠損が学習精度に与える影響を最小限に抑えることを目的とする。

一つの態様では、データ補完プログラムは、コンピュータに、相関の度合を算出する処理と、回帰的手法による補完を実行する処理と、統計的手法による補完を実行する処理とを実行させる。相関の度合を算出する処理は、複数のデータ項目それぞれに対応するデータ値をそれぞれに含む複数のデータレコード中に欠損データ値が存在する場合、前記欠損データ値に対応するデータ項目の、他のデータ項目との相関の度合いを算出する。回帰的手法による補完を実行する処理は、前記相関の度合いが所定の相関閾値より大きい場合、前記他のデータ項目のデータ項目値に基づいて、前記欠損データ値の回帰的手法による補完を実行する。統計的手法による補完を実行する処理は、前記相関の度合いが前記相関閾値より大きくない場合、前記欠損データ値に対応するデータ項目の前記欠損データ値以外のデータ値に基づいて、前記欠損データ値の統計的手法による補完を実行する。

一つの側面では、本発明は、欠損値の補完精度を向上し、例えば欠損が学習精度に与える影響を最小限に抑えることができる。

図１は、実施例に係るデータ補完装置の機能構成を示す図である。 図２は、入力データの一例を示す図である。 図３は、データ補完装置によるデータ補完処理のフローを示すフローチャートである。 図４は、補完結果の一例を示す図である。 図５は、機械学習への適用例を示す図である。 図６は、実施例に係るデータ補完プログラムを実行するコンピュータのハードウェア構成を示す図である。 図７は、欠損値の例を示す図である。 図８は、ＭＩを適用した場合の補完精度の低下例を示す図である。 図９は、ＦＩＭＬを適用した場合の補完精度の低下例を示す図である。 図１０は、欠損を一つでも含むレコードを除去する場合を示す図である。

以下に、本願の開示するデータ補完プログラム、データ補完方法及びデータ補完装置の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。

まず、実施例に係るデータ補完装置の機能構成について説明する。図１は、実施例に係るデータ補完装置の機能構成を示す図である。図１に示すように、実施例に係るデータ補完装置１は、相関行列計算部１１と、回帰補完部１２と、統計量補完部１３と、削除部１４とを有する。

相関行列計算部１１は、全学習レコード２と欠損閾値を入力し、属性間の相関を示す相関行列を計算する。欠損域値は設定閾値３に含まれる。相関行列計算部１１は、例えば、ユーザが端末のメニュー画面からマウスを用いて選択したデータ補完指示を受け付け、ファイルから全学習レコード２や欠損閾値を読み込む。相関行列計算部１１は、端末からユーザによりマウスやキーボードを使って入力された欠損閾値を受け付けてもよい。

図２は、入力データの一例を示す図である。図２に示すように、Ｘ_ijは、レコードｉにおける属性ｊの属性値を表す。ｉ（０≦ｉ≦Ｎ）はレコード番号であり、ｊ（１≦ｊ≦Ｊ）は属性番号である。入力データには欠損値が含まれる。式（１）及び式（２）は、相関行列計算部１１により計算される相関行列Ｃを示す。

式（２）において、Ｅ[Ｘ_ij1]は属性ｊ１の平均値であり、Ｅ[Ｘ_ij2]は属性ｊ２の平均値であり、Ｅ[(Ｘ_ij1−Ｅ[Ｘ_ij1])(Ｘ_ij2−Ｅ[Ｘ_ij2])]は属性ｊ１の偏差と属性ｊ２の偏差の積の平均値である。(Ｅ[(Ｘ_ij1−Ｅ[Ｘ_ij1])²]Ｅ[(Ｘ_ij2−Ｅ[Ｘ_ij2])²])^1/2は、属性ｊ１の標準偏差と属性ｊ２の標準偏差の積である。

Ｋ_j1は属性ｊ１の欠損率（欠損値の出現割合）であり、Ｋ_j2は属性ｊ２の欠損率である。Ｔ_kは欠損閾値である。Ｔ_kが大きいほど、補完精度が上がり、レコード数が減る。Ｔ_kを調整することで、補完精度とレコード数との間のトレードオフを調整することができる。相関行列計算部１１は、非欠損率（１−Ｋ_j）が欠損閾値以下の属性に関係する相関値（１−Ｋ_j1≦Ｔ_k又は１−Ｋ_j2≦Ｔ_kの場合）を、補完精度が低くなるため、０とする。

なお、相関行列計算部１１は、式（２）の代わりに、例えば欠損率で重みづけした式（３）〜式（６）を用いて相関行列を計算してもよい。式（３）〜式（６）においては、欠損率で重みづけされているため、１−Ｋ_j1≦Ｔ_k又は１−Ｋ_j2≦Ｔ_kの場合でも、相関行列計算部１１は、相関値を０としない。

回帰補完部１２は、欠損を含む学習レコードの集まりである欠損学習レコード４を読み込んで、回帰補完を行う。回帰補完部１２は、相関値の絶対値（相関の度合い）が相関閾値より大きい属性のみを用いて回帰補完を行う。相関閾値は、設定閾値３に含まれる。回帰補完部１２は、例えば、欠損学習レコード４や相関閾値をファイルから読み込む。回帰補完部１２は、端末からユーザによりマウスやキーボードを使って入力された相関閾値を受け付けてもよい。

回帰補完部１２は、Ｘ_ik1を補完する場合、ρ_k1j2＞Ｔcを満たすｊ２が例えばｎとｍの２属性の場合、以下の式（７）を用いて補完値を計算する。なお、Ｔcは相関閾値である。

ここで、ｂ₀、ｂ₁、ｂ₂は、以下の式（８）においてＱを最小にする値である。

ただし、属性ｋ１、ｎ及びｍの一つ以上の属性値が欠損値であるレコードｉは除かれる。

統計量補完部１３は、回帰補完部１２による処理が行われた欠損学習レコード４を読み込んで、ＦＩＭＬを用いて統計量補完を行う。ただし、統計量補完部１３は、非欠損率が欠損閾値以下の属性については、補完精度が低くなるため、補完を行わない。欠損閾値は、設定閾値３に含まれる。回帰補完部１２は、例えば、欠損閾値をファイルから読み込む。回帰補完部１２は、端末からユーザによりマウスやキーボードを使って入力された欠損閾値を受け付けてもよい。

統計量補完部１３は、１−Ｋ_k2＞Ｔ_kであれば、Ｘ_ik2を補完する。統計量補完部１３は、レコード毎に欠損値を無視した尤度を式（９）を用いて計算し、全レコードの合計尤度を式（１０）を用いて計算する。

ここで、μは平均であり、Σは分散共分散である。｜Σ｜はΣの行列式であり、(Ｘi−μ)′は(Ｘi−μ)の転置ベクトルであり、Σ^-1はΣの逆行列である。

そして、統計量補完部１３は、合計尤度を最大にする平均μと分散共分散Σを計算し、以下の式（１１）に示すように、平均μで欠損値を補完する。

削除部１４は、回帰補完部１２及び統計量補完部１３による処理が行われた欠損学習レコード４を読み込んで、回帰補完部１２でも統計量補完部１３でも補完が行われず欠損値を含むレコードを削除し、欠損のない補完済学習レコード５を作成する。補完済学習レコード５は欠損値のなかった学習レコードとともに機械学習へ適用される。

次に、データ補完装置１によるデータ補完処理のフローについて説明する。図３は、データ補完装置１によるデータ補完処理のフローを示すフローチャートである。図３に示すように、データ補完装置１は、欠損閾値と相関閾値を読み込み（ステップＳ１）、全学習レコード２を用いて属性間の相関行列を計算する（ステップＳ２）。

そして、データ補完装置１は、（１−欠損率）が欠損閾値以下の属性の相関値を０に変換する（ステップＳ３）。なお、相関値の計算に式（３）〜式（６）を用いた場合には、ステップＳ３の処理は行われない。そして、データ補完装置１は、全欠損学習レコード４からレコードを一つ取り出し、レコードの有無を判定する（ステップＳ４）。

そして、レコード有の場合には、データ補完装置１は、欠損属性について相関値の絶対値が相関閾値より大である属性を探索し、相関閾値より大である属性の有無を判定する（ステップＳ５）。そして、データ補完装置１は、相関閾値より大である属性有の場合には、回帰補完を行って（ステップＳ６）、ステップＳ４に戻り、相関閾値より大である属性無の場合には、ステップＳ４に戻る。

ステップＳ４においてレコード無の場合には、データ補完装置１は、全欠損学習レコード４からレコードを一つ取り出し、レコードの有無を判定する（ステップＳ７）。そして、レコード有の場合には、データ補完装置１は、欠損属性について（１−欠損率）が欠損閾値より大である属性を探索し、欠損閾値より大である属性の有無を判定する（ステップＳ８）。そして、データ補完装置１は、欠損閾値より大である属性有の場合には、統計量補完を行って（ステップＳ９）、ステップＳ７に戻り、欠損閾値より大である属性無の場合には、ステップＳ７に戻る。

ステップＳ７においてレコード無の場合には、データ補完装置１は、全欠損学習レコード４からレコードを一つ取り出し、レコードの有無を判定する（ステップＳ１０）。そして、レコード有の場合には、データ補完装置１は、レコードの欠損有無を判定する（ステップＳ１１）。そして、データ補完装置１は、欠損有の場合には、レコードを削除して（ステップＳ１２）、ステップＳ１０に戻り、欠損無の場合には、学習データへ追加し（ステップＳ１３）、ステップＳ１０に戻る。

ステップＳ１０においてレコード無の場合には、データ補完装置１は、学習データを補完済学習レコード５として出力する（ステップＳ１４）。

このように、データ補完装置１は、レコード毎属性毎の欠損状況に応じて回帰補完又は統計量補完を行うので、適切な補完を行うことができる。

図４は、補完結果の一例を示す図である。図４において、下段の枠がない属性値は回帰補完による補完値であり、下段の長方形枠の属性値は統計補完による補完値であり、下段の楕円枠の属性値は補完不可の場合である。

図４に示すように、企業Ｎｏ．が「１」、「２」及び「Ｚ」のレコードに対しては、相関が高い属性が見つかったため、回帰補完が行われている。企業Ｎｏ．が「３」のレコードの欠損率が低い「従業員数」と「人件費」に対しては、統計量補完が行われている。企業Ｎｏ．が「Ｙ」のレコードは、回帰補完も統計量補完も行われなかったため、レコードが削除される。

図５は、機械学習への適用例を示す図である。図５では、補完済学習レコード５が、会社の翌年の成長（売上が２０％以上増加）予測に用いられる。図５に示すように、例えば、企業Ｎｏ．が「１」のレコードは、正解ラベルとして「成長企業」がつけられ、学習データとして利用される。企業Ｎｏ．が「Ｙ」のレコードは、学習データとして利用されない。

上述してきたように、実施例では、相関行列計算部１１が、属性間の相関行列を計算する。そして、回帰補完部１２が、欠損属性について、相関値の絶対値が相関閾値より大きい属性がある場合に、回帰補完を行う。そして、統計量補完部１３が、欠損属性について、非欠損率が欠損閾値より大きい場合に、統計補完を行う。このため、データ補完装置１は、欠損値の補完精度を向上することができる。したがって、データ補完装置１は、データの欠損が機械学習の学習精度に与える影響を最小限に抑えることができる。

また、実施例では、回帰補完も統計補完も行われなかった欠損値を含むレコードを学習レコードから削除するので、データ補完装置１は、補完精度を向上することができる。

また、実施例では、相関行列計算部１１は、相関値を欠損率で重みづけこともでき、補完精度と学習レコード数との間のトレードオフを調整することができる。

なお、データ補完装置１は、補完済学習レコード５の数が十分であるか否かを判定し、十分でない場合に、相関閾値や欠損閾値を小さくしてもよい。相関閾値や欠損閾値を調整することで、データ補完装置１は、補完精度と学習レコード数との間のトレードオフを調整することができる。

なお、実施例では、データ補完装置１について説明したが、データ補完装置１が有する構成をソフトウェアによって実現することで、同様の機能を有するデータ補完プログラムを得ることができる。そこで、データ補完プログラムを実行するコンピュータについて説明する。

図６は、実施例に係るデータ補完プログラムを実行するコンピュータのハードウェア構成を示す図である。図２２に示すように、コンピュータ５０は、メインメモリ５１と、ＣＰＵ（Central Processing Unit）５２と、ＬＡＮ（Local Area Network）インタフェース５３と、ＨＤＤ（Hard Disk Drive）５４とを有する。また、コンピュータ５０は、スーパーＩＯ（Input Output）５５と、ＤＶＩ（Digital Visual Interface）５６と、ＯＤＤ（Optical Disk Drive）５７とを有する。

メインメモリ５１は、プログラムやプログラムの実行途中結果等を記憶するメモリである。ＣＰＵ５２は、メインメモリ５１からプログラムを読み出して実行する中央処理装置である。ＣＰＵ５２は、メモリコントローラを有するチップセットを含む。

ＬＡＮインタフェース５３は、コンピュータ５０をＬＡＮ経由で他のコンピュータに接続するためのインタフェースである。ＨＤＤ５４は、プログラムやデータを格納するディスク装置であり、スーパーＩＯ５５は、マウスやキーボード等の入力装置を接続するためのインタフェースである。ＤＶＩ５６は、液晶表示装置を接続するインタフェースであり、ＯＤＤ５７は、ＤＶＤの読み書きを行う装置である。

ＬＡＮインタフェース５３は、ＰＣＩエクスプレス（ＰＣＩｅ）によりＣＰＵ５２に接続され、ＨＤＤ５４及びＯＤＤ５７は、ＳＡＴＡ（Serial Advanced Technology Attachment）によりＣＰＵ５２に接続される。スーパーＩＯ５５は、ＬＰＣ（Low Pin Count）によりＣＰＵ５２に接続される。

そして、コンピュータ５０において実行されるデータ補完プログラムは、コンピュータ５０により読み出し可能な記録媒体の一例であるＤＶＤに記憶され、ＯＤＤ５７によってＤＶＤから読み出されてコンピュータ５０にインストールされる。あるいは、データ補完プログラムは、ＬＡＮインタフェース５３を介して接続された他のコンピュータシステムのデータベース等に記憶され、これらのデータベースから読み出されてコンピュータ５０にインストールされる。そして、インストールされたデータ補完プログラムは、ＨＤＤ５４に記憶され、メインメモリ５１に読み出されてＣＰＵ５２によって実行される。

また、実施例では、学習レコードの欠損値を補完する場合について説明したが、データ補完装置１は、他のデータを補完してもよい。

１ データ補完装置
２ 全学習レコード
３ 設定閾値
４ 欠損学習レコード
５ 補完済学習レコード
１１ 相関行列計算部
１２ 回帰補完部
１３ 統計量補完部
１４ 削除部
５０ コンピュータ
５１ メインメモリ
５２ ＣＰＵ
５３ ＬＡＮインタフェース
５４ ＨＤＤ
５５ スーパーＩＯ
５６ ＤＶＩ
５７ ＯＤＤ

Claims (8)

1. コンピュータに、
   複数のデータ項目それぞれに対応するデータ値をそれぞれに含む複数のデータレコード中に欠損データ値が存在する場合、前記欠損データ値に対応するデータ項目の、他のデータ項目との相関の度合いを算出し、
   前記相関の度合いが所定の相関閾値より大きい場合、前記他のデータ項目のデータ項目値に基づいて、前記欠損データ値の回帰的手法による補完を実行し、
   前記相関の度合いが前記相関閾値より大きくない場合、前記欠損データ値に対応するデータ項目の前記欠損データ値以外のデータ値に基づいて、前記欠損データ値の統計的手法による補完を実行する、
   処理を実行させることを特徴とするデータ補完プログラム。
2. 前記統計的手法による補完を実行する処理を、データ項目の非欠損率が所定の欠損閾値より大きい場合に前記コンピュータに実行させることを特徴とする請求項１に記載のデータ補完プログラム。
3. 補完を実行する処理が行われなかった欠損データ値を含むデータレコードを削除する処理を前記コンピュータにさらに実行させることを特徴とする請求項２に記載のデータ補完プログラム。
4. 削除したデータレコードの数に基づいて、前記相関閾値と前記欠損閾値の少なくとも一方を調整する処理を前記コンピュータにさらに実行させることを特徴とする請求項３に記載のデータ補完プログラム。
5. 前記相関の度合を算出する処理は、非欠損率が前記欠損閾値以下の属性を含む属性間の相関値を０とすることを特徴とする請求項１〜４のいずれか一つに記載のデータ補完プログラム。
6. 前記相関の度合を算出する処理は、データ項目の欠損率を用いて重みづけを行うことを特徴とする請求項１〜４のいずれか一つに記載のデータ補完プログラム。
7. コンピュータが、
   複数のデータ項目それぞれに対応するデータ値をそれぞれに含む複数のデータレコード中に欠損データ値が存在する場合、前記欠損データ値に対応するデータ項目の、他のデータ項目との相関の度合いを算出し、
   前記相関の度合いが所定の相関閾値より大きい場合、前記他のデータ項目のデータ項目値に基づいて、前記欠損データ値の回帰的手法による補完を実行し、
   前記相関の度合いが前記相関閾値より大きくない場合、前記欠損データ値に対応するデータ項目の前記欠損データ値以外のデータ値に基づいて、前記欠損データ値の統計的手法による補完を実行する、
   処理を実行することを特徴とするデータ補完方法。
8. 複数のデータ項目それぞれに対応するデータ値をそれぞれに含む複数のデータレコード中に欠損データ値が存在する場合、前記欠損データ値に対応するデータ項目の、他のデータ項目との相関の度合いを算出する算出部と、
   前記算出部により算出された相関の度合いが所定の相関閾値より大きい場合、前記他のデータ項目のデータ項目値に基づいて、前記欠損データ値の回帰的手法による補完を実行する回帰補完部と、
   前記算出部により算出された相関の度合いが前記相関閾値より大きくない場合、前記欠損データ値に対応するデータ項目の前記欠損データ値以外のデータ値に基づいて、前記欠損データ値の統計的手法による補完を実行する統計量補完部と、
   を有することを特徴とするデータ補完装置。

Images