他のAI(機械学習アルゴリズム)との比較

Deep Learningとの比較

少量のデータでも高精度な判断が可能であることの実証

Wide Learning™には、大量の学習データを必要とせず手元にある少量のデータでAIを稼働させることができるという特徴があります。

これは、Deep Learningでは得ることができないメリットです。

もちろん、Wide Learning™でもデータは多ければ多い方が、精度も高まり新しい発見につながります。


実験1:少量データ上での比較

Deep Learningは少なくとも数千件から数万件のデータがないと、精度が上がらないと言われています。それに対して、AIで使われるDeep Learning以外の一般的な技術では、多くの場合、100件から1000件程度の少量のデータでも、実用的な精度を達成することができます。実際、少量データ上でのWide Learning™とDeep Learningとの比較実験では、Wide Learning™の方が高精度であることが分かっています(下図)。


実験2:少量ではないデータ上での比較

少量ではないデータでの比較実験でも、Deep Learningより高精度となる場合があることも分かっています(下図)。


実験方法

以下の各データセットで5-foldでの交差検証における各試行のF値の平均値で評価しました。

各データセットの各ラベルに対し、二値分類用のデータを作成し実験しました。

Deep Learningのモデルは、特徴量数と同等のノード数×5層(全結合層)を想定し、各パラメータは推奨のものを使用しました。

エポック数は、損失関数の値が収束する1000に設定しました。

実験1で使用したデータセット(※1

乳房組織の識別:Breast Tissue Data Set
ガラスの種類の識別:Glass Identification Data Set

実験2で使用したデータセット(※1

スペースシャトルの飛行状態の判定:Statlog (Shuttle) Data Set (shuttle.trn.Zを使用)

※1:Dua, D. and Graff, C. (2019).
UCI Machine Learning Repository.
Irvine, CA: University of California, School of Information and Computer Science.

他の主要なAIとの比較

Deep Learning以外の主要なAI、Decision Tree(決定木)、Logistic Regression(ロジスティック回帰)、Random Forest(ランダムフォレスト)とWide Learning™を比較した結果、以下のことが分かっています。

  • Wide Learning™は広範の問題に強い。
  • カテゴリカルデータ(※2)に対し、他のAIと比べて、データが少なくても同じか、より良い精度が出る。
  • データが増えたときの精度改善の度合いが他よりも高い。

※2:カテゴリカルデータとは、値の取り得る範囲が有限な(リストアップできる)データをいう。例えば、性別(男か女か)、会社名など。これに対し、カテゴリカルデータではないものは、数値データ(取り得る値が無限に存在する)である。
数値データであっても、離散化という処理によって値を区切ることでカテゴリカルデータとして扱うことができる。例えば、「値がA以上である」や「値がB以下である」といった区切り方がある。ただし、分類精度は離散化の方法による影響を受けるため、その影響をなくすために今回はカテゴリカルデータに限定したデータセットをUCI Repositoryから選定した。


複数のデータセットを使っての検証

これらの特徴を、複数のデータセットを使って検証しました(実験方法については後述します)。

分類問題は使用するデータの内容に応じて、以下に分類できます。

  1. 多くの手法で高い精度が出る問題
  2. 線形分類器(※3)で高い精度が出やすい問題
  3. 線形分類器で高い精度が出にくい問題

これらの分類ごとに、特徴的なデータセットの結果を使って3つの実験を行いました。

※3:代表的な線形分類器としては、Logistic Regression(ロジスティック回帰)がある。


実験結果1:多くの手法で高い精度が出る問題

このデータセットは、少数派のクラスを正例とする2値分類問題として使用しました。

Decision Tree(決定木)以外では同等の精度であり、Wide Learning™も高い精度を出しています。


実験結果2:線形分類器で高い精度が出やすい問題

Logistic Regression(ロジスティック回帰)が得意な線形分類しやすい問題に対しても、Wide Learning™は高い精度を出しています。

Wide Learning™と Logistic Regression(ロジスティック回帰)は 1000以下のサンプル数で非常に高い精度を達成しています。

Random Forest(ランダムフォレスト)では、同等な精度を達成するために 5000個のサンプルが必要でした。

特に少量のデータ(サンプル数が100のときなど)では精度の差が顕著です。

このデータセットは少数派のクラスを正例とする 2値分類問題として使用しました。


実験結果3:線形分類器で高い精度が出にくい問題

この実験はデータを増やしてもLogistic Regression(ロジスティック回帰)で精度が出ない例です。

Logistic Regression(ロジスティック回帰)は、データ数が1000程度で、精度が限界になっています。

これに対して、Wide Learning™はその限界を超え、訓練サンプル数が増えれば増えるほど、精度が向上しています。

解釈性は低いが、精度が高いと言われているRandom Forest(ランダムフォレスト)と比較しても、精度の上がり幅が大きいことが分かります。なお、少量のデータ(サンプル数が100のときなど)でもRandom Forest(ランダムフォレスト)よりいい精度を出しています。


実験方法

以下の各データセット(※4)を One-Hot エンコーディングして使用しました。

HIV-1 protease cleavage データセットと Mushroom データセットは少数派のクラスを正例とする2値分類問題として使用しました。

Nurseryはクラスpriorityを正例とする2値分類問題として使用しました。

訓練データのサンプル数を100, 250, 500, 750, 1000, 2000, 3000, 4000, 5000と徐々に増やしながら、以下の手順で各手法の精度を調査しました。

  1. データセットを訓練データとテストデータに分割する。分割は正例と負例の割合が変化しないようにランダムに行う。
  2. 訓練データを用いた5分割交差検証による平均F値を基準に Optuna を利用してハイパーパラメータをチューニングする。十分に収束させるために Optuna の試行回数は1000とする。
  3. チューニングしたハイパーパラメータで訓練データを学習しモデルを作成する。
  4. 作成したモデルでテストデータを分類し精度(F値)を測定する。
  5. 1~4を100回行った結果の中央値をプロットする。

※4:Dua, D. and Graff, C. (2019).
UCI Machine Learning Repository.
Irvine, CA: University of California, School of Information and Computer Science.