Wide Learning™には、大量の学習データを必要とせず手元にある少量のデータでAIを稼働させることができるという特徴があります。

これは、Deep Learningでは得ることができないメリットです。

もちろん、Wide Learning™でもデータは多ければ多い方が、精度も高まり新しい発見につながります。

Deep Learningは少なくとも数千件から数万件のデータがないと、精度が上がらないと言われています。それに対して、AIで使われるDeep Learning以外の一般的な技術では、多くの場合、100件から1000件程度の少量のデータでも、実用的な精度を達成することができます。実際、少量データ上でのWide Learning™とDeep Learningとの比較実験では、Wide Learning™の方が高精度であることが分かっています（下図）。

少量ではないデータでの比較実験でも、Deep Learningより高精度となる場合があることも分かっています（下図）。

以下の各データセットで5-foldでの交差検証における各試行のF値の平均値で評価しました。

各データセットの各ラベルに対し、二値分類用のデータを作成し実験しました。

Deep Learningのモデルは、特徴量数と同等のノード数×5層(全結合層)を想定し、各パラメータは推奨のものを使用しました。

エポック数は、損失関数の値が収束する1000に設定しました。

実験1で使用したデータセット（※1）

乳房組織の識別：Breast Tissue Data Set
ガラスの種類の識別：Glass Identification Data Set

実験2で使用したデータセット（※1）

スペースシャトルの飛行状態の判定：Statlog (Shuttle) Data Set (shuttle.trn.Zを使用)

※1：Dua, D. and Graff, C. (2019).
UCI Machine Learning Repository.
Irvine, CA: University of California, School of Information and Computer Science.

Deep Learning以外の主要なAI、Decision Tree(決定木)、Logistic Regression(ロジスティック回帰)、Random Forest(ランダムフォレスト)とWide Learning™を比較した結果、以下のことが分かっています。

• Wide Learning™は広範の問題に強い。
• カテゴリカルデータ（※2）に対し、他のAIと比べて、データが少なくても同じか、より良い精度が出る。
• データが増えたときの精度改善の度合いが他よりも高い。

※2：カテゴリカルデータとは、値の取り得る範囲が有限な（リストアップできる）データをいう。例えば、性別（男か女か）、会社名など。これに対し、カテゴリカルデータではないものは、数値データ（取り得る値が無限に存在する）である。
数値データであっても、離散化という処理によって値を区切ることでカテゴリカルデータとして扱うことができる。例えば、「値がA以上である」や「値がB以下である」といった区切り方がある。ただし、分類精度は離散化の方法による影響を受けるため、その影響をなくすために今回はカテゴリカルデータに限定したデータセットをUCI Repositoryから選定した。

これらの特徴を、複数のデータセットを使って検証しました（実験方法については後述します）。

分類問題は使用するデータの内容に応じて、以下に分類できます。

1. 多くの手法で高い精度が出る問題
2. 線形分類器（※3）で高い精度が出やすい問題
3. 線形分類器で高い精度が出にくい問題

これらの分類ごとに、特徴的なデータセットの結果を使って3つの実験を行いました。

※3：代表的な線形分類器としては、Logistic Regression(ロジスティック回帰)がある。

このデータセットは、少数派のクラスを正例とする2値分類問題として使用しました。

Decision Tree(決定木)以外では同等の精度であり、Wide Learning™も高い精度を出しています。

Logistic Regression(ロジスティック回帰)が得意な線形分類しやすい問題に対しても、Wide Learning™は高い精度を出しています。

Wide Learning™と Logistic Regression(ロジスティック回帰)は 1000以下のサンプル数で非常に高い精度を達成しています。

Random Forest(ランダムフォレスト)では、同等な精度を達成するために 5000個のサンプルが必要でした。

特に少量のデータ(サンプル数が100のときなど)では精度の差が顕著です。

このデータセットは少数派のクラスを正例とする 2値分類問題として使用しました。

この実験はデータを増やしてもLogistic Regression(ロジスティック回帰)で精度が出ない例です。

Logistic Regression(ロジスティック回帰)は、データ数が1000程度で、精度が限界になっています。

これに対して、Wide Learning™はその限界を超え、訓練サンプル数が増えれば増えるほど、精度が向上しています。

解釈性は低いが、精度が高いと言われているRandom Forest(ランダムフォレスト)と比較しても、精度の上がり幅が大きいことが分かります。なお、少量のデータ（サンプル数が100のときなど）でもRandom Forest(ランダムフォレスト)よりいい精度を出しています。

以下の各データセット（※4）を One-Hot エンコーディングして使用しました。

• HIV-1 protease cleavage データセット
• Mushroom データセット
• Nursery データセット

HIV-1 protease cleavage データセットと Mushroom データセットは少数派のクラスを正例とする2値分類問題として使用しました。

Nurseryはクラスpriorityを正例とする2値分類問題として使用しました。

訓練データのサンプル数を100, 250, 500, 750, 1000, 2000, 3000, 4000, 5000と徐々に増やしながら、以下の手順で各手法の精度を調査しました。

1. データセットを訓練データとテストデータに分割する。分割は正例と負例の割合が変化しないようにランダムに行う。
2. 訓練データを用いた5分割交差検証による平均F値を基準に Optuna を利用してハイパーパラメータをチューニングする。十分に収束させるために Optuna の試行回数は1000とする。
3. チューニングしたハイパーパラメータで訓練データを学習しモデルを作成する。
4. 作成したモデルでテストデータを分類し精度(F値)を測定する。
5. 1~4を100回行った結果の中央値をプロットする。

※4：Dua, D. and Graff, C. (2019).
UCI Machine Learning Repository.
Irvine, CA: University of California, School of Information and Computer Science.