TensorFlow と scikit-learn 重回帰分析の 3D ビジョン

先の記事 : 「TensorFlow と scikit-learn 分類器の視覚的比較」 では線形分離できないデータセットについて決定境界を分類器別にプロットして比較してみましたが、今度は TensorFlow によるニューラルネットワークと scikit-learn の各種回帰分析器による近似曲面を 3-D ビジョンで比較してみます。

TensorFlow については基本的な MLP をベースにエポック数で比較、scikit-learn については代表的な回帰分析器 (Regresesor) 別に試しています。重回帰の題材はシンプルに sin(x) + cos(y) をノイズなしでサンプリングしています。（ノイズありだと曲面がきれいに見えなかったので。）MSE （平均二乗誤差）の数値も併せて表記しています。

サンプリングの結果をプロットすると以下のような図になります。
サンプリングの結果は青色で描画し、同じ xy 平面における予測近似曲面はライム（緑）色で描画します :

TensorFlow MLP による回帰

TensorFlow についてはユニット数 [512, 128] の 2 層 MLP で試しました。
活性化関数による差はあまり見られなかったので、エポック数で近似曲面の様子を比較してみました。

1) 1 epoch
# MSE : 0.8860
1 epoch 直後の画像です。ライム色が近似曲面です。

2) 5 epochs
# MSE : 0.2806

3) 10 epochs
# MSE : 0.1555
10 epochs のトレーニングで予測の精度が高まっています。

4) 100 epochs
# MSE : 0.0343
かなり近似できていますが、1000 epochs までトレーニングを続けます。

5) 1000 epochs
# MSE : MSE : 0.0089
MSE が 0.01 を切りました。

scikit-learn の回帰分析器

scikit-learn については代表的な回帰分析器をデフォルト・パラメータで順繰りに試してみました :

線形回帰, 多項式フィッティング, K-近傍法, 決定木, Random Forest, SVM, Gaussian Process, AdaBoost

（線形回帰はともかくも）全体的に予想より上手く近似できていますが、Gaussian Process はほぼ誤差がありません。
決定木や Random Forest は図を拡大すれば AdaBoost 的になっているかもしれません。

 
1) 線形回帰 (linear_model.LinearRegression)
# MSE : 0.6370

2) 多項式フィッティング
# MSE : 0.0328
図は 3 次多項式です。

3) K-近傍法
# MSE : 0.0025

4) 決定木
# MSE : 0.0052

5) Random Forest
# MSE : 0.0061

6) SVM
# MSE : 0.0054

7) Gaussian Process
# MSE : 0.0000000000015268
%.4f (小数点以下４桁表示) では誤差が 0 になってしまいました。

8) AdaBoost
# MSE : 0.0753
決定木や Random Forest もこんな感じになるかと思いましたが…

以上

TensorFlow と scikit-learn 分類器の視覚的比較

TensorFlow によるニューラルネットワークと scikit-learn の各種分類器について
線形分離ができないデータセットについて決定境界を描画して視覚的に比較してみました。
scikit-learn については代表的な分類器を、TensorFlow については基本的な MLP を活性化関数を変えて試しています。

データセットは以前にも使った sklearn.datasets.make_moons で、データポイント数は 500 ノイズは 0.1 です。
プロットすると以下のような図になります :

scikit-learn の分類器

scikit-learn の代表的な分類器をデフォルト・パラメータで順繰りに試してみました :

Gaussian NB, K-近傍法, 決定木, Random Forest, 線形 SVM, SVM, Gaussian Process, AdaBoost

K-近傍法, SVM, Gaussian Process が視覚的にきれいに分類できています。
決定木, Random Forest, AdaBoost は似た傾向の分類になっています。

 
1) Gaussian NB (Naive Bayes)

2) K-近傍法

3) 決定木

4) Random Forest

5) 線形 SVM

6) SVM

7) Gaussian Process

8) AdaBoost

TensorFlow MLP による分類

TensorFlow についてはユニット数 [512, 128] の 2 層 MLP で試しました。
活性化関数は ReLU, Sigmoid, tanh を使用、明らかに ReLU が優れています。

1) ReLU

2) Sigmoid

3) tanh

以上