Amazon SageMaker 線形学習者でマルチクラス分類器を構築する

# import data science and visualization libraries
%matplotlib inline
from sklearn.model_selection import train_test_split
import pandas as pd
import numpy as np
import seaborn as sns

# download the raw data and unzip
!wget https://archive.ics.uci.edu/ml/machine-learning-databases/covtype/covtype.data.gz
!gunzip covtype.data.gz

# read the csv and extract features and labels
covtype = pd.read_csv('covtype.data', delimiter=',', dtype='float32').as_matrix()
covtype_features, covtype_labels = covtype[:, :54], covtype[:, 54]
# transform labels to 0 index
covtype_labels -= 1
# shuffle and split into train and test sets
np.random.seed(0)
train_features, test_features, train_labels, test_labels = train_test_split(
    covtype_features, covtype_labels, test_size=0.2)
# further split the test set into validation and test sets
val_features, test_features, val_labels, test_labels = train_test_split(
    test_features, test_labels, test_size=0.5)

# assign label names and count label frequencies
label_map = {0:'Spruce/Fir', 1:'Lodgepole Pine', 2:'Ponderosa Pine', 3:'Cottonwood/Willow',
             4:'Aspen', 5:'Douglas-fir', 6:'Krummholz'}
label_counts = pd.DataFrame(data=train_labels)[0].map(label_map).value_counts(sort=False).sort_index(ascending=False)
label_counts.plot('barh', color='tomato', title='Label Counts')

import sagemaker
from sagemaker.amazon.amazon_estimator import RecordSet
import boto3

# instantiate the LinearLearner estimator object
multiclass_estimator = sagemaker.LinearLearner(role=sagemaker.get_execution_role(),
                                               train_instance_count=1,
                                               train_instance_type='ml.m4.xlarge',
                                               predictor_type='multiclass_classifier',
                                               num_classes=7)

# wrap data in RecordSet objects
train_records = multiclass_estimator.record_set(train_features, train_labels, channel='train')
val_records = multiclass_estimator.record_set(val_features, val_labels, channel='validation')
test_records = multiclass_estimator.record_set(test_features, test_labels, channel='test')

# start a training job
multiclass_estimator.fit([train_records, val_records, test_records])

# deploy a model hosting endpoint
multiclass_predictor = multiclass_estimator.deploy(initial_instance_count=1, instance_type='ml.m4.xlarge')

予測を解析し、モデルメトリックを評価するための便利な関数を追加します。この関数は、試験のための特徴をエンドポイントに与え、予測された試験ラベルを受け取ります。私たちが作成したモデルを評価するには、予測された試験ラベルを取り込み、何らかの一般的なマルチクラスメトリックスを用いて、それらを実際の結果と比較します。先に述べたように、predicted_label  を各レスポンスペイロードから取得します。これは予測確率が最も高いクラスです。1 つの例につき 1 つのクラスラベルを取得します。各例につき 7 種類の確率ベクトル (各クラスの予測確率) を得るには、score  をレスポンスペイロードから抽出します。線形学習者のレスポンス形式の詳細は、ドキュメントを参照ください。

def evaluate_metrics(predictor, test_features, test_labels):
    """
    所定の予測エンドポイントを使用してテストセット上のモデルを評価します。分類メトリックを表示します。
    """
    # split the test dataset into 100 batches and evaluate using prediction endpoint
    prediction_batches = [predictor.predict(batch) for batch in np.array_split(test_features, 100)]

    # parse protobuf responses to extract predicted labels
    extract_label = lambda x: x.label['predicted_label'].float32_tensor.values
    test_preds = np.concatenate([np.array([extract_label(x) for x in batch]) for batch in prediction_batches])
    test_preds = test_preds.reshape((-1,))
    
    # calculate accuracy
    accuracy = (test_preds == test_labels).sum() / test_labels.shape[0]
    
    # calculate recall for each class
    recall_per_class, classes = [], []
    for target_label in np.unique(test_labels):
        recall_numerator = np.logical_and(test_preds == target_label, test_labels == target_label).sum()
        recall_denominator = (test_labels == target_label).sum()
        recall_per_class.append(recall_numerator / recall_denominator)
        classes.append(label_map[target_label])
    recall = pd.DataFrame({'recall': recall_per_class, 'class_label': classes})
    recall.sort_values('class_label', ascending=False, inplace=True)

    # calculate confusion matrix
    label_mapper = np.vectorize(lambda x: label_map[x])
    confusion_matrix = pd.crosstab(label_mapper(test_labels), label_mapper(test_preds),
                                   rownames=['Actuals'], colnames=['Predictions'], normalize='index')

    # display results
    sns.heatmap(confusion_matrix, annot=True, fmt='.2f', cmap="YlGnBu").set_title('Confusion Matrix')
    ax = recall.plot(kind='barh', x='class_label', y='recall', color='steelblue', title='Recall', legend=False)
    ax.set_ylabel('')
    print('Accuracy: {:.3f}'.format(accuracy))

# evaluate metrics of the model trained with default hyperparameters
evaluate_metrics(multiclass_predictor, test_features, test_labels)

報告された最初のメトリックは正確です。マルチクラス分類の精度は、バイナリ分類の場合と同じ意味になります。つまり、グランドトゥルースラベルに一致する予測ラベルのパーセントです。私たちのモデルでは、適切な種類の森林が 72％ 以上を占めている予測しています。

次に、混同行列と各ラベルのクラスリコールのプロットを見てみましょう。リコールはマルチクラス設定でも便利なバイナリ分類メトリクスです。これは、真のラベルが第 1 クラス、第 2 クラス、その他クラスに属している場合に、モデルの精度を測定します。すべてのクラスのリコール値の平均をとると、マクロリコールと呼ばれるメトリクスを得ることができます。これはアルゴリズムログに記録されています。また、マクロ精度やマクロ F -スコアも記録されています。

モデルによって得られたリコールは、クラスによって大きく異なります。リコールは最も一般的なラベルでは高くなりますが、Aspen や Cottonwood/Willow のような希少ラベルの場合は非常に低くなります。私たちの予測はほとんどの場合当てはまりますが、真の被覆タイプが Aspen、Cottonwood/Willow など稀なものである場合、モデルは間違った予測をする傾向があります。

混同行列は、マルチクラスモデルのパフォーマンスを視覚化するためのツールです。混同行列には、正しい予測と誤った予測のすべての可能な組み合わせのエントリーを含み、モデルによって作成されたそれぞれの頻度がわかります。混同行列の行は正規化されています。各行の合計は 1 であるため、対角線に沿ったエントリはリコールに対応します。たとえば、最初の行は、真のラベルが Aspen の場合、モデルは時間の 1％ で正しく予測し、Lodgepole Pine は 95％ の時間を誤って予測することを示しています。2 番目の行は、真の森林被覆タイプが Cottonwood/Willow であるとき、モデルは 27％ のリコールを有し、Ponderosa Pine を 65％ 間違って予測することを示しています。モデルの精度が 100％ で、すべてのクラスで 100％ のリコールがあった場合、すべての予測は混同行列の対角線に沿って行われます。

非常にまれなクラスではモデルのパフォーマンスは低くなります。それらについて学習したデータは少なく、全体的なパフォーマンスに合わせて最適化されています。線形学習者は、デフォルトでは多項分布の確率を最適化する softmax 損失関数を使用します。原理において、全体的な精度を最適化することに似ています。

しかし、希少なクラスラベルの 1 つがユースケースにとって特に重要な場合はどうでしょうか？たとえば、顧客ゲットの成果を予測するとして、不満を持った顧客が潜在的な成果をもたらす場合です。これは稀なケースであることを望みますが、この成果を予測することが特に重要で、直ちに行動する必要がある場合もあります。その場合、希少クラスのリコールを大幅に改善する代わりに、全体的な精度が犠牲になるなるかもしれません。その改善方法を見てみましょう。

バランスの取れたクラス毎の重み付けを使った訓練

クラス毎の重み付けで、線形学習者アルゴリズムによって最適化された損失関数を変更します。各クラスの重要性が等しくなるように、希少クラスに重み付けします。クラスの重みがない場合は、訓練セットの各例は等しく扱われます。これらの例の 80％ が大きな比率を占める 1 つクラスの場合、モデル訓練中に注意の 80％ はこのクラスに集中します。バランスの取れたクラスの重み付けの場合は、訓練中各クラスは同等の影響力を持ちます。

# instantiate the LinearLearner estimator object
balanced_multiclass_estimator = sagemaker.LinearLearner(role=sagemaker.get_execution_role(),
                                                        train_instance_count=1,
                                                        train_instance_type='ml.m4.xlarge',
                                                        predictor_type='multiclass_classifier',
                                                        num_classes=7,
                                                        balance_multiclass_weights=True)

# start a training job
balanced_multiclass_estimator.fit([train_records, val_records, test_records])

# deploy a model hosting endpoint
balanced_multiclass_predictor = balanced_multiclass_estimator.deploy(initial_instance_count=1,
                                                                     instance_type='ml.m4.xlarge')

# evaluate metrics of the model trained with balanced class weights
evaluate_metrics(balanced_multiclass_predictor, test_features, test_labels)

クラスの重みによって行われる違いは、混同行列を見れば明らかです。予測はマトリクスの対角線に沿ってきっちり整列します。予測されたラベルは実際のラベルと一致します。希少な Aspen クラスのリコールはたったの 1％ でしたが、今はすべてのクラスのリコールが 50％ を超えています。稀なラベルを正しく予測する能力が大幅に向上しました。

しかし、混同行列は、各行の合計値が1に正規化されていることを忘れないでください。診断ツールにおいて視覚的に各クラスに等しい重みを与えました。これは、希少クラスで得る改善を強調していますが、一般的なクラスを予測するためにかかるコストの強調が抑えられてます。最も一般的なクラスの Lodgepole Pine のリコールが、81％ から 52％ に減少しました。これによって、全体的な精度も 72％ から 59％ に低下しました。アプリケーションにバランスの取れたクラス毎の重み付けを適用するかどうかを判断するには、一般的なケースで予測エラーが発生した場合のビジネスへの影響と、希少なエラーが発生した場合の影響を比較します。

ホスティングのエンドポイントの削除

最後に、ホスティングのエンドポイントを削除します。訓練に使用したマシンは自動的にシャットダウンしますが、ホスティングのエンドポイントはシャットダウンしない限りアクティブ状態のままです。

# delete endpoints
multiclass_predictor.delete_endpoint()
balanced_multiclass_predictor.delete_endpoint()