テキスト分類

利用可能なモデルアルゴリズム中で最適なモデルを検索します。自動モードを選択すると、多項単純ベイズアルゴリズムと線形SVCアルゴリズムが使用されます。モデルごとに、対応するパラメーターを狭い範囲で探索します。自動モードでは、アルゴリズムとハイパーパラメーターの最適な組み合わせが出力されます。モデルを微調整するには、各アルゴリズムのドロップダウンのいずれかを選択します。

多項単純ベイズのアルゴリズムは、確率的分類モデルです。単純ベイズ分類器は、テキストの一部がラベルに属する確率を予測するモデルを構築します。モデルを構築するには、トレーニングデータをテキスト行とその関連ラベル (クラスまたはターゲットとも呼ばれる) の形式で使用します。アルゴリズムは、すべての特徴量が互いに独立していることを前提としています。単純ベイズ分類器の利点は、それが拡張可能であり、一般的に少ないトレーニングセットでもうまく機能することです。

Alphaは、モデルの複雑さを制御するために使用できる加算スムージングパラメーターです。値が 0 の場合、平滑化は行われません。0より大きい値を指定すると、テストデータ内の単語がトレーニングデータに存在しない場合の結果が改善される可能性があります。

ツールは、定義した Alpha 値の範囲に基づいて最適なモデルを探索します。これらのAlpha値を作成するには、探索する範囲(最小値 - 最大値)とその範囲内のステップ数を入力します。

クロスバリデーションは、モデルのトレーニングとバリデーションにデータのさまざまな部分(分割)を使用する再サンプリング手法です。クロスバリデーション中に使用する分割数を選択します。

生のテキストを数値データに変換する必要があるのは、テキストの分類に必要な手順であるためです。このベクトル化ステップにより、モデルがデータを解釈できます。テキスト分類ツールでは、用語頻度 - 逆ドキュメント頻度(TF-IDF)ベクトル化手法を使用します。TF-IDF設定は次のとおりです。

線形 SVC は、モデルの SVM (サポートベクターマシン) クラスに属します。このアルゴリズムは、2(バイナリ)または複数のクラスを持つデータに適用できます。このモデルは、データに適用すると、データを適切なカテゴリに分割する最適な超平面を見つけ出します。線形SVCはテキストなどの高次元空間で有効であることが知られていますが、大規模なトレーニングデータセットに適用すると速度が低下することがあります。

ペナルティで使用される正規化を選択します。L2正規化(ユークリッド正規化とも呼ばれる)は、サポートベクトル分類で標準的に使用されます。L1 正規化により、スパース係数ベクトルが得られます。

損失関数を選択します。このアルゴリズムの標準的な選択肢はヒンジです。

C は正則化パラメーターです。0より大きくなければなりません。Cの値を大きくすると正則化の度合いが小さくなり、トレーニングデータに近い適合を試みるモデルになります。対照的に、Cの値が小さい場合は正則化の度合いが増加します。

ツールは、定義したC値の範囲に基づいて最適なモデルを探索します。これらのC値を作成するには、探索するlog範囲(最小値 - 最大値)とその範囲内のステップ数を入力します。

クロスバリデーションは、モデルのトレーニングとバリデーションにデータのさまざまな部分(分割)を使用するリサンプリング手法です。クロスバリデーション中に使用する分割数を選択します。

生のテキストを数値データに変換する必要があるのは、テキストの分類に必要な手順であるためです。このベクトル化ステップにより、モデルがデータを解釈できます。テキスト分類ツールでは、用語頻度 - 逆ドキュメント頻度(TF-IDF)ベクトル化手法を使用します。TF-IDF設定は次のとおりです。