主页 / 问题 / 1580483
Accepted
Stan
Asked:2024-05-16 16:32:46 +0000 UTC2024-05-16 16:32:46 +0000 UTC

绘制矢量化数据的 Logistic 回归图

  • 772

大家好。我使用不同的分类方法（例如朴素贝叶斯、对数回归）解决了垃圾邮件识别问题，从而测试哪种方法效果更好。

问题：我似乎无法绘制逻辑回归图。

完整代码。数据集取自 Kaggle。

进步：

  1. 我读取了文件并进行了数据清理。
  2. 由于数据是文本形式，所以我做了文本向量化和LabelEncoding。
  3. 我应用了对数回归函数。
  4. 我画了这样的图表：
y_pred = y_pred.squeeze()
y_prob = model.predict_proba(X_test_vectorized)

# Plot scatter plot
sns.scatterplot(x= range(len(y_pred)), y=y_pred, hue= Y_test)
plt.figure()
sns.scatterplot(x = range(len(y_pred)), y = y_prob[:,1], hue = Y_test)
plt.xlabel('Text Feature')
plt.ylabel('Predicted')
plt.legend()
plt.show()

在此输入图像描述 在此输入图像描述

python

1 个回答

  1. Best Answer

    在这种情况下，将无法以通常的形式构建逻辑回归图，因为在该代码中文本被向量化，这导致属性（特征）的数量急剧增加。结果，我们得到了大量的特征，而不是几个变量

    在这种情况下，使用t-SNE降维方法是合理的，它通过将数据降维到二维或三维来帮助可视化数据，这使得算法的结果更加直观。

    1. 首先，我们从数据中选择 1000 个点。出于可视化目的，较小的数据子集就足够了。即使 1000 点通常也足以了解数据结构和类之间的差异。
    2. 选择一个模型，在本例中为 logreg
    3. 宣布并启动 t-SNE
    4. 为结果创建数据框
    5. 绘制图表
    data_1000 = X_train_scaled[0:1000, :]  
labels_1000 = labels[0:1000]
model = LogisticRegression(random_state = 42)
model.fit(data_1000, labels_1000)
transformed_data = model.predict_proba(data_1000)
tsne_model = TSNE(n_components=2, random_state=0, init='random')  
tsne_data = tsne_model.fit_transform(transformed_data)
tsne_data = np.vstack((tsne_data.T, labels_1000)).T  
tsne_df = pd.DataFrame(data=tsne_data, columns=("Dim_1", "Dim_2", "label"))  
plt.figure(figsize=(8, 6))   
sns.scatterplot(data=tsne_df, x='Dim_1', y='Dim_2', hue='label', palette="bright")    
plt.xlabel("Component 1")    
plt.ylabel("Component 2")    
plt.title("Scatter plot of t-SNE results after applying Logistic Regression")     
plt.legend()   
plt.show()

    结果：在此输入图像描述

    • 1

相关问题