主页 / 问题

问题[машинное-обучение]

Martin Hope
SigmuS
Asked: 2024-09-02 15:03:34 +0800 CST
  • 7

在创建机器学习模型时，为了提高其质量，通常会使用各种预处理技术 - 标记化、停用词、词形还原等。此外，像 spaCy 这样的现代工具可以提供深入分析的机会，深入到词根，例如，对于单词“Cat”，它可以建议词根“Cat”，而不是“Window”（这将是字母-按字母更接近单词 cat）。

我的问题是，如果我为文本多类分类创建了一个经过大量预处理的机器学习模型，那么在使用该模型时是否需要进行相同的预处理才能使该模型正常工作？

让我举个例子。让我们开发一个模型，根据评论文本将其分配到不同的类别。假设预处理后的部分训练样本如下所示：

  Сэмпл         |     Класс

猫毛灰|动物。猫

在这种情况下，显然假设用户会写这样的评论：“我的猫有这么灰色的皮毛，这真是一个奇迹！”我的假设如下：如果我们首先通过相同的预处理管道运行此用户请求，然后将其传递到现成的机器学习模型的输入，那么我们收到的不是编写的短语，而是“灰色羊毛奇迹” cat，”这不会导致模型质量的提高吗？

машинное-обучение
Martin Hope
Stan
Asked: 2024-03-27 05:55:01 +0800 CST
  • 5

预测问题是一个相当耗费人力的问题，可以通过多种方式解决。我决定利用机器学习技术并在我的代码中使用 K 最近邻算法 。

训练模型后，其准确率约为 87%（不错）。在模型测试期间，我进行了标准化并输入了天气所依赖的数据。如果我理解正确的话，我应该得到天气的结果，但是我得到了array(2023)。我不明白出了什么问题。

请告诉我，如果可能的话，请批评问题本身解决方案的实施。

我从这里获取了天气数据。

машинное-обучение
Martin Hope
Никита Денисов
Asked: 2022-09-04 15:30:23 +0800 CST
  • 0

在实现线性回归时，出现了一个问题：使用梯度下降，损失一次增加几个数量级。损失 - MSE，梯度下降 - 正常。我选择了加州住房数据集作为数据集。在写代码的时候，我依靠了文章。为了不和offset分开工作，我提前在特征矩阵的开头加了一列1。班级代码

class LinearRegression():

  w = None
  alpha = None

  def __init__(self, lr, E=20):
    self.lr = lr
    self.w = np.zeros(X.shape[1] + 1)
    self.E = E

  def loss(self, X, y):
    return np.sum((X @ self.w - y) ** 2) / X.shape[0]

  def grad(self, X, y):
    grad_basic = 2 * np.transpose(X) @ (X @ self.w - y) / X.shape[0]   
    assert grad_basic.shape == (X.shape[1],) , "Градиенты должны быть столбцом из k_features + 1 элементов"
    return grad_basic

  def sgd(self, X, y, E=20):
    self.loss_arr = [self.loss(X, y)]
    for _ in tqdm(range(E)):
      if abs(self.loss_arr[-1]) < 0.1:
        break
      self.w -= self.lr * self.grad(X, y)
      self.loss_arr.append(self.loss(X, y))

  def fit(self, X, y):
    self.sgd(X, y, self.E)

  def get_params(self):
    return self.w

  def get_loss(self):
    return self.loss_arr

  def predict(self, X):
    return X.dot(self.w)

这就是 loss 的行为方式：5.637, 288906709850, 3.250e+22...
同时，解析解被正确找到。它和完整的回归代码可以在notebook中找到。请告诉我哪里出错了

машинное-обучение регрессия
Martin Hope
user16357289
Asked: 2022-08-11 20:38:54 +0800 CST
  • 1

使用 5 折交叉验证，最后一次拆分时的回归准确度（确定系数 r^2）较低。

这是什么意思？在对整个数据集进行训练时，训练质量会下降吗？还是没关系？

值：0.29、0.05、0.36、0.18、-1.31
平均值：-0.08346647029663619 这些是工资上限输出列的值（那里的数据不如下限，因为它经常被省略) 在下限 r2 约为 48%，这非常适合我。

是否值得用这样的值进行训练，以便进一步使用不是在整个数据集上，而是在数据集的第 1 部分和第 3 部分上，准确率更高的地方？

数据集 - hh.ru 的职位空缺。目标是工资预测。

37,000条记录，29列：经验、关键技能、职位、雇主、上下限薪、专业、专业领域（这些字段用标签编码进行编码）；城市（基洛夫、莫斯科、圣彼得堡）、日程安排和就业类型以一种热编码方式编码。

数据未缩放，因为梯度提升对缩放不敏感。模型的复杂度应该足够了，在训练数据集上，准确率在 70-80% 左右。如果我理解正确，模型会被重新训练。

数据集链接：https ://drive.google.com/file/d/1QJZAYyXIXcrMgzet8SUC31MzV5dHODcv/view?usp=sharing

python машинное-обучение