如何在神经网络中正确缩放数据

data_close = scaler_close.fit_transform(gazp.filter(['close'])[100:])

如果缩放器不是一次应用，而是应用于部分数据，则需要将其划分fit_transform为单独的阶段。理想情况下fit，您需要对所有数据执行此操作，然后您可以transform对其中的任何部分执行任意多次。如果不可能fit对所有数据执行此操作，请对当前可用的数据执行此操作。最重要的是固定规模。如果您每次都这样做fit_transform，那么您每次都更改转换比例，那么输出当然是无稽之谈。

scaler_close.fit(gazp.filter(['close'])[100:])
...
for i in range...
    data_close = scaler_close.transform(gazp.filter(['close'])[i:i+50])
    ...
...

依此类推，分别针对您的每个特征缩放器。

现在是幻灯片。我采用了数据一直均匀增长的退化情况。fit有了真实数据，有了一条数据，画面会更好，[0,1]在这种情况下，规模很可能会更接近。但在任何情况下，规模并不完全适合[0,1]神经网络的事实通常应该可以应付。但是，如果数据被破坏，那么它的结果就根本无法预料。

但这里的主要问题是，fit_transform对于每一个单独的数据，这些数据在值方面的匹配度会很差，这就是我想要展示的。

幻灯片代码：

from sklearn.preprocessing import MinMaxScaler
import seaborn as sns
import matplotlib.pyplot as plt
import numpy as np

n = 100
k = 20
x = np.arange(n)
y = x

plt.figure()
sns.scatterplot(x=x, y=y)
plt.title('Исходные данные')

scaler = MinMaxScaler()

y1 = scaler.fit_transform(y.reshape(-1,1))[:,0]
plt.figure()
sns.scatterplot(x=x, y=y1)
plt.title('Масштабирование сразу всех данных')

plt.figure()
for i in range(0, n, k):
    x1 = range(i,i+k)
    y1 = y[x1]
    y1 = scaler.fit_transform(y1.reshape(-1,1))[:,0]
    sns.scatterplot(x=x1, y=y1)
plt.title('Масштабирование частями через fit_transform')

scaler.fit(y.reshape(-1,1))
plt.figure()
for i in range(0, n, k):
    x1 = range(i,i+k)
    y1 = y[x1]
    y1 = scaler.transform(y1.reshape(-1,1))[:,0]
    sns.scatterplot(x=x1, y=y1)
plt.title('fit на всех данных, transform по частям')

scaler.fit(y[:k].reshape(-1,1))
plt.figure()
for i in range(0, n, k):
    x1 = range(i,i+k)
    y1 = y[x1]
    y1 = scaler.transform(y1.reshape(-1,1))[:,0]
    sns.scatterplot(x=x1, y=y1)
plt.title('fit на первой части данных, transform по частям')

更多正弦波图片。

y = np.sin(5*np.pi*x/n)

可以看出，使用部分fit比例，[0,1]结果却是[-1,1]，但图形被保留了。并且fit_transform每次正弦明显恶化。