主页 / 问题 / 716678
Accepted
Max
Asked:2020-09-10 22:21:59 +0000 UTC2020-09-10 22:21:59 +0000 UTC

如何使用完全卷积神经网络在图像中搜索对象

  • 772

您好，任务是在python中使用Keras，theano，使用完全卷积神经网络搜索对象。当前使用以下网络配置：

def create_encoding_layers():
    kernel = 3
    filter_size = 64
    pad = 1
    pool_size = 2
    return [
        ZeroPadding2D(padding=(pad,pad)),
        Convolution2D(filter_size, kernel, kernel, border_mode='valid'),
        BatchNormalization(),
        Activation('relu'),
        MaxPooling2D(pool_size=(pool_size, pool_size)),

        ZeroPadding2D(padding=(pad,pad)),
        Convolution2D(32, kernel, kernel, border_mode='valid'),
        BatchNormalization(),
        Activation('relu'),
        MaxPooling2D(pool_size=(pool_size, pool_size)),

        ZeroPadding2D(padding=(pad,pad)),
        Convolution2D(32, kernel, kernel, border_mode='valid'),
        BatchNormalization(),
        Activation('relu'),
        MaxPooling2D(pool_size=(pool_size, pool_size)),

        ZeroPadding2D(padding=(pad,pad)),
        Convolution2D(64, kernel, kernel, border_mode='valid'),
        BatchNormalization(),
        Activation('relu'),
    ]
    def create_decoding_layers():
    kernel = 3
    filter_size = 64
    pad = 1
    pool_size = 2
    return[
        ZeroPadding2D(padding=(pad,pad)),
        Convolution2D(64, kernel, kernel, border_mode='valid'),
        BatchNormalization(),

        UpSampling2D(size=(pool_size,pool_size)),
        ZeroPadding2D(padding=(pad,pad)),
        Convolution2D(32, kernel, kernel, border_mode='valid'),
        BatchNormalization(),

        UpSampling2D(size=(pool_size,pool_size)),
        ZeroPadding2D(padding=(pad,pad)),
        Convolution2D(32, kernel, kernel, border_mode='valid'),
        BatchNormalization(),

        UpSampling2D(size=(pool_size,pool_size)),
        ZeroPadding2D(padding=(pad,pad)),
        Convolution2D(filter_size, kernel, kernel,     border_mode='valid'),
        BatchNormalization(),
        ZeroPadding2D(padding=(0,pad+1)),
    ]

    segnet_basic = models.Sequential()
    segnet_basic.add(Layer(input_shape=(120, 420, 1)))
    segnet_basic.encoding_layers = create_encoding_layers()
    for l in segnet_basic.encoding_layers:
        segnet_basic.add(l)
    segnet_basic.decoding_layers = create_decoding_layers()
    for l in segnet_basic.decoding_layers:
        segnet_basic.add(l)
    segnet_basic.add(Convolution2D(1, 1, 1, border_mode='valid',))
    segnet_basic.summary()
    segnet_basic.add(Reshape((120,420,1)))

输入是一张照片和一个蒙版（对象所在的区域用 1 填充，其余区域用 0 填充）。据我了解，在输出中我们应该得到相同的掩码。尝试了不同的损失函数。输出是废话。实际上问题是：为了在输出中获得类似的掩码，需要纠正什么？使用哪个损失函数和优化器？图片显示了一个已经训练好的网络的工作示例。image - 输入网络的图像，label - 预期结果，我乘以 255 作为输出，result - 网络产生的结果。我还乘以 255 作为输出 在此处输入图像描述

python

2 个回答

  1. Best Answer

    根据问题中的陈述，我们可以得出结论：

    • 您的 NN 可能训练过度。这是因为您在训练集上有很好的结果，但在测试集上没有。一种选择是使用正则化。另外，尝试使用dropOut. 该技术通过随机消除神经网络中的链接来帮助减少过度拟合。
    • 您需要进行交叉验证（cv）。执行此过程以评估模型和选择参数。我们对评估感兴趣。scikit -learn有一些很棒的机制可以做到这一点。cv 的选项之一（它更适合您，因为您的样本很小）是原始集分为 2 部分（例如）：0.3 - 0.7。大于 0.7 的部分为训练集。较小的部分是验证器。我们在训练集上进行训练。然后我们检查验证结果。让我们这样做很多次。为简单起见，取 10。这完全取决于答案的方差和集合的大小。如果没有做cv，那么无论如何都无法判断模型。
    • 过度拟合的另一个可能原因是神经网络中存在大量层和少量示例。
    • 为了增加示例数量，可以使用图像切片。我们将每个图像切割成与感兴趣对象相当的小区域（希望这些区域大于对象）。最好剪切图片以使区域重叠。例如，让原始图片的大小为 400x400。让我们把它切成 20x20 的样本。我们将以 10 的增量移动 20x20 的窗口。然后结果是每个窗口都会与前一个窗口重叠。对于每个窗口，您都可以做出您想要做出的预测。
    • 另一种可能的选择是将图像旋转小角度。但这种转变可能是有害的（取决于任务）。

    很难给出进一步的建议，因为整个集合是不可见的，任务的最终目标也不清楚。

    • 4

  2. 在您的网络配置中，将一张格式为 (120, 420, 1) 的图像输入到输入中。网络的输出是一张相同格式的图像 (120, 420, 1)。因此，为了教这个（或另一个）网络从图像构建掩码，有必要训练网络，即驱动大量对（图片，掩码）通过它。然后，在成功训练的情况下，网络将能够从图片中获取掩码。如果只是将图片驱动到未经训练的网络中，那么输出当然是无稽之谈。掩模情况下的损失函数可以完全像mse一样作为标准的损失函数。在目标检测的情况下，以边界框而不是掩码为目标更有效，因此，使用框回归损失。

    • 0

相关问题