解决Keras Generator训练时Tensor尺寸不匹配问题

本文档旨在解决在使用Keras Generator进行流式训练时，出现的Tensor尺寸不匹配错误。该错误通常与模型结构中涉及的下采样和上采样操作有关，特别是当输入图像尺寸不是16的倍数时，可能导致维度不一致。通过调整输入图像尺寸或修改模型结构，可以有效避免此问题。

问题分析

在使用Keras Generator进行训练时，如果模型包含下采样（例如，通过卷积层的stride实现）和上采样（例如，通过转置卷积层实现）操作，且输入图像的尺寸不是特定数值（通常是16或32）的倍数，则在模型的不同层之间进行连接或拼接时，可能会出现Tensor尺寸不匹配的错误。

例如，考虑一个U-Net结构，它包含下采样路径和上采样路径。在下采样路径中，图像尺寸逐渐减小；在上采样路径中，图像尺寸逐渐增大。在某些层，上采样路径的输出需要与下采样路径的输出进行拼接。如果由于图像尺寸不是16的倍数，导致下采样和上采样过程中出现舍入误差，那么拼接操作可能会失败，因为两个Tensor的尺寸不一致。

解决方案

解决Tensor尺寸不匹配问题的方法主要有两种：

AI建筑知识问答

用人工智能ChatGPT帮你解答所有建筑问题

22

查看详情

1. 调整输入图像尺寸： 这是最直接的解决方案。将输入图像的尺寸调整为16（或模型中使用的其他下采样因子的倍数）。例如，如果原始图像尺寸是100x100，可以将其裁剪或缩放到96x96或112x112。

   import tensorflow as tf
   import numpy as np
   
   # 假设原始图像尺寸是 (batch_size, 100, 100, channels)
   def resize_image(image, target_size=(96, 96)):
       """将图像调整到目标尺寸"""
       resized_image = tf.image.resize(image, target_size)
       return resized_image.numpy() # Convert to numpy array
   
   class DataGenerator(tf.keras.utils.Sequence):
       'Generates data for Keras'
       def __init__(self, 
                    channel,
                    pairs, 
                    prediction_size=96, # 修改prediction_size
                    input_normalizing_function_name='standardize', 
                    label="",
                    batch_size=1):
           'Initialization'
           self.channel = channel
           self.prediction_size = prediction_size
           self.batch_size = batch_size
           self.pairs = pairs
           self.id_list = list(self.pairs.keys())
           self.input_normalizing_function_name = input_normalizing_function_name
           self.label = label
           self.on_epoch_end()
   
       def __len__(self):
           'Denotes the number of batches per epoch'
           return int(np.floor(len(self.id_list) / self.batch_size))
   
       def __getitem__(self, index):
           'Generate one batch of data'
           # Generate indexes of the batch
           indexes = self.indexes[index*self.batch_size:(index+1)*self.batch_size]
           print("{} Indexes is {}".format(self.label, indexes))
           # Find list of IDs
           subset_pair_id_list = [self.id_list[k] for k in indexes]
           print("\t{} subset_pair_id_list is {}".format(self.label, subset_pair_id_list))
           # Generate data
           normalized_input_frames, normalized_gt_frames = self.__data_generation(subset_pair_id_list)
   
           print("in __getitem, returning data batch")
           return normalized_input_frames, normalized_gt_frames
   
       def on_epoch_end(self):
           'Updates indexes after each epoch'
           self.indexes = list(range(len(self.id_list)))
   
       def __data_generation(self, subset_pair_id_list):
           'subdivides each image into an array of multiple images'
           # Initialization
           normalized_input_frames, normalized_gt_frames = get_normalized_input_and_gt_dataframes(
               channel = self.channel, 
               pairs_for_training = self.pairs,
               pair_ids=subset_pair_id_list,
               input_normalizing_function_name = self.input_normalizing_function_name,
               prediction_size=self.prediction_size
           )
           # Resize the image before returning
           normalized_input_frames = resize_image(normalized_input_frames, (self.prediction_size, self.prediction_size))
           normalized_gt_frames = resize_image(normalized_gt_frames, (self.prediction_size, self.prediction_size))
           print("\t\t\t~~~In data generation: input shape: {}, gt shape: {}".format(normalized_input_frames.shape, normalized_gt_frames.shape))
   
           return normalized_input_frames, normalized_gt_frames
   

   登录后复制

2. 修改模型结构： 如果无法调整输入图像尺寸，可以考虑修改模型结构，例如：

   • 使用Cropping2D层： 在拼接层之前，使用Cropping2D层裁剪掉多余的像素，使两个Tensor的尺寸一致。
   • 使用padding='same'： 在卷积层中使用padding='same'，可以确保输出图像的尺寸与输入图像的尺寸相同（或接近），从而减少尺寸不匹配的可能性。
   • 调整卷积核大小和步长： 仔细调整卷积核大小和步长，以确保下采样和上采样过程中的尺寸变化是可预测的，并且最终的拼接操作是可行的。

注意事项

• 在调整输入图像尺寸时，需要注意保持图像的宽高比，避免图像失真。
• 在修改模型结构时，需要仔细评估修改对模型性能的影响。
• 使用model.summary()可以帮助您了解模型的每一层的输出尺寸，从而更好地诊断尺寸不匹配问题。

总结

Tensor尺寸不匹配是使用Keras Generator进行训练时常见的错误。通过调整输入图像尺寸或修改模型结构，可以有效解决此问题。在解决问题时，需要仔细分析模型的结构和每一层的输出尺寸，并根据具体情况选择合适的解决方案。

以上就是解决Keras Generator训练时Tensor尺寸不匹配问题的详细内容，更多请关注php中文网其它相关文章！