Keras-GAN:使用Keras实现各种生成对抗网络

生成对抗网络(Generative Adversarial Networks, GAN)是近年来深度学习领域最热门的研究方向之一。自2014年Ian Goodfellow等人提出GAN以来,各种GAN变体层出不穷,在图像生成、风格迁移、超分辨率等多个领域取得了突破性进展。然而,由于GAN的训练较为困难,实现一个稳定工作的GAN模型并非易事。

Keras-GAN项目旨在为深度学习研究者和实践者提供各种GAN的Keras参考实现。该项目由Erik Linder-Norén发起,目前已包含20多种GAN变体的实现,涵盖了DCGAN、CGAN、CycleGAN等经典模型。所有模型都使用Keras深度学习框架实现,代码简洁易懂,非常适合学习和二次开发。

Keras-GAN Logo

项目特点

涵盖广泛:包含20多种GAN变体实现,几乎覆盖了所有主流GAN模型。
代码规范:所有模型都遵循相似的代码结构,便于对比学习不同GAN的异同。
易于使用:每个模型都提供了训练和生成示例,只需几行命令即可运行。
详细文档:README中对每个模型都有简要介绍和论文链接,方便深入学习。
持续更新:项目一直在维护,不断加入新的GAN变体实现。

主要模型

Keras-GAN项目实现的部分经典GAN模型包括:

DCGAN:第一个成功将CNN应用于GAN的模型,极大提升了GAN生成图像的质量。
Conditional GAN:引入条件信息,实现可控的图像生成。
CycleGAN:无需配对数据的图像风格迁移模型。
Pix2Pix:有监督的图像到图像转换模型。
WGAN:引入Wasserstein距离,提高GAN训练稳定性。

下面我们来详细介绍其中几个代表性模型。

DCGAN

DCGAN(Deep Convolutional GAN)是第一个成功将卷积神经网络应用于GAN的模型。相比原始GAN使用全连接网络,DCGAN的生成器和判别器都采用了卷积结构,大幅提升了生成图像的质量。

DCGAN的主要改进包括:

使用转置卷积代替池化层进行上采样
在生成器中使用BatchNorm
移除全连接层
在判别器中使用LeakyReLU激活函数

DCGAN的Keras实现代码如下:

def build_generator(self):
    model = Sequential()
    
    model.add(Dense(128 * 7 * 7, activation="relu", input_dim=self.latent_dim))
    model.add(Reshape((7, 7, 128)))
    model.add(UpSampling2D())
    model.add(Conv2D(128, kernel_size=3, padding="same"))
    model.add(BatchNormalization(momentum=0.8))
    model.add(Activation("relu"))
    model.add(UpSampling2D())
    model.add(Conv2D(64, kernel_size=3, padding="same"))
    model.add(BatchNormalization(momentum=0.8))
    model.add(Activation("relu"))
    model.add(Conv2D(self.channels, kernel_size=3, padding="same"))
    model.add(Activation("tanh"))

    return model

def build_discriminator(self):
    model = Sequential()

    model.add(Conv2D(32, kernel_size=3, strides=2, input_shape=self.img_shape, padding="same"))
    model.add(LeakyReLU(alpha=0.2))
    model.add(Dropout(0.25))
    model.add(Conv2D(64, kernel_size=3, strides=2, padding="same"))
    model.add(ZeroPadding2D(padding=((0,1),(0,1))))
    model.add(BatchNormalization(momentum=0.8))
    model.add(LeakyReLU(alpha=0.2))
    model.add(Dropout(0.25))
    model.add(Conv2D(128, kernel_size=3, strides=2, padding="same"))
    model.add(BatchNormalization(momentum=0.8))
    model.add(LeakyReLU(alpha=0.2))
    model.add(Dropout(0.25))
    model.add(Conv2D(256, kernel_size=3, strides=1, padding="same"))
    model.add(BatchNormalization(momentum=0.8))
    model.add(LeakyReLU(alpha=0.2))
    model.add(Dropout(0.25))
    model.add(Flatten())
    model.add(Dense(1, activation='sigmoid'))

    return model

DCGAN在MNIST数据集上的生成效果如下:

DCGAN生成效果

Conditional GAN

Conditional GAN(CGAN)通过在输入中加入额外的条件信息(如类别标签),实现了对生成过程的控制。这使得GAN可以生成指定类别的样本,大大增强了模型的实用性。

CGAN的主要改进是在生成器和判别器的输入中都加入条件信息:

生成器:将随机噪声z和条件c连接后输入
判别器:将图像x和条件c连接后输入

CGAN的Keras实现关键代码如下:

def build_generator(self):

    model = Sequential()

    model.add(Dense(256, input_dim=self.latent_dim+self.num_classes))
    model.add(LeakyReLU(alpha=0.2))
    model.add(BatchNormalization(momentum=0.8))
    model.add(Dense(512))
    model.add(LeakyReLU(alpha=0.2))
    model.add(BatchNormalization(momentum=0.8))
    model.add(Dense(1024))
    model.add(LeakyReLU(alpha=0.2))
    model.add(BatchNormalization(momentum=0.8))
    model.add(Dense(np.prod(self.img_shape), activation='tanh'))
    model.add(Reshape(self.img_shape))

    noise = Input(shape=(self.latent_dim,))
    label = Input(shape=(1,), dtype='int32')
    label_embedding = Flatten()(Embedding(self.num_classes, self.latent_dim)(label))

    model_input = concatenate([noise, label_embedding])
    img = model(model_input)

    return Model([noise, label], img)

def build_discriminator(self):

    model = Sequential()

    model.add(Dense(512, input_dim=np.prod(self.img_shape)+self.num_classes))
    model.add(LeakyReLU(alpha=0.2))
    model.add(Dense(512))
    model.add(LeakyReLU(alpha=0.2))
    model.add(Dropout(0.4))
    model.add(Dense(512))
    model.add(LeakyReLU(alpha=0.2))
    model.add(Dropout(0.4))
    model.add(Dense(1, activation='sigmoid'))

    img = Input(shape=self.img_shape)
    label = Input(shape=(1,), dtype='int32')

    label_embedding = Flatten()(Embedding(self.num_classes, np.prod(self.img_shape))(label))
    flat_img = Flatten()(img)

    model_input = concatenate([flat_img, label_embedding])

    validity = model(model_input)

    return Model([img, label], validity)

CGAN在MNIST数据集上可以生成指定数字的手写体图像:

CGAN生成效果

CycleGAN

CycleGAN是一种无需配对数据的图像到图像转换模型。它可以学习两个域之间的映射关系,实现风格迁移、季节变换等任务。CycleGAN的核心思想是引入循环一致性损失,确保转换的可逆性。

CycleGAN包含两个生成器G和F,以及两个判别器DA和DB。其训练目标包括:

对抗损失:生成的图像要能骗过判别器
循环一致性损失:G(F(x)) ≈ x, F(G(y)) ≈ y
身份映射损失:G(y) ≈ y, F(x) ≈ x

CycleGAN的核心实现代码如下:

def build_generator(self):
    """U-Net Generator"""

    def conv2d(layer_input, filters, f_size=4):
        """Layers used during downsampling"""
        d = Conv2D(filters, kernel_size=f_size, strides=2, padding='same')(layer_input)
        d = LeakyReLU(alpha=0.2)(d)
        d = InstanceNormalization()(d)
        return d

    def deconv2d(layer_input, skip_input, filters, f_size=4, dropout_rate=0):
        """Layers used during upsampling"""
        u = UpSampling2D(size=2)(layer_input)
        u = Conv2D(filters, kernel_size=f_size, strides=1, padding='same', activation='relu')(u)
        if dropout_rate:
            u = Dropout(dropout_rate)(u)
        u = InstanceNormalization()(u)
        u = Concatenate()([u, skip_input])
        return u

    # Image input
    d0 = Input(shape=self.img_shape)

    # Downsampling
    d1 = conv2d(d0, self.gf)
    d2 = conv2d(d1, self.gf*2)
    d3 = conv2d(d2, self.gf*4)
    d4 = conv2d(d3, self.gf*8)

    # Upsampling
    u1 = deconv2d(d4, d3, self.gf*4)
    u2 = deconv2d(u1, d2, self.gf*2)
    u3 = deconv2d(u2, d1, self.gf)

    u4 = UpSampling2D(size=2)(u3)
    output_img = Conv2D(self.channels, kernel_size=4, strides=1, padding='same', activation='tanh')(u4)

    return Model(d0, output_img)

def build_discriminator(self):

    def d_layer(layer_input, filters, f_size=4, normalization=True):
        """Discriminator layer"""
        d = Conv2D(filters, kernel_size=f_size, strides=2, padding='same')(layer_input)
        d = LeakyReLU(alpha=0.2)(d)
        if normalization:
            d = InstanceNormalization()(d)
        return d

    img = Input(shape=self.img_shape)

    d1 = d_layer(img, self.df, normalization=False)
    d2 = d_layer(d1, self.df*2)
    d3 = d_layer(d2, self.df*4)
    d4 = d_layer(d3, self.df*8)

    validity = Conv2D(1, kernel_size=4, strides=1, padding='same')(d4)

    return Model(img, validity)

CycleGAN可以实现多种有趣的图像转换效果,如下图所示的苹果到橙子的转换:

CycleGAN效果

使用方法

Keras-GAN项目的使用非常简单,以DCGAN为例:

克隆项目

git clone https://github.com/eriklindernoren/Keras-GAN
cd Keras-GAN/

安装依赖

pip install -r requirements.txt

训练模型

cd dcgan/
python3 dcgan.py

每个模型文件夹下都有独立的Python脚本,直接运行即可开始训练。训练过程中会定期保存生成的图像样本,可以直观地观察训练进展。

总结

Keras-GAN项目为我们提供了丰富的GAN参考实现,是学习和实践GAN的绝佳资源。通过阅读和运行这些代码,我们可以深入理解各种GAN的工作原理,为自己的GAN应用开发打下坚实基础。

尽管该项目目前已停止更新,但其中的大部分模型实现仍然具有很高的参考价值。研究者和

Keras-GAN:使用Keras实现各种生成对抗网络