活动地址：CSDN21天学习挑战赛
前言
一、前期工作
1.导入数据
import matplotlib.pyplot as plt# 支持中文plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号import os,PIL,random,pathlib# 设置随机种子尽可能使结果可以重现import numpy as npnp.random.seed(1)# 设置随机种子尽可能使结果可以重现import tensorflow as tftf.random.set_seed(1)
2.查看数据
data_dir = "D:/jupyter notebook/CSDN21天学习计划/captcha"data_dir = pathlib.Path(data_dir)all_image_paths = list(data_dir.glob('*'))all_image_paths = [str(path) for path in all_image_paths]# 打乱数据random.shuffle(all_image_paths)# 获取数据标签all_label_names = [path.split("\\")[4].split(".")[0] for path in all_image_paths]image_count = len(all_image_paths)print("图片总数为：",image_count)
图片总数为： 1070
3.数据可视化
plt.figure(figsize=(10,5))for i in range(20):plt.subplot(5,4,i+1)plt.xticks([])plt.yticks([])plt.grid(False)# 显示图片images = plt.imread(all_image_paths[i])plt.imshow(images)# 显示标签plt.xlabel(all_label_names[i])plt.show()
4.标签数字化
number = ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9']alphabet = ['a','b','c','d','e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','t','u','v','w','x','y','z']char_set = number + alphabetchar_set_len = len(char_set)label_name_len = len(all_label_names[0])# 将字符串数字化def text2vec(text):vector = np.zeros([label_name_len, char_set_len])for i, c in enumerate(text):idx = char_set.index(c)vector[i][idx] = 1.0return vectorall_labels = [text2vec(i) for i in all_label_names]
二、构建一个tf.data.Dataset
1.预处理函数
def preprocess_image(image):image = tf.image.decode_jpeg(image, channels=1)image = tf.image.resize(image, [50, 200])return image/255.0def load_and_preprocess_image(path):image = tf.io.read_file(path)return preprocess_image(image)
2.加载数据
构建tf.data.Dataset最简单的方法就是使用from_tensor_slices方法。AUTOTUNE = tf.data.experimental.AUTOTUNEpath_ds = tf.data.Dataset.from_tensor_slices(all_image_paths)image_ds = path_ds.map(load_and_preprocess_image, num_parallel_calls=AUTOTUNE)label_ds = tf.data.Dataset.from_tensor_slices(all_labels)image_label_ds = tf.data.Dataset.zip((image_ds, label_ds))image_label_ds
.<ZipDataset shapes: ((50, 200, 1), (5, 36)), types: (tf.float32, tf.float64)>
train_ds = image_label_ds.take(1000) # 前1000个batchval_ds = image_label_ds.skip(1000) # 跳过前1000，选取后面的
3.配置数据
先复习一下prefetch()函数。prefetch()功能详细介绍:CPU正在准备数据时，加速器处于空闲状态。相反，当加速器正在训练模型时，CPU处于空闲状态。因此，训练所用的时间是CPU预处理时间和加速器训练时间的总和。p refetch()将训练步骤的预处理和模型执行过程重叠到一起。当加速器正在执行第N个训练步时，CPU正在准备第N+1步的数据。这样做不仅可以最大限度地缩短训练的单步用时（而不是总用时)，而且可以缩短提取和转换数据所需的时间。如果不使用prefetch() ,CPU和GPU/TPU在大部分时间都处于空闲状态:使用prefetch( )可显著减少空闲时间:BATCH_SIZE = 16train_ds = train_ds.batch(BATCH_SIZE)train_ds = train_ds.prefetch(buffer_size=AUTOTUNE)val_ds = val_ds.batch(BATCH_SIZE)val_ds = val_ds.prefetch(buffer_size=AUTOTUNE)val_ds
<PrefetchDataset shapes: ((None, 50, 200, 1), (None, 5, 36)), types: (tf.float32, tf.float64)>
三、搭建网络模型
目前这里主要是带大家跑通代码、整理一下思路，大家可以自行优化网络结构、调整模型参数。后续我也会针对性的出一些调优的案例的。from tensorflow.keras import datasets, layers, modelsmodel = models.Sequential([layers.Conv2D(32, (3, 3), activation='relu', input_shape=(50, 200, 1)),#卷积层1，卷积核3*3layers.MaxPooling2D((2, 2)), #池化层1，2*2采样layers.Conv2D(64, (3, 3), activation='relu'), #卷积层2，卷积核3*3layers.MaxPooling2D((2, 2)), #池化层2，2*2采样layers.Flatten(),#Flatten层，连接卷积层与全连接层layers.Dense(1000, activation='relu'), #全连接层，特征进一步提取layers.Dense(label_name_len * char_set_len),layers.Reshape([label_name_len, char_set_len]),layers.Softmax() #输出层，输出预期结果])# 打印网络结构model.summary()
四、编译
pile(optimizer="adam",loss='categorical_crossentropy',metrics=['accuracy'])
五、训练
epochs = 20history = model.fit(train_ds,validation_data=val_ds,epochs=epochs)
六、模型评估
acc = history.history['accuracy']val_acc = history.history['val_accuracy']loss = history.history['loss']val_loss = history.history['val_loss']epochs_range = range(epochs)plt.figure(figsize=(12, 4))plt.subplot(1, 2, 1)plt.plot(epochs_range, acc, label='Training Accuracy')plt.plot(epochs_range, val_acc, label='Validation Accuracy')plt.legend(loc='lower right')plt.title('Training and Validation Accuracy')plt.subplot(1, 2, 2)plt.plot(epochs_range, loss, label='Training Loss')plt.plot(epochs_range, val_loss, label='Validation Loss')plt.legend(loc='upper right')plt.title('Training and Validation Loss')plt.show()
七、保存和加载模型
# 保存模型model.save('model/12_model.h5')# 加载模型new_model = tf.keras.models.load_model('model/12_model.h5')
八、预测
def vec2text(vec):"""还原标签（向量->字符串）"""text = []for i, c in enumerate(vec):text.append(char_set[c])return "".join(text)plt.figure(figsize=(10, 8)) # 图形的宽为10高为8for images, labels in val_ds.take(1):for i in range(6):ax = plt.subplot(5, 2, i + 1) # 显示图片plt.imshow(images[i])# 需要给图片增加一个维度img_array = tf.expand_dims(images[i], 0) # 使用模型预测验证码predictions = model.predict(img_array)plt.title(vec2text(np.argmax(predictions, axis=2)[0]))plt.axis("off")
可以看到验证码中大部分字符预测都是对的，但是少部分字符还是存在问题，大家可以试试优化一下网络结构，调整网络参数等。本案例适合练习优化技巧，借着这个案例了解一下不同的调整对结果有什么不同。
参考资料：
>- 本文为[🔗365天深度学习训练营](https://mp./s/k-vYaC8l7uxX51WoypLkTw) 中的学习记录博客
>- 参考文章地址： [🔗深度学习100例-卷积神经网络（CNN）识别验证码 | 第12天](https://mtyjkh./article/details/118211253)
如果觉得《卷积神经网络（CNN）识别验证码》对你有帮助，请点赞、收藏，并留下你的观点哦！
