Bringing-Old-Photos-Back-to-Life
Bringing-Old-Photos-Back-to-Life项目简介Bringing-Old-Photos-Back-to-Life项目资源下载与配置Bringing-Old-Photos-Back-to-Life的使用和相关问题的解决Bringing-Old-Photos-Back-to-Life项目简介
最近在公众号看到有关Bringing-Old-Photos-Back-to-Life的内容,觉得很有意思,可以将模糊的,褶皱的照片相应的还原,
重拾旧时光的回忆,所以自己尝试一下。
这个开源的项目在github上可以找到,这里给出项目地址Bringing-Old-Photos-Back-to-Life。这个项目是有关于模糊,褶皱照片的修复的算法,是基于微软最新的一篇CPVR的文章,原理简单来说就是用变分自动编码机(VAE)将图像变换到隐藏空间,并在隐空间进行图像恢复操作
。
Bringing-Old-Photos-Back-to-Life项目资源下载与配置
该项目包含了测试训练集和资源包,所以先下载该项目,项目地址
/microsoft/Bringing-Old-Photos-Back-to-Life
项目也依赖于Synchronized-BatchNorm-PyTorch,文章中也给出了我们配置教程,所以按照教程来配置即可。
第一步,克隆项目,即下载压缩包并解压
git clone /microsoft/Bringing-Old-Photos-Back-to-Life.git
第二步,配置环境,进入项目的目录下
cd Face_Enhancement/models/networksgit clone /vacancy/Synchronized-BatchNorm-PyTorchcp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .cd ../../../
cd Global/detection_modelsgit clone /vacancy/Synchronized-BatchNorm-PyTorchcp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .cd ../../
然后下载相应的组件
cd Face_Detection/wget /files/shape_predictor_68_face_landmarks.dat.bz2bzip2 -d shape_predictor_68_face_landmarks.dat.bz2cd ../
cd Face_Enhancement/wget https://facevc.blob./zhanbo/old_photo/pretrain/Face_Enhancement/checkpoints.zipunzip checkpoints.zipcd ../
cd Global/wget https://facevc.blob./zhanbo/old_photo/pretrain/Global/checkpoints.zipunzip checkpoints.zipcd ../
安装依赖项
pip install -r requirements.txt
更详细的教程可以查看Colab中的内容。
Bringing-Old-Photos-Back-to-Life的使用和相关问题的解决
对于没有裂痕的图片的修复可以是用这个代码,进入项目文件的目录下
python run.py --input_folder [test_image_folder_path] \--output_folder [output_path] \--GPU 0
其中[test_image_folder_path]是想要修复的图片的目录地址,[output_path]是结果存放的地址,同时这些地址路径要是绝对路径。
如果是有裂痕的图片,代码有所不同
python run.py --input_folder [test_image_folder_path] \--output_folder [output_path] \--GPU 0 \--with_scratch
当然文章中给出的代码我在实际运行的情况中还是会出现问题的,这里我对我遇到的问题和相应简单的解决办法进行介绍:
在对没有裂痕的图片进行修复的时候出现
这里我们可以将Face_Enhancement \ test_face.py中的第40行的代码img_name = img_path[b].split("/")[-1]
改为img_name = os.path.split(img_path[b])[-1]
问题可以解决。
该算法的运行实现对GPU的内存很挺高的要求,对于处理高像素的图片,我出现过Skip当前图片的提示,还有CUDA out of memory. Tried to allocate 78.00 MiB (GPU 0; 7.43 GiB total capacity; 6.42 GiB already allocated; 88.94 MiB free; 6.75 GiB reserved in total by PyTorch)
这样的报错,主要问题还是内存处理不够,GPU同时处理不了这些操作,为了简单方便,所以我就从输入上,将要处理的图片的像素都先缩放至我电脑可以处理的像素要求,这样可以使算法相应的工作。
对于处理没有裂痕的图片的操作,我们可以将Global \ test.py中的data_transforms函数中的
h = int(round(oh / 4)*4)w = int(round(ow / 4)*4)
直接修改为我们想要输入的图片缩放成能处理的像素大小,比如我这里就修改为
w = 450h = 450
将原始输入图片缩放为450 x 450的像素,即可以正常运行(虽然结果会有点不太好看)。
对于处理有裂痕的图片,我们可以将Global \ detection.py中ata_transforms函数中if full_size == "full_size"
中的
h = int(round(oh / 16) * 16)w = int(round(ow / 16) * 16)
改为
h = 256w = 256
这样缩放为256 x 256像素的图片。
处理完问题后,我们可以来测试一下,我们先对项目给出的图片进行测试。
对于没有裂痕的图片的处理(这里仅放出部分)
修复前
修复后
修复前
修复后
修复前
修复后
由于调整了像素,所以与原图有所出入,但是图片的清晰程度增加了,我们也可以试试自己的图片,我在网上找了几张图:
修复前
修复后
修复前
修复后
对于有裂痕的图片的处理
修复前
修复后
修复前
修复后
修复前
修复后
修复前
修复后
同样,我们可以将自己的图片的进行修复,比如我找到的一张:
修复前
修复后
总结:
怎么样,是不是觉得这个算法很有意思,那就找出那些照片来修复,重拾那些美好的旧时光,同时,有条件的伙伴可以提高电脑的配置,来修复更高像素的图片。
如果觉得《重拾旧时光——Bringing-Old-Photos-Back-to-Life》对你有帮助,请点赞、收藏,并留下你的观点哦!