Low-Light Image Enhancement via a Deep Hybrid Network [TIP]Underexposed Photo Enhancement using Deep Illumination Estimation[CVPR]
---------
Low-Light Image Enhancement via a Deep Hybrid Network [TIP]
作者提出一个混合的网络来同时学习内容（global content）和显著性结构（salient structure）。
为了学习内容的同时，增加边沿（edge）的情况，作者提出利用另一个RNN 网络来学习边沿信息.
比较核心的设计是RNN.
数据集（Dataset）:
1) 基于自然图像，使用Gamma变换生成变黑的图像，从而得到图象对[1]。
缺点Gamma变换是全局的，没办法考虑到图像的局部信息[1]。
b) 6000对，相机和手机拍照的图象对[2]。
缺点：但是没有严格对齐。
c) 自己从MIT-Adobe FiveK dataset里面挑选了336张有昼夜/光照变化的图像对--自己做数据增广。
2) 如何充分的评价你的工作（How to evaluate）. Visually and PSNR/SSIM. 并没有和任务结合起来，让人觉得并不充分。[TIP]如果不是后面一群大佬站台，真不知道这个论文是不是足够充分了。
---------------------
值得继续研究或者对比或者尝试的方法（Methods related to feature/VIO that worth trying）:
这个RNN增强边沿的方法值得尝试一下。
[1]LLNet: A deep autoencoder approach to natural low-light image enhancement.
[2]DSLR-quality photos on mobile devices with deep convolutional networks.
CVPR: Underexposed Photo Enhancement using Deep Illumination Estimation
摘要：
instead of the directly learning an image-to-image mapping, we design the network to first estimate an image-to-illumination mapping for modeling varing-lighting conditions and then take the illumination map to light up the underexposed photos.
与之前的图像对图像的映射不同，这里的网络只学习图像到光照的映射（ 从图像中估计光照的强度/模型），然后利用图像光照来改进曝光不足的图像。
----------P.S. 这个估计中间图的操作在水下图像复原里面（waterGAN就已经用过了。。）
视网膜模型：认为我们看到的图像/每一个像素是由像素本身的反射和光照两部分组成。
Image enhancement model ( Retinex-based model)
Reflectance image
and the illumination map S, pixel-wise multiplication to produce the observed image:
The goal is to estimate based on .
----
Overview:
take away：
1）Q： 关于如何让网络输出是期望的illumination Map S? 并没有直接可以得到的loss来训练网络进行学习
A: 可以在网络的输出后面继续进行操作，如图上所示，利用网络输出S和原始图像I，计算得到
，然后继续基于 的L2-loss就可以实现了。值得学习的是，在网络后面继续操作，然后学习loss。
2）smoothness prior: 优势：有利于减弱过拟合，提高网络泛化能力；增强图像对比度。
感觉这个smoothness prior是从传统方法中借鉴过来的（张国峰的TPAMI的平滑项涉及类似）。
公式分析: 图像梯度小的地方，weights高--loss增加，从而增加smoothness的要求。图像梯度大的地方，weights小--loss降低，从而降低smoothness的要求。
【为什么要用logarithmic image?】--目前不清楚,查一下相关平滑项的内容。
【图像梯度和光照的关系】对于光照，尤其不均匀光照时，对图像的梯度的影响比较大，因此要可以根据梯度的差异来修正光照的变化。
3） color loss：取ground-truth 和网络输出之间的RGB 3D vector之间的角度差，这个loss比L2 loss要好，L2 loss比较vague，这个loss对颜色方向有更强的约束，从而提高图像的一致性。
【loss 函数的可导性，是否有分析，以及会有何影响？】
4）制作数据集：雇佣了专业人员school of photography来修图，从而完成数据集的制作，这个也是很大的contribution--不知道是如何收费的。
如果觉得《python去除图像光照不均匀_低光照环境下图像增强相关》对你有帮助，请点赞、收藏，并留下你的观点哦！
