转自:/p/43534801
文字识别也是图像领域一个常见问题。然而,对于自然场景图像,首先要定位图像中的文字位置,然后才能进行识别。
所以一般来说,从自然场景图片中进行文字识别,需要包括2个步骤:
文字检测:解决的问题是哪里有文字,文字的范围有多少文字识别:对定位好的文字区域进行识别,主要解决的问题是每个文字是什么,将图像中的文字区域进转化为字符信息。
图1 文字识别的步骤
文字检测类似于目标检测,即用 box 标识出图像中所有文字位置。对于文字检测不了解的读者,请参考本专栏文章:
场景文字检测—CTPN原理与实现
本文的重点是如何对已经定位好的文字区域图片进行识别。假设之前已经文字检测算法已经定位图中的“subway”区域(红框),接下来就是文字识别。
图2 文字检测定位文字图像区域
基于RNN文字识别算法主要有两个框架:
图3 基于RNN文字识别2种基本算法框架
CNN+RNN+CTC(CRNN+CTC)CNN+Seq2Seq+Attention
本文主要介绍第一种框架CRNN+CTC,对应TensorFlow 1.15实现代码如下。本文介绍的CRNN网络结构都基于此代码。另外该代码已经支持不定长英文识别。
bai-shang/crnn_ctc_ocr_tf
需要说明该代码非常简单,只用于原理介绍,不保证泛化性等工程问题,也请勿提问。
CRNN基本网络结构
图4 CRNN网络结构(此图按照本文给出的github实现代码画的)
整个CRNN网络可以分为三个部分:
假设输入图像大小为,注意提及图像都是形式。
Convlutional Layers
这里的卷积层就是一个普通的CNN网络,用于提取输入图像的Convolutional feature maps,即将大小为的图像转换为大小的卷积特征矩阵,网络细节请参考本文给出的实现代码。
Recurrent Layers
这里的循环网络层是一个深层双向LSTM网络,在卷积特征的基础上继续提取文字序列特征。对RNN不了解的读者,建议参考:
完全解析RNN, Seq2Seq, Attention注意力机制
所谓深层RNN网络,是指超过两层的RNN网络。对于单层双向RNN网络,结构如下:
图5 单层双向RNN网络
而对于深层双向RNN网络,主要有2种不同的实现:
tf.nn.bidirectional_dynamic_rnn
图6 深层双向RNN网络
tf.contrib.rnn.stack_bidirectional_dynamic_rnn
图7 stack形深层双向RNN网络
在CRNN中显然使用了第二种stack形深层双向结构。
由于CNN输出的Feature map是大小,所以对于RNN最大时间长度(即有25个时间输入,每个输入列向量有)。
Transcription Layers
将RNN输出做softmax后,为字符输出。
关于代码中输入图片大小的解释:
在本文给出的实现中,为了将特征输入到Recurrent Layers,做如下处理:
首先会将图像在固定长宽比的情况下缩放到大小(代表任意宽度)然后经过CNN后变为针对LSTM设置,即可将特征输入LSTM。
所以在处理输入图像的时候,建议在保持长宽比的情况下将高缩放到,这样能够尽量不破坏图像中的文本细节(当然也可以将输入图像缩放到固定宽度,但是这样由于破坏文本的形状,肯定会造成性能下降)。
考虑训练Recurrent Layers时的一个问题:
图8 感受野与RNN标签的关系
对于Recurrent Layers,如果使用常见的Softmax cross-entropy loss,则每一列输出都需要对应一个字符元素。那么训练时候每张样本图片都需要标记出每个字符在图片中的位置,再通过CNN感受野对齐到Feature map的每一列获取该列输出对应的Label才能进行训练,如图9。
在实际情况中,标记这种对齐样本非常困难(除了标记字符,还要标记每个字符的位置),工作量非常大。另外,由于每张样本的字符数量不同,字体样式不同,字体大小不同,导致每列输出并不一定能与每个字符一一对应。
当然这种问题同样存在于语音识别领域。例如有人说话快,有人说话慢,那么如何进行语音帧对齐,是一直以来困扰语音识别的巨大难题。
图9
所以CTC提出一种对不需要对齐的Loss计算方法,用于训练网络,被广泛应用于文本行识别和语音识别中。
Connectionist Temporal Classification(CTC)详解
在分析过程中尽量保持和原文符号一致。
Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networksftp.idsia.ch
整个CRNN的流程如图10。先通过CNN提取文本图片的Feature map,然后将每一个channel作为的时间序列输入到LSTM中。
图10 CRNN+CTC框架
为了说明问题,我们定义:
CNN Feature map
Feature map的每一列作为一个时间片输入到LSTM中。设Feature map大小为(图11中,)。下文中的时间序列都从开始,即。
定义为:
其中每一列为:
LSTM
LSTM的每一个时间片后接softmax,输出是一个后验概率矩阵,定义为:
其中,的每一列为:
其中代表需要识别的字符集合长度。由于是概率,所以服从概率假设:
对每一列进行操作,即可获得每一列输出字符的类别。
那么LSTM可以表示为:
其中代表LSTM的参数。LSTM在输入和输出间做了如下变换:
图11
空白blank符号
如果要进行的26个英文字符识别,考虑到有的位置没有字符,定义插入blank的字符集合:
其中blank表示当前列对应的图像位置没有字符(下文以符号表示blank)。
关于变换
定义变换如下(原文是大写的,知乎没这个符号):
其中是上述加入blank的长度为的字符集合,经过变换后得到原始,显然对于的最大长度有。
举例说明,当时:
对于字符间有blank符号的则不合并:
当获得LSTM输出后进行变换,即可获得输出结果。显然变换不是单对单映射,例如对于不同的都可获得英文单词state。同时成立。
那么CTC怎么做?
对于LSTM给定输入的情况下,输出为的概率为:
其中代表所有经过变换后是的路径。
其中,对于任意一条路径有:
注意这里的中的,下标表示路径的每一个时刻;而上面的下标表示不同的路径。两个下标含义不同注意区分。
*注意上式成立有条件,此项不做进一步讨论,有兴趣的读者请自行研究。
如对于的路径来说:
实际情况中一般手工设置,所以有非常多条路径,即非常大,无法逐条求和直接计算。所以需要一种快速计算方法。
CTC的训练目标
图14
CTC的训练过程,本质上是通过梯度调整LSTM的参数,使得对于输入样本为时使得取得最大。
例如下面图14的训练样本,目标都是使得时的输出变大。
图14
CTC借用了HMM的“向前—向后”(forward-backward)算法来计算
要计算,由于有blank的存在,定义路径为在路径每两个元素以及头尾插入blank。那么对于任意的都有(其中)。如:
显然,其中是路径的最大长度,如上述例子中。
定义所有经变换后结果是且在时刻结果为(记为)的路径集合为。
求导:
注意上式中第二项与无关,所以:
而上述就是恰好与概率相关的路径,即时刻都经过()。
举例说明,还是看上面的例子(这里的下标代表不同的路径):
图15
蓝色路径:
红色路径:
还有没有画出来。
而在时恰好都经过(此处下标代表路径的时刻的字符)。所有类似于经过变换后结果是且在的路径集合表示为。
观察。记蓝色为,红色路径为,可以表示:
那么可以表示为:
计算:
为了观察规律,单独计算。
不妨令:
那么可以表示为:
推广一下,所有经过变换为且的路径(即)可以写成如下形式:
进一步推广,所有经过变换为且的路径(即)也都可以写作:
所以,定义前向递推概率和:
对于一个长度为的路径,其中代表该路径前个字符,代表后个字符。
其中表示前个字符经过变换为的的前半段子路径。代表了时刻经过的路径概率中概率之和,即前向递推概率和。
由于当时路径只能从blank或开始,所以有如下性质:
如上面的例子中,,。对于所有路径,当时只能从blank和字符开始。
图16
图16是时经过压缩路径后能够变为的所有路径。观察图15会发现对于有如下递推关系:
也就是说,如果时刻是字符,那么时刻只可能是字符三选一,否则经过变换后无法压缩成。
那么更一般的:
同理,定义反向递推概率和:
其中表示后个字符经过变换为的的后半段子路径。代表了时刻经过的路径概率中概率之和,即反向递推概率和。
由于当时路径只能以blank或结束,所以有如下性质:
如上面的例子中,,,。对于所有路径,当时只能以(blank字符)或字符结束。
观察图15会发现对于有如下递推关系
与同理,对于有如下递推关系:
那么forward和backward相乘有:
或:
注意,可以通过图16的关系对应,如,。
对比:
可以得到与forward和backward递推公式之间的关系:
* 为什么有上式成立呢?
回到图15,为了方便分析,假设只有共4条在时刻经过字符且变换为的路径,即 :
那么此时(注意虽然表示路径用加法,但是由于和两件独立事情同时发生,所以路径的概率是乘法):
则有:
训练CTC
对于LSTM,有训练集合,其中是图片经过CNN计算获得的Feature map,是图片对应的OCR字符label(label里面没有blank字符)。
现在我们要做的事情就是:通过梯度调整LSTM的参数,使得对于输入样本为时有取得最大。所以如何计算梯度才是核心。
单独来看CTC输入(即LSTM输出)矩阵中的某一个值(注意与含义相同,都是在时的概率):
上式中的是通过递推计算的常数,任何时候都可以通过递推快速获得,那么即可快速计算梯度,之后梯度上升算法你懂的。
如果觉得《一文读懂CRNN+CTC文字识别》对你有帮助,请点赞、收藏,并留下你的观点哦!