详解Python OpenCV数字识别案例

落花有义 發表於 2021-5-21 11:01:27

<div id="navCategory"><h5 class="catalogue">目录</h5><ul class="first_class_ul"><li>前言</li><li>一、案例介绍</li><li>二、步骤</li><ul class="second_class_ul"><li>1、模板读入，以及一些包的导入，函数定义等</li><li>2、模板预处理，将模板数字分开，并排序</li><li>3、输入图像预处理，将图像中的数字部分提取出来</li><li>4、模板匹配</li></ul><li>总结</li><ul class="second_class_ul"></ul></ul></div><p class="maodian"></p><h2>前言</h2>
<p>实践是检验真理的唯一标准。</p>
<p>因为觉得一板一眼地学习OpenCV太过枯燥，于是在网上找了一个以项目为导向的教程学习。话不多说，动手做起来。</p>
<p class="maodian"></p><h2>一、案例介绍</h2>
<p>提供信用卡上的数字模板：</p>
<p style="text-align: center;"><img src="https://img.jbzj.com/file_images/article/202105/2021521104722327.jpg?2021421104731" alt="" /></p>
<p>要求：识别出信用卡上的数字，并将其直接打印在原图片上。虽然看起来很蠢，但既然可以将数字打印在图片上，说明已经成功识别数字，因此也可以将其转换为数字文本保存。车牌号识别等项目的思路与此案例类似。</p>
<p>示例：</p>
<p style="text-align: center;"><img src="https://img.jbzj.com/file_images/article/202105/2021521104826467.jpg?2021421104836" alt="" /></p>
<p>原图</p>
<p style="text-align: center;"><img src="https://img.jbzj.com/file_images/article/202105/2021521104920486.jpg?2021421104930" alt="" /></p>
<p>处理后的图</p>
<p class="maodian"></p><h2>二、步骤</h2>
<p>大致分为如下几个步骤：</p>
<p>1.模板读入</p>
<p>2.模板预处理，将模板数字分开，并排序</p>
<p>3.输入图像预处理，将图像中的数字部分提取出来</p>
<p>4.将数字与模板数字进行匹配，匹配率最高的即为对应数字。</p>
<p class="maodian"></p><h3>1、模板读入，以及一些包的导入，函数定义等</h3>
<div class="jb51code">
<pre class="brush:py;">
import cv2 as cv
import numpy as np
import myutils
def cv_show(name, img):    # 自定义的展示函数
cv.imshow(name, img)
cv.waitKey(0)
# 读入模板图
n = 'text'
img = cv.imread("images/ocr_a_reference.png")
# cv_show(n, template)    # 自定义的展示函数，方便显示图片</pre>
</div>
<p class="maodian"></p><h3>2、模板预处理，将模板数字分开，并排序</h3>
<p style="text-align: center;"><img src="https://img.jbzj.com/file_images/article/202105/2021521105106524.jpg?2021421105115" alt="" /></p>
<p>模板的预处理顺序：灰度图，二值化，再进行轮廓检测。需要注意的是openCV检测轮廓时是检测白色边框，因此要将模板图的数字二值化变为白色。</p>
<p style="text-align: center;"><img src="https://img.jbzj.com/file_images/article/202105/2021521105201910.jpg?2021421105210" alt="" /></p>
<div class="jb51code">
<pre class="brush:py;">
# 模板转换为灰度图
ref = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
# cv_show(n, ref)

# 转换为二值图,把数字部分变为白色
ref = cv.threshold(ref, 10, 255, cv.THRESH_BINARY_INV)# 骚写法，函数多个返回值为元组，这里取第二个返回值
cv_show(n, ref)

# 对模板进行轮廓检测，得到轮廓信息
refCnts, hierarchy = cv.findContours(ref.copy(), cv.RETR_EXTERNAL, cv.CHAIN_APPROX_NONE)
cv.drawContours(img, refCnts, -1, (0, 0, 255), 2)# 第一个参数为目标图像
# cv_show(n, img)</pre>
</div>
<p style="text-align: center;"><img src="https://img.jbzj.com/file_images/article/202105/2021521105306962.jpg?2021421105315" alt="" /></p>
<p>红色部分即为检测出的轮廓。</p>
<p>接下来进行轮廓排序，因为检测出的轮廓是无序的，因此要按照轮廓的左上角点的x坐标来排序。轮廓排序后按顺序放入字典，则字典中的键值对是正确匹配的，如‘0'对应轮廓0 ,‘1'对应轮廓1。</p>
<div class="jb51code">
<pre class="brush:py;">
# 轮廓排序
refCnts = myutils.sort_contours(refCnts)
digits = {}

# 单个轮廓提取到字典中
for (i, c) in enumerate(refCnts):
(x, y, w, h) = cv.boundingRect(c)
roi = ref# 在模板中复制出轮廓
roi = cv.resize(roi, (57, 88))# 改成相同大小的轮廓
digits = roi# 此时字典键对应的轮廓即为对应数字。如键‘1'对应轮廓‘1'</pre>
</div>
<p>至此，模板图处理完毕。</p>
<p class="maodian"></p><h3>3、输入图像预处理，将图像中的数字部分提取出来</h3>
<p style="text-align: center;"><img src="https://img.jbzj.com/file_images/article/202105/2021521105413115.jpg?2021421105421" alt="" /></p>
<p>在此步骤中需要将信用卡上的每个数字提取出来，并与上一步得到的模板一一匹配。首先初始化卷积核，方便之后tophat操作以及闭运算操作使用。</p>
<div class="jb51code">
<pre class="brush:py;">
# 初始化卷积核
rectKernel = cv.getStructuringElement(cv.MORPH_RECT, (9, 3))
sqKernel = cv.getStructuringElement(cv.MORPH_RECT, (5, 5))</pre>
</div>
<p>接下来读入图片，调整图片大小，转换为灰度图。</p>
<div class="jb51code">
<pre class="brush:py;">
# 待分析图片读入,预处理
card_image = cv.imread("images/credit_card_01.png")
# cv_show('a', card_image)
card_image = myutils.resize(card_image, width=300) # 更改图片大小
gray = cv.cvtColor(card_image, cv.COLOR_BGR2GRAY)
# cv_show('gray', gray)</pre>
</div>
<p style="text-align: center;"><img src="https://img.jbzj.com/file_images/article/202105/2021521105521478.jpg?2021421105528" alt="" /></p>
<p>然后进行tophat操作，tophat可以突出图片中明亮的区域，过滤掉较暗的部分：</p>
<div class="jb51code">
<pre class="brush:py;">
tophat = cv.morphologyEx(gray, cv.MORPH_TOPHAT, rectKernel)
# cv_show('tophat', tophat)</pre>
</div>
<p style="text-align: center;"><img src="https://img.jbzj.com/file_images/article/202105/2021521105610427.jpg?2021421105621" alt="" /></p>
<p>再通过sobel算子检测边缘，进行一次闭操作，二值化，再进行一次闭操作，填补空洞。</p>
<div class="jb51code">
<pre class="brush:py;">
# x方向的Sobel算子
gradX = cv.Sobel(tophat, cv.CV_32F, 1, 0, ksize=3)

gradX = np.absolute(gradX)# absolute: 计算绝对值
min_Val, max_val = np.min(gradX), np.max(gradX)
gradX = (255 * (gradX - min_Val) / (max_val - min_Val))
gradX = gradX.astype("uint8")

# 通过闭操作（先膨胀，再腐蚀）将数字连在一起.将本是4个数字的4个框膨胀成1个框,就腐蚀不掉了
gradX = cv.morphologyEx(gradX, cv.MORPH_CLOSE, rectKernel)
# cv_show('close1', gradX)

# 二值化
thresh = cv.threshold(gradX, 0, 255, cv.THRESH_BINARY | cv.THRESH_OTSU)

# 闭操作,填补空洞
thresh = cv.morphologyEx(thresh, cv.MORPH_CLOSE, sqKernel)
# cv_show('close2', thresh)</pre>
</div>
<p style="text-align: center;"><img src="https://img.jbzj.com/file_images/article/202105/2021521105702368.jpg?2021421105711" alt="" /></p>
<p>之后就可以查找轮廓了。</p>
<div class="jb51code">
<pre class="brush:py;">
threshCnts = cv.findContours(thresh.copy(), cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)
card_copy = card_image.copy()
cv.drawContours(card_copy, threshCnts, -1, (0, 0, 255), 2)
cv_show('Input_Contours', card_copy)</pre>
</div>
<p style="text-align: center;"><img src="https://img.jbzj.com/file_images/article/202105/2021521105800721.jpg?202142110588" alt="" /></p>
<p class="maodian"></p><h3>4、模板匹配</h3>
<p>将模板数字和待识别的图片都处理好后，就可以进行匹配了。</p>
<div class="jb51code">
<pre class="brush:py;">
locs = []# 存符合条件的轮廓
for i, c in enumerate(threshCnts):
# 计算矩形
x, y, w, h = cv.boundingRect(c)

ar = w / float(h)
# 选择合适的区域，根据实际任务来，这里的基本都是四个数字一组
if 2.5 < ar < 4.0:
   if (40 < w < 55) and (10 < h < 20):
         # 符合的留下来
         locs.append((x, y, w, h))

# 将符合的轮廓从左到右排序
locs = sorted(locs, key=lambda x: x)</pre>
</div>
<p>接下来，遍历每一个大轮廓，每个大轮廓中有四个数字，对应四个小轮廓。将小轮廓与模板匹配。</p>
<div class="jb51code">
<pre class="brush:py;">
output = []# 存正确的数字
for (i, (gx, gy, gw, gh)) in enumerate(locs):# 遍历每一组大轮廓(包含4个数字)
groupOutput = []

# 根据坐标提取每一个组(4个值)
group = gray# 往外扩一点
# cv_show('group_' + str(i), group)
# 预处理
group = cv.threshold(group, 0, 255, cv.THRESH_BINARY | cv.THRESH_OTSU)# 二值化的group
# cv_show('group_'+str(i),group)
# 计算每一组的轮廓这样就分成4个小轮廓了
digitCnts = cv.findContours(group.copy(), cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)
# 排序
digitCnts = myutils.sort_contours(digitCnts, method="left-to-right")

# 计算并匹配每一组中的每一个数值
for c in digitCnts:# c表示每个小轮廓的终点坐标
   z = 0
   # 找到当前数值的轮廓,resize成合适的的大小
   (x, y, w, h) = cv.boundingRect(c)# 外接矩形
   roi = group# 在原图中取出小轮廓覆盖区域,即数字
   roi = cv.resize(roi, (57, 88))
   # cv_show("roi_"+str(z),roi)

   # 计算匹配得分: 0得分多少,1得分多少...
   scores = []# 单次循环中,scores存的是一个数值匹配 10个模板数值的最大得分

   # 在模板中计算每一个得分
   # digits的digit正好是数值0,1,...,9;digitROI是每个数值的特征表示
   for (digit, digitROI) in digits.items():
         # 进行模板匹配, res是结果矩阵
         res = cv.matchTemplate(roi, digitROI, cv.TM_CCOEFF)# 此时roi是X digitROI是0 依次是1,2.. 匹配10次,看模板最高得分多少
         Max_score = cv.minMaxLoc(res)# 返回4个,取第二个最大值Maxscore
         scores.append(Max_score)# 10个最大值
   # print("scores：",scores)
   # 得到最合适的数字
   groupOutput.append(str(np.argmax(scores)))# 返回的是输入列表中最大值的位置
   z = z + 1
# 画出来
cv.rectangle(card_image, (gx - 5, gy - 5), (gx + gw + 5, gy + gh + 5), (0, 0, 255), 1)# 左上角,右下角
# putText参数：图片,添加的文字,左上角坐标,字体,字体大小,颜色,字体粗细
cv.putText(card_image, "".join(groupOutput), (gx, gy - 15), cv.FONT_HERSHEY_SIMPLEX, 0.65, (0, 0, 255), 2)</pre>
</div>
<p>最后将其打印出来，任务就完成了。</p>
<div class="jb51code">
<pre class="brush:py;">
cv.imshow("Output_image_"+str(i), card_image)
cv.waitKey(0)</pre>
</div>
<p style="text-align: center;"><img src="https://img.jbzj.com/file_images/article/202105/2021521105930481.jpg?2021421105937" alt="" /></p>
<p class="maodian"></p><h2>总结</h2>
<p>信用卡识别的案例用到了图像处理的一些基本操作，对刚上手CV的人来说还是比较友好的。</p>
<p>以上就是详解Python OpenCV数字识别案例的详细内容，更多关于Python OpenCV数字识别案例的资料请关注琼殿技术社区其它相关文章！</p>

                        <div class="art_xg">
                           <b>您可能感兴趣的文章:</b><ul><li>Python-OpenCV实战：利用 KNN 算法识别手写数字</li><li>OpenCV简单标准数字识别的完整实例</li><li>如何基于opencv实现简单的数字识别</li><li>python基于OpenCV模板匹配识别图片中的数字</li><li>Python+Opencv实现数字识别的示例代码</li><li>python opencv实现信用卡的数字识别</li><li>opencv+python识别七段数码显示器的数字(数字识别)</li></ul>
                        </div>

                     </div>

頁: [1]

琼殿技术论坛's Archiver

详解Python OpenCV数字识别案例