目标
识别微信登录新账号，需要拖动滑块验证时，目标块相对于图片的位置
前提相关信息:
- 滑块与目标位置的距离是随机的，且在一定范围内，设其最大最小值为[min, max]
- 滑块滑到距离目标左右10个单位的误差内也可以通过验证
- 每次的滑块验证码有三次重试的机会，如果三次验证不过，微信会自动换验证码
- 可以无限次数刷新验证码
- 应用机器学习应该能达到出色的识别率，但考虑到时间+学习成本，不采用机器学习的方式
相关图片信息
截图 - 通过android自带的截图工具截取验证的界面，在代码中为screenshot.jpg
三种方案
1.随机拖动
基本思路:
每次验证码的三次重试机会，分别采用min + 10, (min + max)/2, max - 10三个位置进行拖动。
若不通过，则刷新验证码，重复上述过程
优点：
- 单张验证码通过率下等
- 不用截图、下载图片与滑块图
- 不需要加入python-opencv层
- 因为可以无限重试，试的次数多了就能过
缺点:
- 判断的位置是根据min、max推断出来的大致范围
- min、max的值如果变化得很明显，那么程序也要响应修改min与max的值
2.根据颜色识别图片目标位置 (我打算采用这个方案)
基本思路:
根据目标位置的颜色的规律性(一般都是灰黑灰黑的)，制定一个颜色范围
从图片中用inRange将图片转换成黑白图，白色部分为原图中符合颜色范围的区域
用findContours找出所有轮廓，根据轮廓所涉及的元素点的最多的几项判断目标位置的大致范围
代码实现
# 读取截图
screenshot = cv2.imread('screenshot.jpg')
# 筛选出符合颜色区间的区域
inRange = cv2.inRange(screenshot, np.array([90, 90, 90]), np.array([115, 115, 115]))
# 从图中找出所有的轮廓
_, cnts, _ = cv2.findContours(inRange.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
# 对所有轮廓做排序，排序依据是每个轮廓包含的点的数量
cnts.sort(key=len, reverse=True)
# 取前两个轮廓(有些图片目标位置不一定是第一个轮廓)
for cnt in cnts[0: 2]:
xSum = 0
xCounter = 0
for position in cnt:
xCounter += 1
xSum += position[0][0]
# 算出所有点的X坐标平均值，并在此基础上做一个60像素的偏移，这个偏移可以根据自己手机进行调整
x = int(xSum / xCounter - 60)
# 在截图上画一条红线，表示识别的x坐标位置
cv2.line(screenshot, (x, 0), (x, 500), (0, 0, 255), 5)
cv2.imshow("screenshot", screenshot)
cv2.waitKey(0)
优点:
- 单张验证码通过率中等
- 不用下载图片与滑块图
缺点:
- 判断的位置仍然是大致范围，较第一种随机位置范围精确性有较大提升
- 需要加入python-opencv层
- 需要截图
- 根据滑块识别目标位置
基本思路:
滑块与目标位置的区别在于，目标位置加了一层灰黑色透明前景色，图片处理时先给滑块图片加上相同的灰黑色透明前景色
用处理过的滑块去匹配目标位置
代码实现:
# 读取滑块图片，并给其加上相同的灰黑色透明前景色，再进行灰化
block = cv2.imread('block.jpg')
blockCopy = block.copy()
w, h = block.shape[:-1]
cv2.rectangle(blockCopy, (0, 0), (w, h), (47, 47, 47), -1)
cv2.addWeighted(blockCopy, 0.7, block, 0.3, 0, block)
block = cv2.cvtColor(block, cv2.COLOR_RGB2GRAY)
# 读取验证码图片，并灰化
captcha = cv2.imread('captcha.jpg')
captchaGray = cv2.cvtColor(captcha, cv2.COLOR_RGB2GRAY)
# 寻找captcha中匹配block的位置
res = cv2.matchTemplate(captchaGray, block, cv2.TM_SQDIFF)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
# 在最符合的画一个矩形
cv2.rectangle(captcha, min_loc, (min_loc[0] + w, min_loc[1] + h), (0, 0, 255), -1)
cv2.imshow('block', block)
cv2.imshow("captcha", captcha)
cv2.waitKey(0);
优点:
- 单张验证码通过率高
- 如果判断成功，位置一般很精确
缺点:
- 需要加入python-opencv层
- 需要下载原图、滑块图(原图、滑块图的下载还没研究)
- 判断不成功的时候，判断的位置一般偏离目标位置较大
总结
三种方案中第二种拥有不错的验证率，且较第三种只需要对验证界面进行截图，开发较容易。
综上所述，第二种方案是我认为较好的方法。