跳至主要內容
03-1 那篇千猫图爬虫竟被反爬了,今日复盘解决

1. ⛳️ 实战场景

前段时间,悦创发过一篇博客《Python 千猫图,简单技术满足你的收集控》,结果发出来没多久,大家的热情就把人家的网站给弄的苦不堪言,然后加上了参数加密,也就是反爬了。

作为一个对自己博客可用性非常上新的作者,我必须让爬虫再次运行起来,所以本篇博客就为你带来这个站点的反反爬途径。

问题

很多朋友反馈的是第一步就无法获取列表数据了,我们先看一下这个地方。

原代码简化之后,如下所示:


AI悦创原创...大约 4 分钟Python 网络爬虫专栏Crawler
03-Python 千猫图,简单技术满足你的收集控

1. 目标

  1. 爬取目标

    1. 猫咪图片,http://p.ik123.com/zt/maomi/68_1.html
  2. 使用框架

    1. requests 库 + re 模块
  3. 重点学习内容

    1. requests 库使用;
    2. re 模块与正则表达式;
    3. 动态获取页码。
  4. 页面变化

    1. 随机点击页码,得到如下所示页码规律。
    2. http://p.ik123.com/zt/maomi/68_1.html
    3. http://p.ik123.com/zt/maomi/68_2.html
    4. http://p.ik123.com/zt/maomi/68_3.html
    5. http://p.ik123.com/zt/maomi/68_{页码}.html
  5. 详情页所在源码位置


AI悦创原创...大约 5 分钟Python 网络爬虫专栏Crawler
02-通过Python爬虫,发现60%女装大佬游走在cosplay领域

0. coser 美图,用 Python 给她续上,再爬 2000 张

你好,我悦创。

上一篇文章中有朋友说,为什么不用 BS4(一款爬虫解析框架)?答:会使用的,还没到时间。

爬虫 800 例系列教程,每篇博客都是一个实操案例,整个学习过程是循序渐进的,在初期阶段,我们将使用 requests 库与 re 模块进行爬虫编写。

而且,为了让课程更加有趣,我们将在爬美图的路上停留一段时间。

所以看到本文的朋友,可以点赞、收藏、关注啦。


AI悦创原创...大约 8 分钟Python 网络爬虫专栏Crawler
01-10行代码集2000张美女图

你好,我悦创。

一切的起点,10 行代码集美女

1. 前奏篇

正式编写爬虫学习前,以下内容先搞定:


AI悦创原创...大约 9 分钟Python 网络爬虫专栏Crawler
10-多个站点同时抓取!怎么做到的?

你好,我是悦创。

公众号:AI悦创,之后其余篇只会在微信公众号和博客发布!

公众号原文:https://mp.weixin.qq.com/s/UQwRJ28FCbVJ0VYpYjcvhw

好久没来更新公众号了,也感谢各位的陪伴。本篇也将开启我自己啃代理池的心得,将逐步放送,因为代理池搭建较为复杂,这里我就尽可能把代理池分成几篇来讲,同时也保证,在我其他篇放出来之前,每一篇都是你们的新知识。


AI悦创原创...大约 18 分钟Python 网络爬虫专栏Crawler
21-Sqlite 存储

1. 数据库和 sqlite 介绍

1.1 什么是数据库

数据库是“按照数据结构来组织、存储和管理数据的仓库”,是一个长期存储在计算机内的、有组织的、有共享的、统一管理的数据集合。

数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合,可视为电子化的文件柜。

1.2 有哪些数据库

1.2.1 数据库类型

大型数据库:甲骨文Oracle


AI悦创原创...大约 6 分钟Python 网络爬虫专栏Crawler
22-Reqeusts + PyQuery + PyMongo 基本案例实战

你好,我是悦创。

待更新~

公众号:AI悦创【二维码】

AI悦创·编程一对一

AI悦创·推出辅导班啦,包括「Python 语言辅导班、C++ 辅导班、java 辅导班、算法/数据结构辅导班、少儿编程、pygame 游戏开发、Linux、Web全栈」,全部都是一对一教学:一对一辅导 + 一对一答疑 + 布置作业 + 项目实践等。当然,还有线下线上摄影课程、Photoshop、Premiere 一对一教学、QQ、微信在线,随时响应!微信:Jiabcdefh

C++ 信息奥赛题解,长期更新!长期招收一对一中小学信息奥赛集训,莆田、厦门地区有机会线下上门,其他地区线上。微信:Jiabcdefh

方法一:QQ

方法二:微信:Jiabcdefh


AI悦创原创...小于 1 分钟Python 网络爬虫专栏Crawler
2
3
4
5
6