这是因为魔高一尺，道高一丈。现在很多网站为了阻止 python 爬虫访问自己的网站，对网站造成额外的负载，都给自己网站增加了各种保护机制，比如 session 校验，用户身份双层检测等 使得 Python 脚本编写者的工作量大大增加，给爬虫的运行造成了困难。
爬虫一般情况下就是一门下载的技术而已，只是突破了一些网络和网页的限制，然后从中下去自己所需要的文字和图片目前来说的话，其他语言也可以做到爬虫的功能，但是相对来说的话，Python语言是比较简单的，所以很多人都利用Python来写爬虫。
网络爬虫本质就是按一定规则自动抓取互联网数据，大部分编程语言都有针对爬虫的模块或者库，这里以Python爬虫为例，简单介绍一下学习过程，感兴趣的朋友可以尝试一下：
这个毋庸置疑，学习Python爬虫，最基本的当然是要掌握Python语法，包括常见的变量、列表、元组、字典、函数、类、正则表达式等，至于教程的话，网上资料非常多，慕课网、菜鸟教程、廖雪峰等都不错，当然，你也可以找一本专业书籍，一边学习一边练习，以掌握基础为准：
基础掌握差不多后，就是Python爬虫入门，初学的话，可以从简单易学的爬虫库开始，像urllib，requests，bs4，lxml等，官方都自带有非常详细的入门教程，非常适合初学者学习，对于大部分网页数据来说，这些库都可以轻松爬取，操作简单，基本思想先获取数据，然后再解析就行：
这个就属于提升阶段了，基本爬虫入门后，为了避免重复造轮子，提高开发效率，这时就可以学习一些常用的爬虫框架，以Python为例，比较流行、受欢迎的就是scrapy，一个免费、开源、跨平台的爬虫框架，可定制化程度非常高，只需添加少量代码就可开启一个爬虫程序，对于学习来说，非常不错，推荐使用：