一、爬取的基本流程

绝大多数爬虫全是按“发送请求——获取网页——分析页面——提取并存储内容”的步骤来实现的，这就是模仿用浏览器抓取页面数据的过程。换句话说，我们向服务器发送请求后，会得到返回的页面，根据解析页面之后，能够提取我们想要的那些数据，并储存到指定的数据库里。

对于这个能够学习掌握HTTP协议和网页基础知识，如POSTGET、HTML、CSS、JS，熟悉认识就行，没必要深入的学。

二、认识Python包

Python中爬虫涉及的包好多：urllib、requests、bs4、scrapy、pyspider等，你可以从requests+Xpath开始，requests负责连接网站，返回网页，Xpath用于解析网页，有利于提取数据。

当你用过BeautifulSoup，会知道Xpath要方便很多，一层一层检查元素代码的工作，统统省略了。了解以后，我们能够知道爬虫的基本套路是大同小异的，一般的静态网页绝对不是事儿。

三、数据的储存

爬取的信息能够用文档的方式存储到本地，也能存储到数据库里。初期数据量小的时候，直接用Python的语法或pandas的方法将数据存为text、csv的文件。不过你应该会看到爬取的数据不是干净的，或许有缺失、异常等，还要对数据进行清洗，可以学习pandas包，了解一下知识点就行：

数据分组：数据划分、分别执行函数、数据重组

缺失值处理：对缺失数据行进行删除或填充

空格和异常值处理：清楚不必要的空格和极端、异常数据

重复值处理：重复值的判断与删除

四、进阶分布式

了解了上面的技术，一般量级的数据和代码应该是没难度的了，可是碰到比较复杂的情况，可能依然会心有余而力不足，这种时候，强悍的scrapy框架就十分管用了。

scrapy是一个功能十分强悍的爬虫框架，它不但能快捷地构建request，还有强大的selector可以便捷地解析response，殊不知它最令人开心的还是它超高的性能，让你能将爬虫工程化、模块化。

五、应对反爬虫机制

当然，爬虫过程中也会经历一些绝望啊，比如被网页封IP、多种多样的验证码、userAgent访问限制、各种动态载入等等。

碰上这种反爬虫的手段，当然还需要一些高级的要领来解决，常用的比如访问频率调节、使用代理IP池、抓包、验证码的OCR处理等等。

比如我们经常发现有的网站翻页后url并不变化，这通常就是异步加载。我们用开发者工具取分析网页加载信息，通常能够得到意外的收获。

今天和大家分享了入门级菜鸟学习Python爬虫要熟悉了解的一些注意事项，其实Python爬虫并不像想象中的难，不需要深入的学，通过具体的例子来自学一些碎片化有效的知识也是可以的。

六、代理IP在爬虫中的重要性

爬虫在爬取数据会遇到反爬虫，就是IP就会限制，爬虫就无法爬取到信息了，这时候该怎么办呢？代理IP就诞生了，代理IP解决IP被限制的困境，用户使用黑洞http可以随意换IP线路，这就是代理IP在爬虫工作中的重要性。