前几天小编发布了手把手教你使鼡Python爬取西次代理数据（上篇）木有赶上车的小伙伴，可以戳进去看看今天小编带大家进行网页结构的分析以及网页数据的提取，具体步骤如下

/2 首页分析及提取/

    简单分析下页面，其中后面的 1 是页码的意思分析后发现每一页有100 多条数据，然后网站底部总共有 2700+页 的链接所以总共ip 代理加起来超过 27 万条数据，但是后面的数据大部分都是很多年前的数据了比如 2012 年，大概就前 5000 多条是最近一几个月会玩自己的手嘚所以决定爬取前面100 页。通 过网站 url 分析可以知道这

    接下来就是对页面内的元素进行分析，提取其中的代理信息

    如上图，我们目的是進行代理地域分布分析同时，在爬取过程中需要使用爬取的数据进行代 理更新所以需要以下几个字段的信息：

Ip 地址、端口、服务器位置、类型

 

 
 

 
 

 
 
 

 
 

 
 

 
 
 

 
 

 
 
 

 
 

     接下来就是从每个列中获取 ip、端口、位置、类型等信息了。进一步分析页面：
 
 

 
 

 
 
 

 
 

 
 

 
 
 

 
 

 
 
 

 
 

 
 

 
 
 

 
 

 
 

 
 
 

 
 

 
 

 
 
 

 
 

 
 

 
 
 

 
 

 
 

 
 
 

 
 

 
 
 

 
 

 
 
 

 
 

 
 

     本次任务主要爬取了代理网站上的代理数据主要莋了以下方面的工作：
 
 

1. 学习 requests 库的使用以及爬虫程序的编写；
2. 学习使用反爬虫技术手段，并在实际应用中应用这些技术如代理池技术；
3. 学習使用正则表达式，并通过正则表达式进行网页元素提取；
4. 学习使用 beautifulsoup 库并使用该库进行网页元素的提取。

 

     Python爬虫是一项综合技能在爬取網站的过程中能够学到很多知识，希望大家多多专研需要代码的小伙伴，可以在后台回复“01”二字即可获取。