当前位置: 首页 » 综合知识 » it知识 » 正文

Python爬虫如何通过ip代理抓取网页

发布时间:2023-07-22 以下文章来源于网友投稿,内容仅供参考!

步骤:

1、urllib2库中的ProxyHandler类,通过此类可以使用ip代理访问网页

proxy_support=urllib2.ProxyHandler({}),其中参数是一个字典{‘类型':'代理ip:端口号'}

2、定制、创建一个opener

opener=urllib2.build_opener(proxy_support)

3、(1)安装opener

          urlib2.install_opener(opener)

   (2)调用默认的opener

         opener.open(url)

针对没有反爬虫机制的网站,只要直接像上面引入ProxyHandler类进行处理,下面以访问csdn主页为例:

import urllib 

url="www.csdn.net/" 

for i in range(0,10000): 

    html=urllib.urlopen(url) 

    print html.info() 

    print i 

当使用上述代码时,当循环到20时,就会出现下面的错误

Traceback (most recent call last):

  File "C:/Users/lenovo/PycharmProjects/untitled1/jt2/__init__.py", line 19, in 

    html=urllib.urlopen(url)

  File "C:\Python27\lib\urllib.py", line 87, in urlopen

    return opener.open(url)

  File "C:\Python27\lib\urllib.py", line 213, in open

    return getattr(self, name)(url)

  File "C:\Python27\lib\urllib.py", line 350, in open_http

    h.endheaders(data)

  File "C:\Python27\lib\httplib.py", line 997, in endheaders

    self._send_output(message_body)

  File "C:\Python27\lib\httplib.py", line 850, in _send_output

    self.send(msg)

  File "C:\Python27\lib\httplib.py", line 812, in send

    self.connect()

  File "C:\Python27\lib\httplib.py", line 793, in connect

    self.timeout, self.source_address)

  File "C:\Python27\lib\socket.py", line 571, in create_connection

    raise err

IOError: [Errno socket error] [Errno 10060]

这是由于用的电脑的单一ip进行反复访问才被检测出来的。

下面是使用了ip代理的代码:

import urllib2 

import random 

def getHtml(url,proxies): 

    random_proxy = random.choice(proxies) 

    proxy_support = urllib2.ProxyHandler({"http":random_proxy}) 

    opener = urllib2.build_opener(proxy_support) 

    urllib2.install_opener(opener) 

    html=urllib2.urlopen(url) 

    return html 

url="www.csdn.net/" 

proxies=["101.53.101.172:9999","171.117.93.229:8118","119.251.60.37:21387","58.246.194.70:8080" 

        "115.173.218.224:9797","110.77.0.70:80"] 

for i in range(0,10000): 

    try: 

        html=getHtml(url,proxies) 

        print html.info()     #打印网页的头部信息,只是为了展示访问到了网页,可以自己修改成想显示的内容 

        print i 

    except: 

        print "出现故障" 

这段代码在测试1096次时被检测到了,要知道我的列表中仅有6个ip,倘若增加ip的个数,那么被发现的几率会不会更低。对于上面例子中的ip代理,或许过段时间就不可以使用了,这就要我们自己去搜新的IP代理来更换。还有程序中的异常处理是为了使程序可以处理ip代码访问时出现问题的情况,因为有些ip代理在访问的时候会出现故障的,这样做了可以使程序更加健壮。

#网上的ip不一定都能使用的,要多试试,或是选择黑洞http代理ip,更稳定安全 

myproxies=["220.189.249.80:80","124.248.32.43:80"] 

html = get_html(url,user_agents,myproxies) 

print html.read() 

  • • Linux Ecdsa密钥长度选择有何依据

    在Linux

  • • Linux Khook在内核监控中的应用如何

    Linux

  • • Linux Gsoap是否支持异步通信

    GSOAP是

  • • Linux Coremail如何提升用户体验

    提升Linu

  • • Linux Ecdsa算法有哪些局限性

    ECDSA

  • 哎呀音乐钢琴键盘学习《 钢琴主人训练营》 西瓜学琴
    郭蝈 陪练钢琴 30节课时 考级刚需 让孩子每一次练琴都是高质量的
    30天轻松学会五线谱 流行钢琴自学初级教程 牙牙学琴
    流行爵士钢琴实战技巧VIP课 - 继伟 哎呀音乐
    【海上钢琴师】原版 MT1990钢琴谱
    百首经典流行钢琴实战曲集 - 继伟
    雷费尔德电钢琴重锤88键专业考级儿童初学者数码电子钢琴家用
    小练咖 真人钢琴陪练 1v1服务 2999随时退 1课时50分钟 考级刚需
    雅马哈电钢琴88键重锤CLP735智能数码电子钢琴家用专业初学者考级
    【原装进口】Yamaha/雅马哈钢琴 b121 SC2原声静音钢琴
  • 珠海专业调钢琴
  • 天津宝坻区调钢琴
  • 天津静海区钢琴调音
  • 成都简阳市钢琴调律
  • 大连瓦房店市钢琴调音
  • 眉山调钢琴联系方式
  • 惠州大亚湾钢琴调琴师
  • 长治调琴师
  • 厦门湖里区钢琴调音师
  • 上海普陀区钢琴调音师