Python网络爬虫与信息提取(实例讲解)

> import requests
> r = requests.get("http://www.baidu.com")#抓取百度页面
> r.status_code
> r.encoding = 'utf-8'
> r.text

import requests

def getHTMLText(url):
　　try:
　　　　r = requests.get(url, timeout=30)
　　　　r.raise_for_status() # 如果状态不是200，引发HTTPError异常
　　　　r.encoding = r.apparent_encoding
　　　　return r.text
　　except: 
　　　　return "产生异常"

if __name__ == "__main__":
　　url = "http://www.baidu.com"
　　print(getHTMLText(url))

kv = {'key1':'value1', 'key2':'value2'}
r = requests.request('GET', 'http://python123.io/ws',params=kv)
print(r.url)
'''
http://python123.io/ws"htmlcode">

hd = {'user-agent':'Chrome/10'}

r = requests.request('POST','http://www.yanlei.shop',headers=hd)



cookies：字典或CookieJar，Request中的cookie；
auth：元组，支持HTTP认证功能；
files：字典类型，传输文件；


fs = {'file':open('data.xls', 'rb')}

r = requests.request('POST','http://python123.io/ws',files=fs)



timeout：设定超时时间，秒为单位；
proxies：字典类型，设定访问代理服务器，可以增加登录认证
allow_redirects：True/False，默认为True，重定向开关；
stream：True/False，默认为True，获取内容立即下载开关；
verify：True/False，默认为True，认证SSL证书开关；
cert：本地SSL证书路径


#方法及参数
requests.get(url, params=None, **kwargs)
requests.head(url, **kwargs)
requests.post(url, data=None, json=None, **kwargs)
requests.put(url, data=None, **kwargs)
requests.patch(url, data=None, **kwargs)
requests.delete(url, **kwargs)



网络爬虫引发的问题
性能骚扰：
受限于编写水平和目的，网络爬虫将会为web服务器带来巨大的资源开销
法律风险：
服务器上的数据有产权归属，网路爬虫获取数据后牟利将带来法律风险。
隐私泄露：
网络爬虫可能具备突破简单访问控制的能力，获得被保护数据从而泄露个人隐私。
网络爬虫的限制
·来源审查：判断User-Agent进行限制
检查来访HTTP协议头的User-Agent域，值响应浏览器或友好爬虫的访问。
· 发布公告：Roots协议
告知所有爬虫网站的爬取策咯，要求爬虫遵守。
Robots协议
Robots Exclusion Standard 网络爬虫排除标准
作用：网站告知网络爬虫哪些页面可以抓取，哪些不行。
形式：在网站根目录下的robots.txt文件。
案例：京东的Robots协议
http://www.jd.com/robots.txt


# 注释：*代表所有，/代表根目录
User-agent: * 
Disallow: /"" width="609" height="187" src="/UploadFiles/2021-04-08/201708290839479.png">


约束性：Robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险。
Requests库网络爬虫实战
1、京东商品


import requests
url = "https://item.jd.com/5145492.html"
try:
 r = requests.get(url)
 r.raise_for_status()
 r.encoding = r.apparent_encoding
 print(r.text[:1000])
except:
 print("爬取失败")


2、亚马逊商品




# 直接爬取亚马逊商品是会被拒绝访问，所以需要添加'user-agent'字段
import requests
url = "https://www.amazon.cn/gp/product/B01M8L5Z3Y"
try:
 kv = {'user-agent':'Mozilla/5.0'} # 使用代理访问
 r = requests.get(url, headers = kv)
 r.raise_for_status()
 r.encoding = r.apparent_encoding
 print(t.text[1000:2000])
except:
 print("爬取失败")


3、百度/360搜索关键词提交
搜索引擎关键词提交接口
· 百度的关键词接口：
http://www.baidu.com/s"htmlcode">

# 百度
import requests
keyword = "Python"
try:
 kv = {'wd':keyword}
 r = requests.get("http://www.baidu.com/s",params=kv)
 print(r.request.url)
 r.raise_for_status()
 print(len(r.text))
except:
 print("爬取失败")




# 360
import requests
keyword = "Python"
try:
 kv = {'q':keyword}
 r = requests.get("http://www.so.com/s",params=kv)
 print(r.request.url)
 r.raise_for_status()
 print(len(r.text))
except:
 print("爬取失败")


4、网络图片的爬取和存储
网络图片链接的格式：
http://www.example.com/picture.jpg
国家地理：
http://www.nationalgeographic.com.cn/
选择一张图片链接：
http://image.nationalgeographic.com.cn/2017/0704/20170704030835566.jpg


图片爬取全代码
import requests
import os
url = "http://image.nationalgeographic.com.cn/2017/0704/20170704030835566.jpg"
root = "D://pics//"
path = root + url.split('/')[-1]
try:
 if not os.path.exists(root):
  os.mkdir(root)
 if not os.path.exists(path):
  r = requests.get(url)
  with open(path,'wb') as f:
   f.write(r.content)
   f.close()
   print("文件保存成功")
 else:
  print("文件已存在")
except:
 print("爬取失败")


5、IP地址归属地的自动查询
www.ip138.com IP查询
http://ip138.com/ips138.asp"htmlcode">

import requests
url = "http://m.ip138.com/ip.asp"
ip = "220.204.80.112"
try:
 r = requests.get(url + ip)
 r.raise_for_status()
 r.encoding = r.apparent_encoding
 print(r.text[1900:])
except:
 print("爬取失败")




# 使用IDLE
> import requests
> url ="http://m.ip138.com/ip.asp"
> ip = "220.204.80.112"
> r = requests.get(url + ip)
> r.status_code
> r.text


以上这篇Python网络爬虫与信息提取(实例讲解)就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。