百度简单爬虫

最近在学爬虫，一步一步来，也算记录一下自己的学习过程，适合有一定python基础的同学

需要先下载一下request库

打开cmd，输入命令 pip install requests

直接上马！

import os
import requests
headers = {'user-agent': 'Mozilla/5.0 (Windos NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.54 Safari/537.36'}
def Getbaidukeyord(ord,pathdir):
 url_action = 'https://.baidu./s?'
 data = {'d': ord,}
 response = requests.get(url_action, params=data, headers=headers)
 response.encoding = response.apparent_encoding
 filename = pathdir+"/"+ord+"1.html"
 ith open(filename, 'b') as f:
  f.rite(response.content)
path = r"C:UsersxxxDesk爬虫给爷爬"
Getbaidukeyord("猛男",path)

这是个非常简单的爬虫 headers 是用户代理，简单来说就是利用这个 headers来模拟浏览器请求

因为不用这个的话，对方很轻易就知道你是爬虫，不想让你爬，所以需要伪装一下。

有的同学可能会有问题"user-agent后面的内容是怎么来的？"

你可以直接用上面的，也可以去网上查，链接发了

User-Agent大全_Jamesaonier的博客-CSDN博客

还有个方法也是我比较推荐的方法就是自己去看一下，我们举个例子

随便找个网页（因为本文章做的是爬百度的所以就拿百度举例）

打开谷歌浏览器 -->F12控制台-->点击ork 抓个包如果没有内容就刷新一下网页-->然后再headers中找到 user-agent 

因为我们用的是谷歌浏览器 所以这个ua就是谷歌的。

中间的都很好理解

path = “”的路径可以提前创建 也可以加入下面的代码

if not os.path.exists(i):
  os.mkdir(r'C:Usersxxx')

使用起来就很简单了 上文爬的猛男！ 如果想爬别的就把猛男换成你想爬的内容就好了。

大家可能会疑问，例如感觉这爬虫为什么要这么做，直接去百度搜一下不就行了吗，爬虫这么做不是更麻烦？ 其实这只是个简单的爬虫，让大家简单理解一下基本的原理和作用，爬虫的妙处是很多的！