使用Scrapy中间件动态修改代理IP
常见的反爬虫及应对策略
通过检查Headers中的User-Agent或者Referer（为了防止盗链）值，应对策略：
在请求的时候动态修改User-Agent值，或者将Referer设置为目标网站
2021-08-20