Squid for Windows 安装教程
下载 Squid for Windows
下载地址：https://squid.diladele.com/
安装 squid 服务
双击
squid.msi安装 squid
点击
Next进入下一步
勾选
I accept-> 点击Next进入下一步
选择安装路径 -> 点击
Next进入下一步
点击
Install进行安装
等待安装完成
安装完成
检测 电脑右下方
Squid for Windows是否启动
安装完成
使用浏览器打开 http://127.0.0.1:3128，出现以下页面就表示安装成功。
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Sitoi！
微信
支付宝
相关推荐
2020-06-06
Scrapy 小技巧（一）：使用 scrapy 自带的函数（follow & follow_all）优雅的生成下一个请求
前言如何优雅的获取同一个网站上下一次爬取的链接并放到生成一个 Scrapy Response 呢？ 样例1234567891011121314151617181920from urllib import parseimport scrapyclass SitoiSpider(scrapy.Spider): name = "sitoi" start_urls = [ 'https://sitoi.cn', ] def parse(self, response): href_list = response.xpath("//div[@class='card']/a/@href").extract() for href in href_list: url = parse.urljoin(response.url, href) yield scrapy.Request(url=url,...
2019-10-24
手把手教你如何利用 HeroKu 免费获取一个 Scrapyd 集群!
手把手教你如何利用 HeroKu 免费获取一个 Scrapyd 集群准备环境 一个 GitHub 的账号 一个 HeroKu 帐号 操作步骤 利用 GitHub 帐号创建一个代码仓库 登录 HeroKu 创建 App 并进行配置 创建一个代码仓库 PS：想偷懒，直接 fork 我的项目就好了 项目地址：https://github.com/crawlmap/scrapyd-heroku Fork 完 你已经完成本项目的一半工作了，开心吗，激动吗，只剩下半步了。 不 Fork 的自己想办法吧，现成的不要，你非要自己造。 登录 HeroKu 创建 App 并进行配置 登录 https://signup.heroku.com/ 创建一个帐号 刚创建完进入的首页是长这个样子的，点击页面中间的 Create new app 创建我们的第一个项目，点击之后，你会进入到如下界面： 在界面上输入你要的取得项目名称，项目名称决定了之后的 URL 地址。选择区域，默认就好了，最后点击创建 Create app 此时你也已经进入到 APP 页面了，点击 GitHub...
2019-10-21
请不要污名化爬虫！
请不要污名化爬虫！本文转自 NightTeam 原创：Loco NightTeam 文章作者：「夜幕团队 NightTeam」 - Loco 导语最近有一篇名为《只因写了一段爬虫，公司 200 多人被抓！》的文章非常火，相信大家应该都看到了。 这篇文章火起来之后，本来经过了一个多月的时间已经冷静下来了的爬虫圈子又开始人心惶惶了，各种说法层出不穷，大家都害怕自己一不小心就违法、进监狱过年，但是，事情真的是那样吗？ 辟谣我们先来看几个明显有误，且传播很广的说法吧。 “最近很多做爬虫的被抓了” 那篇文章的故事中提到的，是一家名为「巧达数据」的公司，如果之前有关注过相关新闻的朋友应该不难发现，这个公司实际上在 3 月份的时候就已经被查封了！ 而文章后面提到的天翼征信、新颜科技、魔蝎科技、公信宝、同盾科技相关事件，实际上也都是 9...
2019-09-16
xpath re bs4 等爬虫解析器的性能比较
xpath re bs4 等爬虫解析器的性能比较思路测试网站地址：http://baijiahao.baidu.com/s?id=1644707202199076031 根据同一个网站，获取同样的数据，重复 500 次取和后进行对比。 测试例子12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879# -*- coding: utf-8 -*-import reimport timeimport scrapyfrom bs4 import BeautifulSoupclass NewsSpider(scrapy.Spider): name = 'news' allowed_domains = ['baidu.com'] start_urls =...
评论
