Sitoi 2025-11-12T05:28:30.735Z https://sitoi.cn/ Sitoi Hexo 如何在 Elasticsearch 中更新索引的 Mapping https://sitoi.cn/posts/39218.html 2023-10-14T06:26:21.000Z 2025-11-12T05:28:30.735Z 前言

在 Elasticsearch 中更新索引的 Mapping 是一个常见的需求，特别是当您需要对字段类型进行修改时。本文将介绍如何通过创建新索引、将搜索请求重定向到新索引、数据迁移（reindex）、测试并最终删除旧索引来有效地完成这个任务。

一：创建新的索引

  1. 分析当前 Mapping：首先，分析您当前索引的 Mapping。了解哪些字段需要修改，以及它们的新类型是什么。

  2. 创建新索引：使用 Elasticsearch 的索引创建 API，创建一个新的索引，设置新的 Mapping。确保新的 Mapping 与您的需求一致。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
PUT /新索引名称
{
  "mappings": {
    "properties": {
      "字段1": {
        "type": "新数据类型"
      },
      "字段2": {
        "type": "新数据类型"
      },
      // 添加其他字段映射
    }
  }
}

二：数据迁移（Reindex）

  1. 使用_reindex API：使用 Elasticsearch 的_reindex API 将数据从旧索引迁移到新索引。这个 API 将允许您以非破坏性的方式将数据迁移到新的 Mapping 结构。
1
2
3
4
5
6
7
8
9
POST _reindex
{
  "source": {
    "index": "旧索引"
  },
  "dest": {
    "index": "新索引"
  }
}

这确保了数据在迁移过程中不会丢失，并且可以在新索引中进行新的 Mapping 变更。

三：测试

  1. 验证数据：确保数据在新索引中正确迁移并且格式符合新的 Mapping。执行一些简单的查询和检查以确认数据质量。

  2. 性能测试：执行性能测试，确保新索引不会导致性能下降。

四：切换别名

  1. 一旦您验证了新索引的正确性，您可以将别名切换到新索引，使新索引成为主要索引
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
POST /_aliases
{
  "actions": [
    {
      "remove": {
        "index": "旧索引名称",
        "alias": "别名名称"
      }
    },
    {
      "add": {
        "index": "新索引名称",
        "alias": "别名名称"
      }
    }
  ]
}

五：删除旧索引

  1. 备份旧索引：在删除旧索引之前，确保有必要的备份。您可以使用快照和还原功能来备份索引数据。

  2. 删除旧索引：使用 DELETE 索引 API 来删除旧索引。在确认新索引正常运行并且不再需要旧索引后进行此步骤。

结论

通过按照这些步骤更新 Elasticsearch 索引的 Mapping，您可以确保数据的一致性，同时保持搜索应用程序的可用性。在进行此操作之前，请确保备份数据，小心谨慎地执行，并在生产环境中测试它，以确保一切正常。更新 Mapping 对于维护和改进 Elasticsearch 索引非常有帮助，但需要慎重操作以避免潜在问题。

]]> <h2 id="前言"><a href="#前言" class="headerlink" title="前言"></a>前言</h2><p>在 Elasticsearch 中更新索引的 Mapping 是一个常见的需求，特别是当您需要对字段类型进行修改时。本文将介绍如何通过创建新 简洁登录：在 Linux 终端中去除 'Last login' 信息 https://sitoi.cn/posts/10054.html 2023-07-28T02:25:20.000Z 2025-11-12T05:28:30.735Z 引言

当我们登录到 Linux 系统的终端时，通常会看到一条形如 “Last login: xxx xxx xxx” 的信息。这是系统默认的登录提示，显示上一次登录的时间和日期。虽然这对于某些用户来说可能是有用的，但对于其他用户来说可能会觉得这个信息有些多余。如果您也是希望在新建终端窗口时不显示这个登录提示信息，那么您来对地方了！在本文中，我将向您展示如何简洁地登录 Linux 终端，去除这个’Last login’信息。

去除 ‘Last login’ 信息的方法

创建 .hushlogin 的文件

执行以下命令即可创建该文件：

1
touch ~/.hushlogin

这样，您在新建终端窗口时将不再看到 “Last login” 信息，终端登录界面将更加简洁。请记得，这个方法只影响您当前用户的终端登录，其他用户登录的终端仍会显示 “Last login” 信息。

如果您希望恢复 “Last login” 信息的显示，只需删除.hushlogin文件即可：

1
rm ~/.hushlogin

这样，您在新建终端窗口时将不再看到 “Last login” 信息，终端登录界面将更加简洁。请记得，这个方法只影响您当前用户的终端登录，其他用户登录的终端仍会显示 “Last login” 信息。

结论

现在您知道了如何简洁地登录 Linux 终端，去除 annoying 的 ‘Last login’ 信息。您可以使用这种方法，根据您的喜好和使用习惯来优化终端的显示。这样，您的终端窗口将会更加干净整洁，让您专注于更重要的任务。

]]> <h2 id="引言"><a href="#引言" class="headerlink" title="引言"></a>引言</h2><p>当我们登录到 Linux 系统的终端时，通常会看到一条形如 “Last login: xxx xxx xxx” 的信息。这是系统默认的登录提 高效下载 NGINX 静态网站：利用 wget 进行递归下载 https://sitoi.cn/posts/46937.html 2023-07-16T01:59:04.000Z 2025-11-12T05:28:30.735Z 前言

NGINX 是一款流行的 Web 服务器软件，用于托管静态网站和处理 HTTP 请求。当您需要下载整个 NGINX 静态网站的所有文件时，使用 wget 命令进行递归下载是一种高效的方法。

递归下载是指通过 wget 命令下载一个网页后，它会自动解析并下载网页中引用的其他文件，包括 CSS 文件、JavaScript 文件、图像文件等，以确保您获取整个网站的完整内容。

一、安装 wget

在 Windows 上安装 wget

如果您使用的是 Windows 操作系统，可以使用 Chocolatey（choco）包管理器来安装 wget。打开命令提示符或 PowerShell，并执行以下命令：

1
choco install wget

该命令将自动下载并安装 wget 工具。安装完成后，您可以在命令提示符或 PowerShell 中使用 wget 命令。

在 Mac 上安装 wget

如果您使用的是 Mac 操作系统，可以使用 Homebrew（brew）包管理器来安装 wget。打开终端，并执行以下命令：

1
brew install wget

该命令将自动下载并安装 wget 工具。安装完成后，您可以在终端中使用 wget 命令。

在 ubuntu 上安装 wget

首先，确保您的系统已安装 wget 命令。如果没有安装，可以使用以下命令进行安装（适用于 Debian/Ubuntu 系统）：

1
sudo apt-get install wget

对于其他 Linux 发行版，可以使用相应的软件包管理器来安装 wget。

二、使用 wget 命令下载 NGINX 静态网站

打开终端，并使用以下命令进行递归下载：

1
wget -r -np -nH --cut-dirs=1 --reject "index.html*" -P "/path/to/directory" "https://example.com/"

让我们来详细解释一下这些选项的含义：

  • -r 或 --recursive：递归下载，获取指定 URL 中的所有文件和子目录。
  • -np 或 --no-parent：不追踪父级目录，不向上跳转到父级目录。
  • -nH 或 --no-host-directories：不创建主机目录，不在本地创建额外的主机目录。
  • --cut-dirs=1：切除目录层级，删除下载文件路径中的一个目录层级。
  • --reject "index.html*"：拒绝下载特定文件，指定要拒绝下载的文件模式。
  • -P /path/to/directory 或 --directory-prefix=/path/to/directory：指定下载目录，将下载的文件保存到指定路径下。

使用这些参数，你可以根据需要配置wget命令来递归下载指定 URL 中的文件，跳过已下载的文件，并将下载的文件保存到指定的目录中。

根据您的需求，可以根据实际情况调整这些选项。

三、跳过已下载文件

为了避免重复下载已经下载过的文件，可以使用-N选项或--timestamping选项。这将使 wget 仅下载那些在源服务器上具有新时间戳或已更新的文件。

例如：

1
wget -r -np -nH --cut-dirs=1 --reject "index.html*" -P "/path/to/directory" -N "https://example.com/"

四、使用代理进行下载

如果您需要通过代理服务器进行下载，可以使用--proxy选项指定代理服务器的地址和端口号。例如：

1
wget -r -np -nH --cut-dirs=1 --proxy=127.0.0.1:7890 --reject "index.html*" -P "/path/to/directory" -N   "https://example.com/"

将127.0.0.1替换为您实际使用的代理服务器地址，7890替换为端口号。

总结

通过以上步骤，您现在已经了解了如何高效地使用 wget 命令进行递归下载 NGINX 静态网站的全部文件，并学会了如何跳过已下载文件以及如何使用代理进行下载。

]]> <h2 id="前言"><a href="#前言" class="headerlink" title="前言"></a>前言</h2><p>NGINX 是一款流行的 Web 服务器软件，用于托管静态网站和处理 HTTP 请求。当您需要下载整个 NGINX 静态网站的所有文件时，使 mitmproxy 配置二级代理访问外网 https://sitoi.cn/posts/29556.html 2022-02-18T05:46:45.000Z 2025-11-12T05:28:30.734Z 前言

做爬虫时常遇到需要使用外网代理的情况，本文以 Google 为例。

编写 mitmdump 脚本

劫持 「Google.com」域名的 URL

1
2
3
4
5
6
7
8
# -*- coding: utf-8 -*-
from mitmproxy.http import flow


def response(flow: flow):
    url = flow.request.url
    if "google.com" in url:
        print(f"mitm 劫持成功,URL= {url}")

命令行启用 upstream 模式

1
mitmdump --mode upstream:http://127.0.0.1:7890 -p 8000 -q -s mitm_google.py

开启 mode 前后对比

开启前

开启前

开启后

开启后

]]> <h2 id="前言"><a href="#前言" class="headerlink" title="前言"></a>前言</h2><p>做爬虫时常遇到需要使用外网代理的情况，本文以 Google 为例。</p> <h2 id="编写-mitmdump-脚本"><a href= Dailycheckin - 基于「Docker」/「青龙面板」/「群晖」的每日签到脚本（支持多账号） https://sitoi.cn/posts/18115.html 2021-03-03T08:48:50.000Z 2025-11-12T05:28:30.735Z

DailyCheckIn

基于「Docker」/「青龙面板」/「群晖」/「本地」的每日签到脚本

✨ 特性

  • 📦 支持 Pypi 包安装
  • 💻 支持多个平台部署
  • ⚙️ 支持多个平台签到
  • 📢 支持多个平台通知
  • ♾️ 支持多个账号签到
  • 🕙 支持定时任务设置
  • 🆙 支持项目自动更新

🦄 教程

https://sitoi.github.io/dailycheckin/

🧾 列表

🟢: 正常运行 🔴: 脚本暂不可用 🔵: 可以执行(需更新) 🟡: 待测试 🟤: 看脸

状态任务名称名称网站检查日期备注
🟢️KGQQ全民 K 歌24.02.20每日签到获取鲜花 每日大约 120 鲜花左右
🟢️YOUDAO有道云笔记24.02.20每日签到获取存储空间
🟢️TIEBA百度贴吧24.02.20贴吧每日签到
🟢️BILIBILIBiliBili24.02.20直播签到，漫画签到，每日经验任务，自动投币，银瓜子换硬币等功能
🟢️V2EXV2EX24.02.20铜币奖励
🟢️ACFUNAcFun24.02.20每日签到香蕉
🟢️IQIYI爱奇艺24.02.20① 满签得 7 天会员；② 日常任务 4 成长值；③ 爱奇艺刷时长任务，10 成长值；④ 每日签到随机成长值；⑤ 抽白金会员 5 次；⑥ 摇一摇抽奖 3 次；⑦ 抽奖 3 次
🟢️SMZDM什么值得买24.02.20签到和抽奖
🟢️ALIYUN阿里云盘24.02.20签到获取免费会员和空间
🟢️ENSHAN恩山无线论坛24.02.20签到获取硬币和积分
🟢️AOLAXING奥拉星24.02.20签到获取积分
🟢️IMAOTAIi 茅台24.02.20申购生肖茅台
🟤MIMOTION小米运动24.02.20每日小米运动刷步数
🟢️BAIDU百度站点24.02.20提交网站页面供百度收录

💬 通知列表

  • dingtalk（钉钉）
  • 企业微信群机器人（企业微信）
  • 企业微信应用消息（企业微信）
  • telegram（TG）
  • Bark（iOS）
  • server 酱（微信）
  • server 酱 TURBO（微信）
  • pushplus（微信）
  • Cool Push（QQ,微信,邮箱）
  • qmsg 酱（QQ）
  • 飞书（飞书）

🤝 参与贡献

我们非常欢迎各种形式的贡献。如果你对贡献代码感兴趣，可以查看我们的 GitHub Issues，大展身手，向我们展示你的奇思妙想。

💗 感谢我们的贡献者

✨ Star 数

📝 License

This project is MIT licensed.

]]> <div align="center"> <img src="https://socialify.git.ci/Sitoi/dailycheckin/image?font=Rokkitt&forks=1&issues=1&language=1&name=1&owner=1&pa Mac & Windows 软件推荐 https://sitoi.cn/posts/13953.html 2020-11-13T04:24:51.000Z 2025-11-12T05:28:30.732Z 前言

为了记录自己使用的软件，因为公司用的是 Windows 家里用的是 Mac 所以基本上 两个平台的软件都会挑选适合自己的软件。

关于链接什么的有空再补上吧！

软件列表

Windows

终端

  • Windows Terminal
  • Git Bash

图床

  • PicGo

下载工具

  • 迅雷
  • IDM

解压缩

  • 360 Zip 国际版

桌面整理

  • 腾讯桌面整理

网盘

  • 百度网盘
  • Nextcloud

录屏软件

  • ScreenToGif

截图工具

  • Snipaste

远程连接

  • 远程桌面
    • 向日葵
    • Microsoft Remote Desktops Beta
  • 远程连接
    • Termius
    • Xshell
    • Xftp

思维导图

  • XMind ZEN

办公软件

  • Office 套件
    • Microsoft Word
    • Microsoft Excel
    • Microsoft PowerPoint

笔记软件

  • 幕布
  • Typora
  • Notion

科学上网

  • Clash
  • OpenVPN

音乐播放器

  • QQ 音乐

视频播放器

  • 在线
    • 腾讯视频
    • 爱奇艺
    • 优酷
  • 离线
    • PorPlayer

社交软件

  • QQ
  • 微信
  • 钉钉
  • Telegram

开发工具

  • Visual Studio Code
  • JetBrain Tools
    • PyCharm
    • WebStorm
  • Postman
  • 数据库可视化
    • RDM
    • Navicat Premium
  • 抓包
    • Fiddler Everywhere
    • mitmproxy
    • Charles

输入法

  • QQ 拼音输入法

虚拟机/模拟器

  • VMvare Workstation
  • 夜神模拟器
  • Docker

工具集

  • PowerToys
  • QuickLook

浏览器

  • Google Chrome
  • Microsoft Edge

邮箱

  • 网易邮箱大师

GTD

  • Microsot To DO

词典

  • 欧陆词典

护眼

  • f.lux

Mac

PDF 编辑器

  • PDF Expert

视频编辑

  • iMovie
  • Final Cut Pro
  • ArcTime Pro

图形设计

  • PhotoShop
  • Imagine

图床

  • PicGo

终端

  • iTerm 2

窗口管理

  • Magnet

下载工具

  • 迅雷
  • Downie 4

系统清理

  • 腾讯柠檬

录屏软件

  • ScreenFlow

截图工具

  • iShot

日历

  • Itsycal

远程连接

  • 远程桌面
    • 向日葵
    • Microsoft Remote Desktops Beta
    • Termius

思维导图

  • XMind ZEN

办公软件

  • Office 套件
    • Microsoft Word
    • Microsoft Excel
    • Microsoft PowerPoint

笔记软件

  • 幕布
  • Typora
  • Notion

科学上网

  • ClashX
  • OpenVPN

音乐播放器

  • Music
  • QQ 音乐

视频播放器

  • 在线
    • 腾讯视频
    • 爱奇艺
    • 优酷
  • 离线
    • IINA

社交软件

  • QQ
  • 微信
  • 钉钉
  • Telegram

开发工具

  • Visual Studio Code
  • JetBrain Tools
    • PyCharm
    • WebStorm
  • Xcode
  • Postman
  • 抓包
    • Charles
    • Fiddler Everywhere
    • mitmproxy
  • 数据库可视化
    • Navicat Premium
    • RDM

菜单栏整理

  • Barteder 3

虚拟机/模拟器

  • Parallels Desktop
  • 夜神模拟器
  • Docker

其他

  • Adguard for Safrai
  • CheatSheet

解压缩

  • Keka

浏览器

  • Safari
  • Google Chrome
  • Edge

邮箱

  • 网易邮箱大师

拾色器

  • Pikka

GTD

  • Microsot To DO

游戏

  • Steam

词典

  • 欧陆词典

屏幕常亮

  • Amphetamine
]]> <h2 id="前言"><a href="#前言" class="headerlink" title="前言"></a>前言</h2><p>为了记录自己使用的软件，因为公司用的是 Windows 家里用的是 Mac 所以基本上 两个平台的软件都会挑选适合自己的软件。</p> <b MongoDB 集群开启分片操作 https://sitoi.cn/posts/1040.html 2020-09-25T05:18:29.000Z 2025-11-12T05:28:30.733Z 开启数据库分片能力

  1. 命令行 进入 mongos

    1
    mongo --host=<host> -u <user>

  2. 切换到 admin 库

    1
    use admin

  3. 对数据库启用分片能力

    1
    2
    3
    db.adminCommand( {
       enableSharding: "<database name>"
    } )

    这一步是对数据库启用分片能力，同一个库的不同 collection 会分布到不同 shard 上，但是一个 collection 只会存在于一个 shard 上

开启集合分片

索引要在开启分片前建好。虽然 MongoDB 说如果是空库，开启分片时会自动创建不存在的索引，但还是建议你事前手动创建好。

索引字段最好是在空库的时候就建好。数据量很大的时候新建索引一定要小心，第一找业务不忙的时候做，第二千万别忘了加 background 参数。

还是要在 admin 库下执行

1
2
3
db.shardCollection( {
   "<database_name>.<collection_name>": {<shardkey>: <shardtype>}
} )

shardtype 描述

  • 1 ：范围片健
  • "hashed" ：哈希片键

范围片健例子

1
sh.shardCollection("blog.sitoi", { sitoi: 1 } )

哈希片键例子

1
sh.shardCollection("blog.sitoi", { sitoi: "hashed" } )

参考链接

]]> <h2 id="开启数据库分片能力"><a href="#开启数据库分片能力" class="headerlink" title="开启数据库分片能力"></a>开启数据库分片能力</h2><ol> <li><p>命令行 进入 <code>mongos</code></p> <f 一键更新 package.json 中的包到最新版本 https://sitoi.cn/posts/9059.html 2020-09-20T14:15:04.000Z 2025-11-12T05:28:30.734Z 安装 npm-check-updates
1
npm i -g npm-check-updates

检测更新

ncu 是 npm-check-updates 的缩写命令

1
ncu -u
1
2
3
4
5
6
7
8
9
10
11
12
Upgrading /Users/shitao/WebstormProjects/blog/package.json
[====================] 38/38 100%

 @babel/preset-env      ^7.11.0  →  ^7.11.5
 eslint                  ^7.6.0  →   ^7.9.0
 hexo-generator-search   ^2.4.0  →   ^2.4.1
 hexo-renderer-marked    ^3.0.0  →   ^3.2.0
 hexo-renderer-stylus    ^1.1.0  →   ^2.0.1
 terser                  ^5.0.0  →   ^5.3.2
 workbox-build           ^5.1.3  →   ^5.1.4

Run npm install to install new versions.

更新后会自动修改 package.json 里的版本号，但是 package-lock.json 或者 yarn.lock 不会更新，需要重新 npm install 或者 yarn install。

升级 npm 包

1
npm install

查看 ncu 帮助

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
❯ ncu --help
Usage: ncu [options] [filter]

[filter] is a list or regex of package names to check (all others will be ignored).

Options:
  --concurrency <n>            Max number of concurrent HTTP requests to
                               registry. (default: 8)
  --configFilePath <path>      Directory of .ncurc config file (default:
                               directory of `packageFile`).
  --configFileName <filename>  Config file name (default: .ncurc.{json,yml,js})
  --cwd <path>                 Working directory in which npm will be executed.
  --dep <dep>                  Check one or more sections of dependencies only:
                               prod, dev, peer, optional, bundle
                               (comma-delimited).
  --deprecated                 Include deprecated packages.
  --doctor                     Iteratively installs upgrades and runs tests to
                               identify breaking upgrades. Run "ncu --doctor"
                               for detailed help. Add "-u" to execute.
  --enginesNode                Include only packages that satisfy engines.node
                               as specified in the package file.
  -e, --errorLevel <n>         Set the error level. 1: exits with error code 0
                               if no errors occur. 2: exits with error code 0
                               if no packages need updating (useful for
                               continuous integration). (default: 1)
  -f, --filter <matches>       Include only package names matching the given
                               string, comma-or-space-delimited list, or
                               /regex/.
  -g, --global                 Check global packages instead of in the current
                               project.
  --greatest                   DEPRECATED. Renamed to "--target greatest".
  -i, --interactive            Enable interactive prompts for each dependency;
                               implies -u unless one of the json options are
                               set,
  -j, --jsonAll                Output new package file instead of
                               human-readable message.
  --jsonDeps                   Like `jsonAll` but only lists `dependencies`,
                               `devDependencies`, `optionalDependencies`, etc
                               of the new package data.
  --jsonUpgraded               Output upgraded dependencies in json.
  -l, --loglevel <n>           Amount to log: silent, error, minimal, warn,
                               info, verbose, silly. (default: "warn")
  -m, --minimal                Do not upgrade newer versions that are already
                               satisfied by the version range according to
                               semver.
  -n, --newest                 DEPRECATED. Renamed to "--target newest".
  -p, --packageManager <name>  npm, yarn (default: "npm")
  -o, --ownerChanged           Check if the package owner changed between
                               current and upgraded version.
  --packageData <string>       Package file data (you can also use stdin).
  --packageFile <path>         Package file location (default: ./package.json).
  --pre <n>                    Include -alpha, -beta, -rc. (default: 0; default
                               with --newest and --greatest: 1).
  --prefix <path>              Current working directory of npm.
  -r, --registry <url>         Third-party npm registry.
  --removeRange                Remove version ranges from the final package
                               version.
  --semverLevel <value>        DEPRECATED. Renamed to --target.
  -s, --silent                 Don't output anything (--loglevel silent).
  -t, --target <value>         Target version to upgrade to: latest, newest,
                               greatest, minor, patch.
  --timeout <ms>               Global timeout in milliseconds. (default: no
                               global timeout and 30 seconds per
                               npm-registery-fetch).
  -u, --upgrade                Overwrite package file with upgraded versions
                               instead of just outputting to console.
  -x, --reject <matches>       Exclude packages matching the given string,
                               comma-or-space-delimited list, or /regex/.
  -V, --version                output the version number
  -h, --help                   display help for command
]]> <h2 id="安装-npm-check-updates"><a href="#安装-npm-check-updates" class="headerlink" title="安装 npm-check-updates"></a>安装 npm-check-updates</h2>< Linux 统计文件夹中文件个数以及目录个数 https://sitoi.cn/posts/12507.html 2020-09-10T08:29:50.000Z 2025-11-12T05:28:30.732Z 列出当前文件夹（显示不隐藏的文件与文件夹的详细信息）

命令:

1
ls -l

如下结果:

1
2
3
4
5
6
drwxrwsr-x    2 sitoi sitoi  4096 Sep 10 16:32 10271113/
drwxrwsr-x    2 sitoi sitoi  4096 Sep 10 16:32 10271114/
drwxrwsr-x    2 sitoi sitoi  4096 Sep 10 16:32 10271115/
drwxrwsr-x    2 sitoi sitoi  4096 Sep 10 16:32 10271116/
drwxrwsr-x    2 sitoi sitoi  4096 Sep 10 16:32 10271117/
drwxrwsr-x    2 sitoi sitoi  4096 Sep 10 16:32 10271118/

  • 终端输出的结果是一行一行的字符，每一行字符对应一个目录或者是文件

  • 如果是文件的话，该行的字符串信息的第一个字符显示的是 -

  • 如果是目录的话，该行的字符的第一个显示的是 d，意即 directory，找到这两者之间的区别，运行能够判别

显示目录中的文件

命令:

1
ls -l | grep "^-"

其中 "^-" 表示字符串的第一个字符为 -

如下结果:

1
2
3
4
5
6
-rw-rw-r-- 1 sitoi sitoi  52983 Sep 10 16:31 10272015_1.png
-rw-rw-r-- 1 sitoi sitoi 109263 Sep 10 16:31 10272015_2.png
-rw-rw-r-- 1 sitoi sitoi 121148 Sep 10 16:31 10272015_3.png
-rw-rw-r-- 1 sitoi sitoi 127864 Sep 10 16:31 10272015_4.png
-rw-rw-r-- 1 sitoi sitoi 114144 Sep 10 16:31 10272015_5.png
-rw-rw-r-- 1 sitoi sitoi  99405 Sep 10 16:31 10272015_6.png

我们可以用 wc 命令进行统计:

1
wc [-lwm]

参数:

  • -l 仅列出行数

  • -w 仅列出多少字(英文单字)

  • -m 多少字符

统计文件夹中文件个数

命令:

1
ls -l ./|grep "^-"|wc -l

如下结果:

1
6

统计文件夹中目录个数

命令:

1
ls -l ./|grep "^d"|wc -l

如下结果:

1
6

统计文件夹下文件个数，包括子文件

命令:

1
ls -lR | grep "^-"| wc -l

如下结果:

1
34699

统计文件夹下目录个数，包括子目录

命令:

1
ls -lR | grep "^d"| wc -l

如下结果:

1
2034

参考链接

]]> <h2 id="列出当前文件夹（显示不隐藏的文件与文件夹的详细信息）"><a href="#列出当前文件夹（显示不隐藏的文件与文件夹的详细信息）" class="headerlink" title="列出当前文件夹（显示不隐藏的文件与文件夹的详细信息）"></a>列出当前文件夹（ 最新 Navicat Premium 15 破解方法详细教程（Windows） https://sitoi.cn/posts/40411.html 2020-09-01T02:34:24.000Z 2025-11-12T05:28:30.735Z

在破解安装之前，请先卸载电脑中旧版本的所有 Navicat Premium 并重新安装！

在破解安装之前，请先卸载电脑中旧版本的所有 Navicat Premium 并重新安装！

在破解安装之前，请先卸载电脑中旧版本的所有 Navicat Premium 并重新安装！

安装 Navicat Premium 15

官网下载地址：https://www.navicat.com.cn/download/navicat-premium

安装完成后请打开一次软件并关闭

激活 Navicat Premium 15

下载激活软件 Navicat Keygen Patch

下载地址：https://sitoi.lanzous.com/iDXhOg935ng 密码：4wfy

无需断网运行激活软件 Navicat_Keygen_Patch（以管理员身份运行）

点击 Patch 替换 navicat.exe

点击 Patch 选择 Navicat Premium 15 安装路劲下的 navicat.exe

Navicat Keygen Patch

navicat.exe

显示下图，表示成功

navicat.exe Cracked

生成注册码

  1. 关闭 Navicat Premium 15 并重新打开，点击注册

    注册

  2. 修改信息（可选）-> 生成注册码 -> 复制注册码

    生成注册码

  3. 填入注册码后点击激活，这里会提示注册失败

    激活

  4. 点击手动激活

    手动激活

  5. 复制请求码

    请求码

  6. 将请求码粘贴到激活软件 -> 点击生成激活码 -> 复制激活码

    生成激活码

  7. 粘贴激活码到 Navicat Premium 15 的激活码，点击激活

    激活

  8. 提示激活成功

    激活成功

    永久许可证

]]> <div class="note danger flat"><p>在破解安装之前，请先卸载电脑中旧版本的所有 <code>Navicat Premium</code> 并重新安装！</p> </div> <div class="note danger flat"><p>在破解安装 Selenium ChromeDriver 设置代理 和 设置认证代理 https://sitoi.cn/posts/34819.html 2020-08-19T05:27:38.000Z 2025-11-12T05:28:30.733Z

Selenium & ChromeDriver 全平台安装教程（Mac、Windows、Linux）

Selenium + ChromeDriver 代理使用，无密码或已设置白名单 IP

1
2
3
4
5
6
7
8
from selenium import webdriver

chromeOptions = webdriver.ChromeOptions()
chromeOptions.add_argument("--proxy-server=http://127.0.0.1:7890")
browser = webdriver.Chrome(options=chromeOptions)
browser.get("https://httpbin.org/get?show_env=1")
browser.get_screenshot_as_file("httpbin.png")
browser.close()

注: --proxy-server=http://host:port 等号两边不能有空格

Selenium + ChromeDriver 代理使用，支持 Http、Https 账号密码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
from selenium import webdriver


def create_proxyauth_extension(proxy_host, proxy_port, proxy_username, proxy_password, scheme="http", plugin_path=None):
    """Proxy Auth Extension
    args:
        proxy_host (str): domain or ip address, ie proxy.domain.com
        proxy_port (int): port
        proxy_username (str): auth username
        proxy_password (str): auth password
    kwargs:
        scheme (str): proxy scheme, default http
        plugin_path (str): absolute path of the extension
    return str -> plugin_path
    """
    import string
    import zipfile

    if plugin_path is None:
        plugin_path = r"./chrome_proxyauth_plugin.zip"
    manifest_json = """
    {
        "version": "1.0.0",
        "manifest_version": 2,
        "name": "Chrome Proxy",
        "permissions": [
            "proxy",
            "tabs",
            "unlimitedStorage",
            "storage",
            "<all_urls>",
            "webRequest",
            "webRequestBlocking"
        ],
        "background": {
            "scripts": ["background.js"]
        },
        "minimum_chrome_version":"22.0.0"
    }
    """
    background_js = string.Template(
        """
        var config = {
                mode: "fixed_servers",
                rules: {
                  singleProxy: {
                    scheme: "${scheme}",
                    host: "${host}",
                    port: parseInt(${port})
                  },
                  bypassList: ["foobar.com"]
                }
              };
        chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});
        function callbackFn(details) {
            return {
                authCredentials: {
                    username: "${username}",
                    password: "${password}"
                }
            };
        }
        chrome.webRequest.onAuthRequired.addListener(
                    callbackFn,
                    {urls: ["<all_urls>"]},
                    ['blocking']
        );
        """
    ).substitute(host=proxy_host, port=proxy_port, username=proxy_username, password=proxy_password, scheme=scheme)
    with zipfile.ZipFile(plugin_path, "w") as zp:
        zp.writestr("manifest.json", manifest_json)
        zp.writestr("background.js", background_js)
    return plugin_path


proxyauth_plugin_path = create_proxyauth_extension(
    proxy_host="127.0.0.1",
    proxy_port=7890,
    proxy_username=None,
    proxy_password=None
)
options = webdriver.ChromeOptions()
options.add_argument("--start-maximized")
options.add_extension(proxyauth_plugin_path)
browser = webdriver.Chrome(options=options)
browser.get("https://httpbin.org/get?show_env=1")
browser.get_screenshot_as_file("httpbin.png")
browser.close()
]]> <div class="note info flat"><p><a href="/posts/14489.html">Selenium &amp; ChromeDriver 全平台安装教程（Mac、Windows、Linux）</a></p> </div> <h2 id="Se 【Python3 爬虫 js 逆向】今日头条 as、cp、_signature 参数 https://sitoi.cn/posts/11194.html 2020-07-17T02:58:50.000Z 2025-11-12T05:28:30.734Z 前情提要

爬虫具有时效性，此篇文章代码不一定长期有效，但是解决方案通用。

版本信息：2020-07-17

今日头条 web 版的请求主要参数是：as、cp、_signature。

  • as、cp 比较简单，直接使用 js 源码，或者用 python 编译都可以
  • _signature 比较复杂

URL 分析

随便打开今日头条网页版一个界面，示例这里打开的是 热点分栏 地址：https://www.toutiao.com/ch/news_hot/

我们向下滑动页面，不断加载出新的内容

按 F12 打开开发者工具，选择 Network 中的 XHR 标签，继续下滑头条网页，观察网页请求链接

以下为三个示例链接，我们分析一下：

1
2
3
https://www.toutiao.com/api/pc/feed/?category=news_hot&utm_source=toutiao&widen=1&max_behot_time=0&max_behot_time_tmp=0&tadrequire=true&as=A1E51F21B0A055D&cp=5F10201525DD4E1&_signature=_02B4Z6wo00f01jcKhsgAAIBAdPSMZ6-fGcI3D4JAANLfaIBd69iVqrqwt-Kzkp68yjCiTBebZn4bKtxcot5cz26TAvNJxqWymSmizGkrEL3-TkzTvjaW14sJJpUdGO-qtIjt.n.qWnE26C8g79
https://www.toutiao.com/api/pc/feed/?category=news_hot&utm_source=toutiao&widen=1&max_behot_time=1594880609&max_behot_time_tmp=1594880609&tadrequire=true&as=A1F58F71E04057E&cp=5F1030A557BEAE1&_signature=_02B4Z6wo00901tH42wgAAIBAkgbRpdhpFFbR.d-AAOt8c3CZDocehB19PuHUmDrMDvCRZp9PXbVULneN4NWmDbAaPPGPWLtRA9--LfxHyF7itVXaG6r5K8bMdDlZeFZqFmVD3ExhcFH9u52b84
https://www.toutiao.com/api/pc/feed/?category=news_hot&utm_source=toutiao&widen=1&max_behot_time=1594869246&max_behot_time_tmp=1594869246&tadrequire=true&as=A1B5EF51300180F&cp=5F10A138508FDE1&_signature=_02B4Z6wo00501-pBU5QAAIBBqb9ZOOz-JLfqRFcAAKWKddCx4Y7Ps7qRC.B89m1IPx7kVtIM9Dy4i2lN8gSXryJypKZG7gVFrub3gVeiJxy8SjWeeg8O1c4-OQN2YJLbXyVanlfiHvufxjHi59

经过比较发现关键变量有：max_behot_time、as、cp、_signature，接下来我们就对这四个变量进行分析。

max_behot_time 分析

max_behot_time 的数值看似是时间戳，但是比较发现，并不是访问链接时的真实时间戳。

推断是由特定函数生成。

我们观察一下网页请求返回的 json 数据。发现除了返回的新闻内容之外，还有一个 next，包含 max_behot_time 的值。

max_behot_time

通过比较发现，这个 next 中 max_behot_time 的值，正是页面下滑时，下一个请求 url 中 max_behot_time。

由于头条没有明确的页码，于是判断由 max_behot_time 的数值充当 页码。由于 next 的值可以直接获取，我们就不必分析其生成函数了。

as、cp 分析

按 F12 打开开发者工具，选择 Network 按 Ctrl + F 进入全局搜索，搜索 as 。

因为词太短，我们发现了上百条数据。想找 as 的生成函数犹如大海捞针。

as

换个思路，我们可以查一下 max_behot_time，在关键函数周围观察一下有没有 as、cp 的生成函数。

按 F12 打开开发者工具，选择 Network 按 Ctrl + F 进入全局搜索，搜索 max_behot_time。只有一条函数，格式化代码后观察：

as

我们不必看 max_behot_time，正好它下方有 as、cp 的函数。为了判断是不是我们要的值，我们在函数结尾处打断点，刷新网页，查看 as、cp 的数值。

getHoney

正是我们需要的 as、cp 的值，再观察函数，由 e 函数生成，即上图画红圈部分。关键函数为 ascp.getHoney ，我们把鼠标放在 ascp.getHoney 上跳转到相关函数。

ascpmd5

这里就是 as、cp 的计算函数了。 i = md5(t) 使用的是 md5 加密，感兴趣的朋友可以深入研究一下。我们可以直接将 js 代码转换为 python 代码，方便调用。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import hashlib
import time

def get_honey():
    t = int(time.time())
    e = hex(t).upper()[2:]
    md = hashlib.md5()
    md.update(str(t).encode('utf-8'))
    i = str(md.hexdigest()).upper()
    if len(e) != 8:
        return {'as': "479BB4B7254C150", 'cp': "7E0AC8874BB0985"}
    s = r = ''
    for k in range(0, 5):
        s = s + i[:5][k] + e[k]
        r = r + e[k+3] + i[-5:][k]
    return {'as': "A1" + s + e[-3:], 'cp': e[:3] + r + "E1"}

到这里我们就获取到了 as、cp 的值了。

_signature 分析

按 F12 打开开发者工具，选择 Network 按 Ctrl + F 进入全局搜索，搜索 _signature。

我们看到两条结果。两条都看一下：第一条是构造函数，第二条只是调用了值。我们分析第一条。

signature

在关键函数结尾行打断点，刷新页面。等待页面解析完成后，鼠标放在 _signature 上，看到了我们想要的值。仔细观察，_signature 的值由 tacSign 函数生成。

tacsign

鼠标放在 tacSign 上，点击上方的 f tacSign(e,t) 跳转到相关函数。见下图

tacsign_func

把上一个函数打的断点取消！然后在 tacSign 函数结尾行打断点，点击下图蓝色箭头 F8 ，刷新界面。

f8

可以看到 i 是我们想要的值，由 window.byted_acrawler.sign(o) 生成，参数 o 为访问链接。

正常流程为先获取 as、cp 值，然后构造链接作为参数 o 调用 window.byted_acrawler.sign 得到 _signature

鼠标放在 window.byted_acrawler.sign 上，点击弹出的 f e()，跳转到目标函数。

arguments

跳转到这里，看到这个千万别蒙蔽，这只是一个超级大的函数而已，大概 500 行。

我们不必完全看懂，把整个 js 文件考出来即可。

自己拷贝就好，我这里不贴完整代码了，近 500 行，只放一下开头和结尾

1
2
3
4
5
6
7
8
9
10
11
12
13
var _typeof = "function" == typeof Symbol && "symbol" == typeof Symbol.iterator ? function(f) {
    return typeof f
}
: function(f) {
    return f && "function" == typeof Symbol && f.constructor === Symbol && f !== Symbol.prototype ? "symbol" : typeof f
}
;
TAC = function() {
    function f(f, a, b, d, c, r) {
        ...
    }
}(),
TAC("484e4f4a4......", []);

我们把上述代码保存为单独的文件，比如 sign.js

在结尾加上两行代码测试一下输出：

1
2
3
4
sign = window.byted_acrawler.sign({
  url: "https://www.toutiao.com/api/pc/feed/?category=news_hot&utm_source=toutiao&widen=1&max_behot_time=1594869246&max_behot_time_tmp=1594869246&tadrequire=true&as=A1B5EF51300180F&cp=5F10A138508FDE1",
});
console.log(sign);

我是在 Pycharm 中安装了 node.js 插件，所以可以在 Pycharm 中直接运行。

js 运行报错

window is not defined

错误信息

运行 js，报错信息如下：

window is not defined

解决方案

在开头添加一下 window

1
window = global;

Cannot read property ‘href’ of undefined

错误信息

运行 js，报错信息如下：

href of undefined

解决方案

用jsdom 模拟环境

安装好 node.js 后，在命令行模式下使用 npm install jsdom 安装。

安装好后，写一个最简单的界面，然后添加头条的 href。

那么头条的 href 在哪里呢？我们打开头条页面，按 F12 打开开发者工具,选择 Console，输入 window.location 后回车，可见下图：

window.location

我们在 window.location 中添加 href 即可，为了更安全，我们把 location 中其他参数也添加进去。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
const jsdom = require("jsdom");
const { JSDOM } = jsdom;
const dom = new JSDOM(`<!DOCTYPE html><p>Hello world</p>`);
window = global;
var document = dom.window.document;
var params = {
    location:{
        hash: "",
        host: "www.toutiao.com",
        hostname: "www.toutiao.com",
        href: "https://www.toutiao.com",
        origin: "https://www.toutiao.com",
        pathname: "/",
        port: "",
        protocol: "https:",
        search: "",
    },
};
Object.assign(window,params);
window.document = document;
// ----------这里是复制的近 500 行代码 ----------
var _typeof = "function" == typeof Symbol && "symbol" == typeof Symbol.iterator ? function(f) {
    return typeof f
}
: function(f) {
    return f && "function" == typeof Symbol && f.constructor === Symbol && f !== Symbol.prototype ? "symbol" : typeof f
}
;
TAC = function() {
    function f(f, a, b, d, c, r) {
        ...
    }
}(),
TAC("484e4f4a4......", []);
// ----------------------------------------

sign = window.byted_acrawler.sign({url:"https://www.toutiao.com/api/pc/feed/?category=news_hot&utm_source=toutiao&widen=1&max_behot_time=1594869246&max_behot_time_tmp=1594869246&tadrequire=true&as=A1B5EF51300180F&cp=5F10A138508FDE1"});
console.log(sign);

Cannot read property ‘userAgent’ of undefined

错误信息

运行 js，报错信息如下：

userAgent of undefined

解决方案

打开头条页面，按 F12 打开开发者工具，选择 Console，输入 window.navigator 后回车，可见下图：

window.navigator

在 window.navigator 中添加 userAgent 即可，为了更安全，把 navigator 中其他参数也添加进去

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
const jsdom = require("jsdom");
const { JSDOM } = jsdom;
const dom = new JSDOM(`<!DOCTYPE html><p>Hello world</p>`);
window = global;
var document = dom.window.document;
var params = {
    location:{
        hash: "",
        host: "www.toutiao.com",
        hostname: "www.toutiao.com",
        href: "https://www.toutiao.com",
        origin: "https://www.toutiao.com",
        pathname: "/",
        port: "",
        protocol: "https:",
        search: "",
    },
    navigator:{
        appCodeName: "Mozilla",
        appName: "Netscape",
        appVersion: "5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36",
        cookieEnabled: true,
        deviceMemory: 8,
        doNotTrack: null,
        hardwareConcurrency: 4,
        language: "zh-CN",
        languages: ["zh-CN", "zh"],
        maxTouchPoints: 0,
        onLine: true,
        platform: "Win32",
        product: "Gecko",
        productSub: "20030107",
        userAgent: "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36",
        vendor: "Google Inc.",
        vendorSub: "",
    },
};
Object.assign(window,params);
window.document = document;
// ----------这里是复制的近 500 行代码 ----------
var _typeof = "function" == typeof Symbol && "symbol" == typeof Symbol.iterator ? function(f) {
    return typeof f
}
: function(f) {
    return f && "function" == typeof Symbol && f.constructor === Symbol && f !== Symbol.prototype ? "symbol" : typeof f
}
;
TAC = function() {
    function f(f, a, b, d, c, r) {
        ...
    }
}(),
TAC("484e4f4a4......", []);
// ----------------------------------------

sign = window.byted_acrawler.sign({url:"https://www.toutiao.com/api/pc/feed/?category=news_hot&utm_source=toutiao&widen=1&max_behot_time=1594869246&max_behot_time_tmp=1594869246&tadrequire=true&as=A1B5EF51300180F&cp=5F10A138508FDE1"});
console.log(sign);

运行一下，成功输出结果如下：

1
_02B4Z6wo00f0122Q2eAAAIBAkOB99iCRDv9tkt1AAIR91a

但是，这只是 _signature 的一部分。是不是遗漏了什么？

再全局搜索 window.byted_acrawler，在网页源码中发现有一段 js 生成的代码：

1
2
3
4
5
6
7
8
9
10
11
window.byted_acrawler &&
  window.byted_acrawler.init({
    aid: 24,
    dfp: true,
    intercept: true, // 开启拦截器后，所有符合下面列表条件的 url 都会自动加上 _signature 参数
    // SDK 会拦截所有使用 XMLHTTPRequest 发送的请求，包括第三方库发出的，所以请严格设置 enablePathList
    enablePathList: ["/c/ugc/video/publish/"],
    urlRewriteRules: [
      ["/c/ugc/video/publish/", "https://cdn.jsdelivr.net/gh/Sitoi/cdn/img/toutiao/c/ugc/video/publish/"],
    ],
  });

把上述代码 sdk 拦截去掉，然后插入 sign.js 中运行一下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
const jsdom = require("jsdom");
const { JSDOM } = jsdom;
const dom = new JSDOM(`<!DOCTYPE html><p>Hello world</p>`);
window = global;
var document = dom.window.document;
var params = {
    location:{
        hash: "",
        host: "www.toutiao.com",
        hostname: "www.toutiao.com",
        href: "https://www.toutiao.com",
        origin: "https://www.toutiao.com",
        pathname: "/",
        port: "",
        protocol: "https:",
        search: "",
    },
    navigator:{
        appCodeName: "Mozilla",
        appName: "Netscape",
        appVersion: "5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36",
        cookieEnabled: true,
        deviceMemory: 8,
        doNotTrack: null,
        hardwareConcurrency: 4,
        language: "zh-CN",
        languages: ["zh-CN", "zh"],
        maxTouchPoints: 0,
        onLine: true,
        platform: "Win32",
        product: "Gecko",
        productSub: "20030107",
        userAgent: "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36",
        vendor: "Google Inc.",
        vendorSub: "",
    },
};
Object.assign(window,params);
window.document = document;
// ----------这里是复制的近 500 行代码 ----------
var _typeof = "function" == typeof Symbol && "symbol" == typeof Symbol.iterator ? function(f) {
    return typeof f
}
: function(f) {
    return f && "function" == typeof Symbol && f.constructor === Symbol && f !== Symbol.prototype ? "symbol" : typeof f
}
;
TAC = function() {
    function f(f, a, b, d, c, r) {
        ...
    }
}(),
TAC("484e4f4a4......", []);
// ----------------------------------------

window.byted_acrawler && window.byted_acrawler.init({
    aid: 24,
    dfp: true,
})

sign = window.byted_acrawler.sign({url:"https://www.toutiao.com/api/pc/feed/?category=news_hot&utm_source=toutiao&widen=1&max_behot_time=1594869246&max_behot_time_tmp=1594869246&tadrequire=true&as=A1B5EF51300180F&cp=5F10A138508FDE1"});
console.log(sign);

Cannot read property ‘width’ of undefined

错误信息

运行 js，报错信息如下：

width of undefined

解决方案

打开头条页面，按 F12 打开开发者工具，选择 Console，输入 window.screen 后回车，可见下图：

window.screen

在 window.screen 中添加 width 即可，为了更安全，把 screen 中其他参数也添加进去。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
const jsdom = require("jsdom");
const { JSDOM } = jsdom;
const dom = new JSDOM(`<!DOCTYPE html><p>Hello world</p>`);
window = global;
var document = dom.window.document;
var params = {
    location:{
        hash: "",
        host: "www.toutiao.com",
        hostname: "www.toutiao.com",
        href: "https://www.toutiao.com",
        origin: "https://www.toutiao.com",
        pathname: "/",
        port: "",
        protocol: "https:",
        search: "",
    },
    navigator:{
        appCodeName: "Mozilla",
        appName: "Netscape",
        appVersion: "5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36",
        cookieEnabled: true,
        deviceMemory: 8,
        doNotTrack: null,
        hardwareConcurrency: 4,
        language: "zh-CN",
        languages: ["zh-CN", "zh"],
        maxTouchPoints: 0,
        onLine: true,
        platform: "Win32",
        product: "Gecko",
        productSub: "20030107",
        userAgent: "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36",
        vendor: "Google Inc.",
        vendorSub: "",
    },
    "screen":{
        availHeight: 1040,
        availLeft: 0,
        availTop: 0,
        availWidth: 1920,
        colorDepth: 24,
        height: 1080,
        pixelDepth: 24,
        width: 1920,
    }
};
Object.assign(window,params);
window.document = document;
// ----------这里是复制的近 500 行代码 ----------
var _typeof = "function" == typeof Symbol && "symbol" == typeof Symbol.iterator ? function(f) {
    return typeof f
}
: function(f) {
    return f && "function" == typeof Symbol && f.constructor === Symbol && f !== Symbol.prototype ? "symbol" : typeof f
}
;
TAC = function() {
    function f(f, a, b, d, c, r) {
        ...
    }
}(),
TAC("484e4f4a4......", []);
// ----------------------------------------

window.byted_acrawler && window.byted_acrawler.init({
    aid: 24,
    dfp: true,
})

sign = window.byted_acrawler.sign({url:"https://www.toutiao.com/api/pc/feed/?category=news_hot&utm_source=toutiao&widen=1&max_behot_time=1594869246&max_behot_time_tmp=1594869246&tadrequire=true&as=A1B5EF51300180F&cp=5F10A138508FDE1"});
console.log(sign);

再运行一下，没有报错了。返回值如下：

1
_02B4Z6wo00f01erPHLwAAIBCF7-4qJivPAXqzRgAACWl0b

_signature 长度不一致

多方调查发现：是真实网页是带 cookie 访问的，我们的模拟环境没有 cookie

解决方案

在模拟环境中添加 cookie

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
const jsdom = require("jsdom");
const { JSDOM } = jsdom;
const dom = new JSDOM(`<!DOCTYPE html><p>Hello world</p>`);
window = global;
var document = dom.window.document;
var params = {
    location:{
        hash: "",
        host: "www.toutiao.com",
        hostname: "www.toutiao.com",
        href: "https://www.toutiao.com",
        origin: "https://www.toutiao.com",
        pathname: "/",
        port: "",
        protocol: "https:",
        search: "",
    },
    navigator:{
        appCodeName: "Mozilla",
        appName: "Netscape",
        appVersion: "5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36",
        cookieEnabled: true,
        deviceMemory: 8,
        doNotTrack: null,
        hardwareConcurrency: 4,
        language: "zh-CN",
        languages: ["zh-CN", "zh"],
        maxTouchPoints: 0,
        onLine: true,
        platform: "Win32",
        product: "Gecko",
        productSub: "20030107",
        userAgent: "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36",
        vendor: "Google Inc.",
        vendorSub: "",
    },
    "screen":{
        availHeight: 1040,
        availLeft: 0,
        availTop: 0,
        availWidth: 1920,
        colorDepth: 24,
        height: 1080,
        pixelDepth: 24,
        width: 1920,
    }
};
Object.assign(window,params);
window.document = document;

function setCookie(name, value, seconds) {
    seconds = seconds || 0;
    var expires = "";
    if (seconds != 0 ) {
    var date = new Date();
    date.setTime(date.getTime()+(seconds*1000));
    expires = "; expires="+date.toGMTString();
    }
    document.cookie = name+"="+escape(value)+expires+"; path=/";
}
// 把自己浏览器的真实 cookie 复制过来即可
cookies = "s_v_web_id=xxxxxxxxxxxxxxxxxxxxxxxxxx";
for(let cookie of cookies.split(";")){
    tmp = cookie.split("=");
    setCookie(tmp[0],tmp[1],1800);
}

// ----------这里是复制的近 500 行代码 ----------
var _typeof = "function" == typeof Symbol && "symbol" == typeof Symbol.iterator ? function(f) {
    return typeof f
}
: function(f) {
    return f && "function" == typeof Symbol && f.constructor === Symbol && f !== Symbol.prototype ? "symbol" : typeof f
}
;
TAC = function() {
    function f(f, a, b, d, c, r) {
        ...
    }
}(),
TAC("484e4f4a4......", []);
// ----------------------------------------

window.byted_acrawler && window.byted_acrawler.init({
    aid: 24,
    dfp: true,
})

sign = window.byted_acrawler.sign({url:"https://www.toutiao.com/api/pc/feed/?category=news_hot&utm_source=toutiao&widen=1&max_behot_time=1594869246&max_behot_time_tmp=1594869246&tadrequire=true&as=A1B5EF51300180F&cp=5F10A138508FDE1"});
console.log(sign);

运行一下，终于！得到了完整的 _signature 值:

1
_02B4Z6wo00f01jc-omQAAIBByk4GctL5ZYo3PKbAANLr40OHsHg8RRe1BK03uca1smyI5DA3wElBPDGI.KcAotMiY1IOIhstbtN3bZIM9xRX0NzP.PoYAaq0JjXmU5cIgLSE03L.57r1BQkJe6
]]> <h2 id="前情提要"><a href="#前情提要" class="headerlink" title="前情提要"></a>前情提要</h2><div class="note danger flat"><p>爬虫具有时效性，此篇文章代码不一定长期有效，但是解决方案通用。< MongoEngine 常用语法汇总 https://sitoi.cn/posts/24744.html 2020-06-13T14:54:17.000Z 2025-11-12T05:28:30.733Z MongoEngine 查询

过滤查询

可以通过调用 QuerySet 对象的关键字参数来对数据查询进行过滤，关键字查询中的键和你想要查询的 Document 中的字段一致：

1
users = User.objects(name='sitoi')

对于内嵌 document 的字段可以使用 __ 来代替对象属性访问语法中的 . 进行访问：

1
pages = Page.objects(author__country='chine')

查询操作符

在查询中也可以使用操作符，只要将其加在关键字的双下划线 __ 之后即可：

1
young_users = Users.objects(age__lte=18)

可用的运算符如下：

符号含义
ne不等于 ≠
lt小于 <
lte小于等于 ≤
gt大于 >
gte大于等于 ≥
not否定一个标准的检查，需要用在其他操作符之前(e.g. Q(age__not__mod=5))
in值在 list 中
nin值不在 list 中
modvalue % x == y, 其中 x 和 y 为给定的值
alllist 里面所有的值
size数组的大小
exists存在这个值

字符串查询

以下操作符可以快捷的进行正则查询：

符号含义
exact字符串型字段完全匹配这个值
iexact字符串型字段完全匹配这个值（大小写敏感）
contains字符串字段包含这个值
icontains字符串字段包含这个值（大小写敏感）
startswith字符串字段由这个值开头
istartswith字符串字段由这个值开头（大小写敏感）
endswith字符串字段由这个值结尾
iendswith字符串字段由这个值结尾（大小写敏感）
match执行 $elemMatch 操作，所以你可以使用一个数组中的 document 实例

列表查询

对于大多数字段，这种语法会查询出那些字段与给出的值相匹配的 document，但是当一个字段引用 ListField 的时候，而只会提供一条数据，那么包含这条数据的就会被匹配上：

1
2
3
4
class Page(Document):
    tags = ListField(StringField())

Page.objects(tags='coding')

原始查询

你可以通过 __raw__ 参数来使用一个原始的 PyMongo 语句来进行查询，这样可以进行原始的完整查询：

1
Page.objects(__raw__={'tags': 'coding'})

限制和跳过结果

就像传统的 ORM 一样，你有时候需要限制返回的结果的数量，或者需要跳过一定数量的结果。QuerySet 里面可以使用 limit() 和 skip() 这两个方法来实现，但是更推荐使用数组切割的语法：

限制前 5 个

1
users = User.objects[:5]

跳过前 5 个

1
users = User.objects[5:]

取 10 到 15 个

1
users = User.objects[10:15]

你可以指定让查询返回一个结果。如果这个条在数据库中不存在，那么会引发 IndexError 错误 。使用 first() 方法在数据不存在的时候会返回 None：

默认 Document 查询

默认情况下，Document 的 objects 属性返回一个一个 QuerySet 对象，它并没有进行任何筛选和过滤，它返回的是所有的数据对象。这一点可以通过给一个 document 定义一个方法来修改 一个 queryset 。这个方法需要两参数 __doc_cls 和 queryset 。第一个参数是定义这个方法的 Document 类名（从这个意义上来说，这个方法像是一个 classmethod() 而不是一般的方法），第二个参数是初始化的 queryset。这个方法需要使用 queryset_manager() 来装饰来它，使得它被认可。

1
2
3
4
5
6
7
class BlogPost(Document):
    title = StringField()
    date = DateTimeField()

    @queryset_manager
    def objects(doc_cls, queryset):
        return queryset.order_by('-date')

你不用调用 objects 方法，你可以自定义更多的管理方法，例如：

1
2
3
4
5
6
7
8
9
10
11
12
class BlogPost(Document):
    title = StringField()
    published = BooleanField()

    @queryset_manager
    def live_posts(doc_cls, queryset):
        return queryset.filter(published=True)

BlogPost(title='test1', published=False).save()
BlogPost(title='test2', published=True).save()
assert len(BlogPost.objects) == 2
assert len(BlogPost.live_posts()) == 1

自定义 QuerySets

当你想自己定义一些方法来过滤 document 的时候，继承 QuerySet 类对你来说就是个好的方法。为了在 document 里面使用一个自定义的 QuerySet 类，你可以在 document 里的 meta 字典里设置 queryset_class 的值来实现它。

1
2
3
4
5
6
7
8
9
10
class AwesomerQuerySet(QuerySet):

    def get_awesome(self):
        return self.filter(awesome=True)

class Page(Document):
    meta = {'queryset_class': AwesomerQuerySet}


Page.objects.get_awesome()

Aggregation 聚合

MongoDB 提供了开箱即用的聚合方法，但没有 RDBMS 提供的那样多。MongoEngine 提供了一个包装过的内置的方法，同时自身提供了一些方法，它实现了在数据库服务上执行的 Javascript 代码的功能。

结果计数

就像限制和跳过结果一样， QuerySet 对象提供了用来计数的方法 - count()，不过还有一个更 Pythonic 的方法来实现：

1
num_users = len(User.objects)
更多功能

当你想为 document 的特定的字段的数量计数的时候，可以使用 sum()：

1
yearly_expense = Employee.objects.sum('salary')

当你想求某个字段的平均值的时候，可以使用 average()：

1
mean_age = User.objects.average('age')

MongoEngine 提供了一个方法来获取一个在集合里 item 的频率 - item_frequencies()。下面一个例子可以生成 tag-clouds：

1
2
3
4
5
6
7
class Article(Document):
    tag = ListField(StringField())

tag_freqs = Article.objects.item_frequencies('tag', normalize=True)

from operator import itemgetter
top_tags = sorted(tag_freqs.items(), key=itemgetter(1), reverse=True)[:10]

高级查询

有时候使用关键字参数返回的 QuerySet 不能完全满足你的查询需要。例如有时候你需要将约束条件进行 and，or 的操作。你可以使用 MongoEngine 提供的 Q 类来实现，一个 Q 类代表了一个查询的一部分，里面的参数设置与你查询 document 的时候相同。建立一个复杂查询的时候，你需要用 & 或 | 操作符将 Q 对象连结起来。例如：

1
2
3
4
5
from mongoengine.queryset.visitor import Q

Post.objects(Q(published=True) | Q(publish_date__lte=datetime.now()))

Post.objects((Q(featured=True) & Q(hits__gte=1000)) | Q(hits__gte=5000))

Atomic updates（原子更新）

MongoDB 文档 可以通过 QuerySet 上的 update_one()、update()、modify() 方法自动更新。下面几种操作符可以被用到这几种方法上：

符号含义
set设置成一个指定的值
unset删除一个指定的值
inc将值加上一个给定的数
dec将值减去一个给定的数
push在 list 中添加一个值
push_all在 list 中添加一个值
pop移除 list 的第一项或最后一项（根据 pop__<field>=val 中 val 的值决定删除第一项还是最后一项，一般情况下，val 为负则删除第一项，为正则删除最后一项，参见：mongodb $pop
pull从 list 里面移除一个值
pull_all从 list 里面移除个值
add_to_set当要添加的值不在 list 中时，添加这个值

原子更新的语法类似于查询语法，区别在于修饰操作符位于字段之前，而不是之后：

给文档中的 page_views 字段上加一个给定的数字

1
2
3
4
5
post = BlogPost(title='Test', page_views=0, tags=['database'])
post.save()
BlogPost.objects(id=post.id).update_one(inc__page_views=1)
post.reload()  # the document has been changed, so we need to reload it
post.page_views

运行输出结果：

1
1

将文档中的 title 更新为 Example Post

1
2
3
BlogPost.objects(id=post.id).update_one(set__title='Example Post')
post.reload()
post.title

运行输出结果：

1
'Example Post'

往文档中 tags 的列表中添加一个值

1
2
3
BlogPost.objects(id=post.id).update_one(push__tags='nosql')
post.reload()
post.tags

运行输出结果：

1
['database', 'nosql']

如果没有修饰操作符，则默认为 $set：

1
2
BlogPost.objects(id=post.id).update(title='Example Post')
BlogPost.objects(id=post.id).update(set__title='Example Post')

服务器端 JavaScript 执行

可以写 Javascript 函数，然后发送到服务器来执行。它返回结果是 Javascript 函数的返回值。这个功能是通过 QuerySet() 对象的 exec_js() 方法实现。传递一个包含一个 Javascript 函数的字符串作为第一个参数。

其余位置的参数的名字字段将作为您的 Javascript 函数的参数传递过去。

在 JavaScript 函数范围中，一些变量可用：

  • collection – 对应使用的 Document 类的集合的名称

  • query – 一个 QuerySet 对象

  • options – 一个对象，它包含要传递给 exec_js() 函数的一些参数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
def sum_field(document, field_name, include_negatives=True):
    code = """
    function(sumField) {
        var total = 0.0;
        db[collection].find(query).forEach(function(doc) {
            var val = doc[sumField];
            if (val >= 0.0 || options.includeNegatives) {
                total += val;
            }
        });
        return total;
    }
    """
    options = {'includeNegatives': include_negatives}
    return document.objects.exec_js(code, field_name, **options)
]]> <h2 id="MongoEngine-查询"><a href="#MongoEngine-查询" class="headerlink" title="MongoEngine 查询"></a>MongoEngine 查询</h2><h3 id="过滤查询"><a href="#过 PyMongo 常用语法汇总 https://sitoi.cn/posts/37062.html 2020-06-10T14:53:42.000Z 2025-11-12T05:28:30.733Z 建立基本连接

首先我们需要建立一个连接，连接 MongoDB 时，我们需要使用 PyMongo 库中的 MongoClient 来建立连接，默认连接的地址是 mongodb://localhost:27017

1
2
3
4
5
from pymongo import MongoClient

clinet = MongoClient("mongodb://localhost:27017")
db = clinet["demo"]
col = db["demo"]

首先通过上面的代码创建 数据库对象和集合对象。

  • 数据库连接实例 MongoClient
  • 数据库实例 demo
  • 集合实例 demo

基本命令

查看数据库信息

1
server_info = clinet.server_info()

输出信息：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
{
  "version": "4.2.6",
  "gitVersion": "20364840b8f1af16917e4c23c1b5f5efd8b352f8",
  "modules": [],
  "allocator": "tcmalloc",
  "javascriptEngine": "mozjs",
  "sysInfo": "deprecated",
  "versionArray": [4, 2, 6, 0],
  "openssl": {
    "running": "OpenSSL 1.1.1  11 Sep 2018",
    "compiled": "OpenSSL 1.1.1  11 Sep 2018"
  },
  "buildEnvironment": {
    "distmod": "ubuntu1804",
    "distarch": "x86_64",
    "cc": "/opt/mongodbtoolchain/v3/bin/gcc: gcc (GCC) 8.2.0",
    "ccflags": "-fno-omit-frame-pointer -fno-strict-aliasing -ggdb -pthread -Wall -Wsign-compare -Wno-unknown-pragmas -Winvalid-pch -Werror -O2 -Wno-unused-local-typedefs -Wno-unused-function -Wno-deprecated-declarations -Wno-unused-const-variable -Wno-unused-but-set-variable -Wno-missing-braces -fstack-protector-strong -fno-builtin-memcmp",
    "cxx": "/opt/mongodbtoolchain/v3/bin/g++: g++ (GCC) 8.2.0",
    "cxxflags": "-Woverloaded-virtual -Wno-maybe-uninitialized -fsized-deallocation -std=c++17",
    "linkflags": "-pthread -Wl,-z,now -rdynamic -Wl,--fatal-warnings -fstack-protector-strong -fuse-ld=gold -Wl,--build-id -Wl,--hash-style=gnu -Wl,-z,noexecstack -Wl,--warn-execstack -Wl,-z,relro",
    "target_arch": "x86_64",
    "target_os": "linux"
  },
  "bits": 64,
  "debug": false,
  "maxBsonObjectSize": 16777216,
  "storageEngines": ["biggie", "devnull", "ephemeralForTest", "wiredTiger"],
  "ok": 1
}

显示当前数据库服务器上的数据库名

1
database_names = clinet.list_database_names()

输出信息：

1
['admin', 'config', 'demo', 'local']

如果没有 demo 数据库是因为在没有插入数据的情况下是不会被创建的，只有第一次插入数据，会自动的创建数据库以及对应的集合。

显示当前数据库上的全部集合名

1
collection_names = db.list_collection_names()

输出信息：

1
['demo']

插入文档

插入一个文档

1
2
3
4
5
6
7
demo = {
    "author": "Sitoi",
    "age": 22,
    "title": "Sitoi-blog",
    "tags": ["man", "spider"]
}
demo_id = col.insert_one(demo).inserted_id

输出信息：

1
5ee3806bb6c75d29c94aa9fc

插入多个文档

1
2
3
4
5
6
7
8
demos = [
    {"author": "blog", "age": 18, "title": "blog", "text": "Sitoi Blog"},
    {"author": "bash", "age": 30, "title": "bash", "text": "Sitoi Blog"},
    {"author": "python", "age": 50, "title": "language", "text": "Sitoi Blog"},
    {"author": "mongodb", "age": 80, "title": "NoSQL", "text": "Sitoi Blog"},
    {"author": "pymongo", "age": 97, "title": "Python for MongoDB", "text": "Sitoi Blog"},
]
demo_ids = col.insert_many(demos).inserted_ids

输出信息：

1
[ObjectId('5ee3806bb6c75d29c94aa9fd'), ObjectId('5ee3806bb6c75d29c94aa9fe'), ObjectId('5ee3806bb6c75d29c94aa9ff'), ObjectId('5ee3806bb6c75d29c94aaa00'), ObjectId('5ee3806bb6c75d29c94aaa01')]

查询文档

查询单个文档

返回查询的第一条，find_one 里面可以填写查询条件

参数说明：

  • filter：查询条件
  • projection：映射条件
1
2
3
query = {}
projection = None
result = col.find_one(filter=query, projection=projection)

查询结果：

1
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fc'), 'author': 'Sitoi', 'age': 22, 'title': 'Sitoi-blog', 'tags': ['man', 'spider']}

查询多个文档

返回一个对象,find 里面可以填写 查询条件

  • filter：查询条件
  • projection：映射条件
1
2
3
query = {}
projection = None
result = col.find(filter=query, projection=projection)

查询结果：

1
<pymongo.cursor.Cursor object at 0x7f695ed56c88>

通过For循环

1
2
3
results = col.find()
for result in results:
    print(result)

遍历结果：

1
2
3
4
5
6
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fc'), 'author': 'Sitoi', 'age': 22, 'title': 'Sitoi-blog', 'tags': ['man', 'spider']}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fd'), 'author': 'blog', 'age': 18, 'title': 'blog', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fe'), 'author': 'bash', 'age': 30, 'title': 'bash', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9ff'), 'author': 'python', 'age': 50, 'title': 'language', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aaa00'), 'author': 'mongodb', 'age': 80, 'title': 'NoSQL', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aaa01'), 'author': 'pymongo', 'age': 97, 'title': 'Python for MongoDB', 'text': 'Sitoi Blog'}

指定返回哪些字段

通过 projection 参数控制返回的结果包含哪些字段

示例一：所有字段

1
results = col.find()

查询结果：

1
2
3
4
5
6
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fc'), 'author': 'Sitoi', 'age': 22, 'title': 'Sitoi-blog', 'tags': ['man', 'spider']}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fd'), 'author': 'blog', 'age': 18, 'title': 'blog', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fe'), 'author': 'bash', 'age': 30, 'title': 'bash', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9ff'), 'author': 'python', 'age': 50, 'title': 'language', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aaa00'), 'author': 'mongodb', 'age': 80, 'title': 'NoSQL', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aaa01'), 'author': 'pymongo', 'age': 97, 'title': 'Python for MongoDB', 'text': 'Sitoi Blog'}

示例二：用字典指定要显示的哪几个字段

1
2
3
query = {}
projection = {"_id": True, "author": True}
results = col.find(filter=query, projection=projection)

查询结果：

1
2
3
4
5
6
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fc'), 'author': 'Sitoi'}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fd'), 'author': 'blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fe'), 'author': 'bash'}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9ff'), 'author': 'python'}
{'_id': ObjectId('5ee3806bb6c75d29c94aaa00'), 'author': 'mongodb'}
{'_id': ObjectId('5ee3806bb6c75d29c94aaa01'), 'author': 'pymongo'}

示例三：用字典指定去掉哪些字段

1
2
3
query = {}
projection = {"_id": False, "author": False}
results = col.find(query, projection=projection)

查询结果：

1
2
3
4
5
6
{'age': 22, 'title': 'Sitoi-blog', 'tags': ['man', 'spider']}
{'age': 18, 'title': 'blog', 'text': 'Sitoi Blog'}
{'age': 30, 'title': 'bash', 'text': 'Sitoi Blog'}
{'age': 50, 'title': 'language', 'text': 'Sitoi Blog'}
{'age': 80, 'title': 'NoSQL', 'text': 'Sitoi Blog'}
{'age': 97, 'title': 'Python for MongoDB', 'text': 'Sitoi Blog'}

示例四：用列表指定要显示哪几个字段

_id 不指定为 False 则必定返回

1
2
3
query = {}
projection = ["author", "title"]
results = col.find(filter=query, projection=projection)

查询结果：

1
2
3
4
5
6
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fc'), 'author': 'Sitoi', 'title': 'Sitoi-blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fd'), 'author': 'blog', 'title': 'blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fe'), 'author': 'bash', 'title': 'bash'}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9ff'), 'author': 'python', 'title': 'language'}
{'_id': ObjectId('5ee3806bb6c75d29c94aaa00'), 'author': 'mongodb', 'title': 'NoSQL'}
{'_id': ObjectId('5ee3806bb6c75d29c94aaa01'), 'author': 'pymongo', 'title': 'Python for MongoDB'}

指定查询条件

符号含义示例
$lt小于{‘age’: {‘$lt’: 18}}
$gt大于{‘age’: {‘$gt’: 18}}
$lte小于等于{‘age’: {‘$lte’: 18}}
$gte大于等于{‘age’: {‘$gte’: 18}}
$ne不等于{‘age’: {‘$ne’: 18}}
$in在范围内{‘age’: {‘$in’: [18, 22]}}
$nin不在范围内{‘age’: {‘$nin’: [18, 22]}}
$all条件内所有值{‘age’: {‘$all’: [18, 22]}}

示例：指定范围，大于等于，小于等于

10 <= 年龄 <= 30

1
2
3
query = {"age": {"$gte": 10, "$lte": 30}}
projection = None
results = col.find(filter=query, projection=projection)

查询结果：

1
2
3
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fc'), 'author': 'Sitoi', 'age': 22, 'title': 'Sitoi-blog', 'tags': ['man', 'spider']}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fd'), 'author': 'blog', 'age': 18, 'title': 'blog', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fe'), 'author': 'bash', 'age': 30, 'title': 'bash', 'text': 'Sitoi Blog'}

并列查询

示例一：不同字段，并列条件

1
2
3
query = {"author": "Sitoi", "age": 22}
projection = None
results = col.find(filter=query, projection=projection)

查询结果：

1
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fc'), 'author': 'Sitoi', 'age': 22, 'title': 'Sitoi-blog', 'tags': ['man', 'spider']}

示例二：相同字段，并列条件

1
2
3
4
5
6
# 错误：
query = {"age": {"$gt": 10}, "age": {"$lt": 20}}
# 正确：
query = {"age": {"$gte": 10, "$lte": 20}}
projection = None
results = col.find(filter=query, projection=projection)

查询结果：

1
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fd'), 'author': 'blog', 'age': 18, 'title': 'blog', 'text': 'Sitoi Blog'}

或条件查询

示例一：不同字段，或条件

1
2
3
query = {"$or": [{"age": 22}, {"author": "blog"}]}
projection = None
results = col.find(filter=query, projection=projection)

查询结果：

1
2
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fc'), 'author': 'Sitoi', 'age': 22, 'title': 'Sitoi-blog', 'tags': ['man', 'spider']}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fd'), 'author': 'blog', 'age': 18, 'title': 'blog', 'text': 'Sitoi Blog'}

示例二：相同字段，或条件

1
2
3
query = {"$or": [{"age": 22}, {"age": 18}]}
projection = None
results = col.find(filter=query, projection=projection)

查询结果：

1
2
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fc'), 'author': 'Sitoi', 'age': 22, 'title': 'Sitoi-blog', 'tags': ['man', 'spider']}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fd'), 'author': 'blog', 'age': 18, 'title': 'blog', 'text': 'Sitoi Blog'}

字段是否存在

示例一：字段不存在

1
2
3
query = {"text": None}
projection = None
results = col.find(filter=query, projection=projection)

查询结果：

1
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fc'), 'author': 'Sitoi', 'age': 22, 'title': 'Sitoi-blog', 'tags': ['man', 'spider']}

示例二：字段存在

1
2
3
query = {"text": {"$ne": None}}
projection = None
results = col.find(filter=query, projection=projection)

查询结果：

1
2
3
4
5
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fd'), 'author': 'blog', 'age': 18, 'title': 'blog', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fe'), 'author': 'bash', 'age': 30, 'title': 'bash', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9ff'), 'author': 'python', 'age': 50, 'title': 'language', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aaa00'), 'author': 'mongodb', 'age': 80, 'title': 'NoSQL', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aaa01'), 'author': 'pymongo', 'age': 97, 'title': 'Python for MongoDB', 'text': 'Sitoi Blog'}

正则查询

这里使用 $regex 来指定正则匹配，^S.* 代表以 S 开头的正则表达式。
这里将一些功能符号再归类为下表。

符号含义示例示例含义
$regex匹配正则表达式{'author': {'$regex': '^S.*'}}author 以 S 开头
$exists属性是否存在{'author': {'$exists': True}}author 属性存在
$type类型判断{'age': {'$type': 'int'}}age 的类型为 int
$mod数字模操作{'age': {'$mod': [5, 0]}}年龄模 5 余 0
$text文本查询{'$text': {'$search': 'Sitoi'}}text 类型的属性中包含 Sitoi 字符串
$where高级条件查询{'$where': 'obj.fans_count == obj.follows_count'}自身粉丝数等于关注数
1
2
3
query = {"name": {"$regex": "^M.*"}}
projection = {}
result = col.find(filter=query, projection=projection)

查询结果：

1
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fc'), 'author': 'Sitoi', 'age': 22, 'title': 'Sitoi-blog', 'tags': ['man', 'spider']}

计数

根据查询条件计数

1
2
query = {}
count = col.count_documents(filter=query)

文档条数：

1
6

排序

用 List 嵌套 tuple 的方式即可：[(字段名 1，排序方式 1),(字段名 2，排序方式 2)]

1
result = col.find().sort([("author", 1), ("title", 1)])

排序结果：

1
2
3
4
5
6
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fc'), 'author': 'Sitoi', 'age': 22, 'title': 'Sitoi-blog', 'tags': ['man', 'spider']}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fe'), 'author': 'bash', 'age': 30, 'title': 'bash', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fd'), 'author': 'blog', 'age': 18, 'title': 'blog', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aaa00'), 'author': 'mongodb', 'age': 80, 'title': 'NoSQL', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aaa01'), 'author': 'pymongo', 'age': 97, 'title': 'Python for MongoDB', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9ff'), 'author': 'python', 'age': 50, 'title': 'language', 'text': 'Sitoi Blog'}

跳过

跳过一个

1
result = col.find().skip(1)

查询结果：

1
2
3
4
5
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fd'), 'author': 'blog', 'age': 18, 'title': 'blog', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fe'), 'author': 'bash', 'age': 30, 'title': 'bash', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aa9ff'), 'author': 'python', 'age': 50, 'title': 'language', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aaa00'), 'author': 'mongodb', 'age': 80, 'title': 'NoSQL', 'text': 'Sitoi Blog'}
{'_id': ObjectId('5ee3806bb6c75d29c94aaa01'), 'author': 'pymongo', 'age': 97, 'title': 'Python for MongoDB', 'text': 'Sitoi Blog'}

限制

限制最多返回多少个

1
result = col.find().limit(1)

查询结果：

1
{'_id': ObjectId('5ee3806bb6c75d29c94aa9fc'), 'author': 'Sitoi', 'age': 22, 'title': 'Sitoi-blog', 'tags': ['man', 'spider']}

更新文档

更新单个文档

update_one 只更新第一个文档。

参数说明：

  • filter：需要更新的数据的查询条件
  • update：包含更新的方式，以及更新的内容
  • upsert：不存在是否插入，更新的数据
1
2
3
query = {"age": 18}
update = {"$set": {"age": 20}}
modified_count = col.update_one(filter=query, update=update, upsert=False).modified_count

更新条数：

1
1

更新多个文档

使用方法和 update_one 一致

1
2
3
query = {"text": "Sitoi Blog"}
update = {"$set": {"text": "Sitoi PyMongo"}}
modified_count = col.update_many(filter=query, update=update, upsert=False).modified_count

更新条数：

1
5

删除文档

删除单个文档

1
2
query = {"author": "Sitoi"}
result = col.delete_one(filter=query).deleted_count

删除条数：

1
1

删除多个文档

1
2
query = {}
results = col.delete_many(filter=query).deleted_count

删除条数：

1
5

附录（代码）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
from pymongo import MongoClient

clinet = MongoClient("mongodb://localhost:27017")

db = clinet["demo"]
col = db["demo"]

print(">>> 查看数据库信息")
server_info = clinet.server_info()
print(server_info)

print(">>> 显示当前数据库服务器上的数据库名")
database_names = clinet.list_database_names()
print(database_names)

print(">>> 显示当前数据库上的全部集合名")
collection_names = db.list_collection_names()
print(collection_names)

print(">>> 插入一个文档")
demo = {
    "author": "Sitoi",
    "age": 22,
    "title": "Sitoi-blog",
    "tags": ["man", "spider"]
}
demo_id = col.insert_one(demo).inserted_id
print(demo_id)

print(">>> 插入多个文档")
demos = [
    {"author": "blog", "age": 18, "title": "blog", "text": "Sitoi Blog"},
    {"author": "bash", "age": 30, "title": "bash", "text": "Sitoi Blog"},
    {"author": "python", "age": 50, "title": "language", "text": "Sitoi Blog"},
    {"author": "mongodb", "age": 80, "title": "NoSQL", "text": "Sitoi Blog"},
    {"author": "pymongo", "age": 97, "title": "Python for MongoDB", "text": "Sitoi Blog"},
]
demo_ids = col.insert_many(demos).inserted_ids
print(demo_ids)

print(">>> 查询单个文档")
query = {}
projection = None
result = col.find_one(filter=query, projection=projection)
print(result)

print(">>> 查询多个文档")
query = {}
projection = None
result = col.find(filter=query, projection=projection)
for one in result:
    print(one)

print(">>> 所有字段")

results = col.find()
for one in results:
    print(one)

print(">>> 用字典指定要显示的哪几个字段")
query = {}
projection = {"_id": True, "author": True}
results = col.find(filter=query, projection=projection)
for one in results:
    print(one)

print(">>> 用字典指定去掉哪些字段")
query = {}
projection = {"_id": False, "author": False}
results = col.find(query, projection=projection)
for one in results:
    print(one)

print(">>> 用列表指定要显示哪几个字段")
query = {}
projection = ["author", "title"]
results = col.find(filter=query, projection=projection)
for one in results:
    print(one)

print(">>> 指定范围，大于等于，小于等于")
query = {"age": {"$gte": 10, "$lte": 30}}
projection = None
results = col.find(filter=query, projection=projection)
for one in results:
    print(one)

print(">>> 不同字段，并列条件")
query = {"author": "Sitoi", "age": 22}
projection = None
results = col.find(filter=query, projection=projection)
for one in results:
    print(one)

print(">>> 相同字段，并列条件")
# 错误：
query = {"age": {"$gt": 50}, "age": {"$lt": 100}}
# 正确：
query = {"age": {"$gte": 10, "$lte": 20}}
projection = None
results = col.find(filter=query, projection=projection)
for one in results:
    print(one)

print(">>> 不同字段，或条件")
query = {"$or": [{"age": 22}, {"author": "blog"}]}
projection = None
results = col.find(filter=query, projection=projection)
for one in results:
    print(one)

print(">>> 相同字段，或条件")
query = {"$or": [{"age": 22}, {"age": 18}]}
projection = None
results = col.find(filter=query, projection=projection)
for one in results:
    print(one)

print(">>> 字段不存在")
query = {"text": None}
projection = None
results = col.find(filter=query, projection=projection)
for one in results:
    print(one)

print(">>> 字段存在")
query = {"text": {"$ne": None}}
projection = None
results = col.find(filter=query, projection=projection)
for one in results:
    print(one)

print(">>> 正则查询")
query = {"author": {"$regex": "^S.*"}}
projection = None
results = col.find(filter=query, projection=projection)
for one in results:
    print(one)

print(">>> 计数")
query = {}
count = col.count_documents(filter=query)
print(count)

print(">>> 排序")
results = col.find().sort([("author", 1), ("title", -1)])
for one in results:
    print(one)

print(">>> 跳过")
results = col.find().skip(1)
for one in results:
    print(one)

print(">>> 限制")
results = col.find().limit(1)
for one in results:
    print(one)

print(">>> 更新单个文档")
query = {"age": 18}
update = {"$set": {"age": 20}}
modified_count = col.update_one(filter=query, update=update, upsert=False).modified_count
print(modified_count)

print(">>> 更新多个文档")
query = {"text": "Sitoi Blog"}
update = {"$set": {"text": "Sitoi PyMongo"}}
modified_count = col.update_many(filter=query, update=update, upsert=False).modified_count
print(modified_count)

print(">>> 删除单个文档")
query = {"author": "Sitoi"}
delete_count = col.delete_one(filter=query).deleted_count
print(delete_count)

print(">>> 删除多个文档")
query = {}
delete_count = col.delete_many(filter=query).deleted_count
print(delete_count)
]]> <h2 id="建立基本连接"><a href="#建立基本连接" class="headerlink" title="建立基本连接"></a>建立基本连接</h2><p>首先我们需要建立一个连接，连接 MongoDB 时，我们需要使用 PyMongo 库中的 MongoClie Fedora 安装 MongoDB 教程 https://sitoi.cn/posts/37161.html 2020-06-09T12:04:00.000Z 2025-11-12T05:28:30.732Z MongoDB 安装

安装环境

  • Fedora 29

安装步骤

  1. 安装 mongodb 和 mongodb-server
  2. 启动服务

安装 MongoDB 和 MongoDB-Server

1
sudo dnf install mongodb mongodb-server

启动服务

启动 mongod 服务

1
sudo systemctl start mongod.service

设置开机自动启动

1
sudo systemctl enable mongod.service
]]> <h1 id="MongoDB-安装"><a href="#MongoDB-安装" class="headerlink" title="MongoDB 安装"></a>MongoDB 安装</h1><h2 id="安装环境"><a href="#安装环境" class="head Squid for Windows 安装教程 https://sitoi.cn/posts/53752.html 2020-06-09T07:21:59.000Z 2025-11-12T05:28:30.733Z 下载 Squid for Windows

下载地址：https://squid.diladele.com/

安装 squid 服务

  1. 双击 squid.msi 安装 squid

    squid.msi

  2. 点击 Next 进入下一步

    安装 Squid

  3. 勾选 I accept -> 点击 Next 进入下一步

    接受协议

  4. 选择安装路径 -> 点击 Next 进入下一步

    选择安装路径

  5. 点击 Install 进行安装

    开始安装

  6. 等待安装完成

    安装中

  7. 安装完成

    完成安装

  8. 检测 电脑右下方 Squid for Windows 是否启动

    安装完成并运行

安装完成

使用浏览器打开 http://127.0.0.1:3128，出现以下页面就表示安装成功。

Squid Web

]]> <h2 id="下载-Squid-for-Windows"><a href="#下载-Squid-for-Windows" class="headerlink" title="下载 Squid for Windows"></a>下载 Squid for Windows</h2>< 多机分布式环境下的 selenium 集群 https://sitoi.cn/posts/19006.html 2020-06-09T04:22:14.000Z 2025-11-12T05:28:30.735Z 前言

还是爬虫里面的某个场景需要重度使用 selenium 场景 ，所以需要起这样一个集群

对比

  • 单机版
  • Docker 单机版
  • Docker 单机集群版
  • Docker 分布式集群版

我们在使用 selenium 的时候，我们一般就使用以上的环境和模式

单机版

单机怎么操作呢，下载相应的 webdriver，安装配置参考教程 Selenium & ChromeDriver 全平台安装教程（Mac、Windows、Linux）

对于小型的使用环境，比如单线程操作，我们安装好环境直接使用就可以了

使用案例（Chrome）

1
2
3
4
5
6
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://sitoi.cn/')
browser.get_screenshot_as_file("sitoi.cn.png")
browser.close()

Docker 单机版

保证安装好 docker 和 docker-compose ，这里就直接使用 docker-compose.yml 文件起一个实例

  1. 编写 docker-compose.yml 文件，内容如下：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    version: "3"

    services:
      chrome:
        image: selenium/standalone-chrome:latest
        restart: always
        environment:
          - GRID_TIMEOUT=40
        ports:
          - 4444:4444

  2. 在 docker-compose.yml 所在的目录，运行如下命令：

    1
    sudo docker-compose up -d

  3. 检测服务是否启动成功

    浏览器打开 http://127.0.0.1:4444/ 就可以看到我们的 hub 界面了，端口对应 docker-compose.yml 文件内的 ports

  4. 使用案例（Chrome）

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    from selenium import webdriver

    browser = webdriver.Remote(
        command_executor='http://127.0.0.1:4444/wd/hub',
        desired_capabilities={
            'browserName': 'chrome',
            'version': '',
            'platform': 'ANY',
            'goog:chromeOptions': {
                'extensions': [],
                'args': ['--no-sandbox', '-headless', '--disable-dev-shm-usage']}
        }
    )

    browser.get("https://sitoi.cn")
    browser.get_screenshot_as_file("sitoi.cn.png")
    browser.quit()

如果你要开很多个也可以，前台挂个 nginx 然后启用多个之后集群

Docker 单机集群版

  1. 编写 docker-compose.yml 文件，内容如下：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    version: "2"
    services:
      hub:
        image: selenium/hub:latest
        ports:
          - "0.0.0.0:4445:4444"

      chrome:
        image: selenium/node-chrome:latest
        restart: always
        depends_on:
          - hub
        environment:
          HUB_HOST: hub

      firefox:
        image: selenium/node-firefox:latest
        restart: always
        depends_on:
          - hub
        environment:
          HUB_HOST: hub

  2. 在 docker-compose.yml 所在的目录，运行如下命令：

    1
    sudo docker-compose up -d

  3. 检测服务是否启动成功

    浏览器打开 http://127.0.0.1:4445/ 就可以看到我们的 hub 界面了，端口对应 docker-compose.yml 文件内的 ports

  4. 使用案例（Firefox）

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    from selenium import webdriver

    browser = webdriver.Remote(
        command_executor='http://127.0.0.1:4445/wd/hub',
        desired_capabilities={
            'browserName': 'firefox',
            'version': '',
            'platform': 'ANY',
            'goog:firefoxOptions': {
                'extensions': [],
                'args': ['--no-sandbox', '-headless', '--disable-dev-shm-usage']}
        }
    )

    browser.get("https://sitoi.cn")
    browser.get_screenshot_as_file("sitoi.cn.png")
    browser.quit()

多机集群

为了解决单机（单机集群）横向扩展不足的问题，我们可以搭建分布式的 selenium 集群，将 hub 节点 和 node 节点拆分开，方便以后的横向扩展，可以通过添加机器来解决单机内存等性能问题。

部署 hub 节点

hub 节点假设在 A 机上，IP 地址为: 10.10.1.1

  1. 编写 docker-compose.yml 文件，内容如下：

    1
    2
    3
    4
    5
    6
    7
    version: "2"
    services:
      hub:
        image: selenium/hub:latest
        restart: always
        ports:
          - "0.0.0.0:4446:4444"

  2. 在 docker-compose.yml 所在的目录，运行如下命令：

    1
    sudo docker-compose up -d

  3. 检测服务是否启动成功

    浏览器打开 http://10.10.1.1:4446/ 就可以看到我们的 hub 界面了，端口对应 docker-compose.yml 文件内的 ports

部署 node 节点（chrome）

node 节点（chrome）假设 B 机上，IP 地址为：10.10.2.1

  1. 编写 docker-compose.yml 文件，内容如下：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    version: "2"
    services:
      chrome:
        image: selenium/node-chrome:latest
        restart: always
        environment:
          - HUB_HOST=10.10.1.1
          - HUB_PORT=4446
          - REMOTE_HOST=http://10.10.2.1:5556
        ports:
          - 0.0.0.0:5556:5555

    HUB_HOST 填写 hub 节点的 IP 地址
    HUB_PORT 填写 hub 节点的 PORT 端口
    REMOTE_HOST 填写地址为 node 节点的 IP 地址，和端口号

  2. 在 docker-compose.yml 所在的目录，运行如下命令：

    1
    sudo docker-compose up -d

部署 node 节点（firefox）

node 节点（firefox）假设 C 机上,ip 地址为：10.10.3.1

  1. 编写 docker-compose.yml 文件，内容如下：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    version: "2"
    services:
      firefox:
        image: selenium/node-firefox:latest
        restart: always
        environment:
          - HUB_HOST=10.10.1.1
          - HUB_PORT=4446
          - REMOTE_HOST=http://10.10.3.1:5557
        ports:
          - 0.0.0.0:5557:5555

  2. 在 docker-compose.yml 所在的目录，运行如下命令：

    1
    sudo docker-compose up -d

  3. 使用案例（Firefox）

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    from selenium import webdriver

    browser = webdriver.Remote(
        command_executor='http://10.10.1.1:4446/wd/hub',
        desired_capabilities={
            'browserName': 'firefox',
            'version': '',
            'platform': 'ANY',
            'goog:firefoxOptions': {
                'extensions': [],
                'args': ['--no-sandbox', '-headless', '--disable-dev-shm-usage']}
        }
    )

    browser.get("https://sitoi.cn")
    browser.get_screenshot_as_file("sitoi.cn.png")
    browser.quit()

总结

  • 使用 docker 极大屏蔽了部署 selenium 会遇到的系统差异问题，步骤简洁，易于配置。
  • 不再需要本地安装 selenium 环境，直接使用远程的环境即可，环境更统一
]]> <h2 id="前言"><a href="#前言" class="headerlink" title="前言"></a>前言</h2><p>还是爬虫里面的某个场景需要重度使用 selenium 场景 ，所以需要起这样一个集群</p> <blockquote> <p>对比</p> Selenium & ChromeDriver 全平台安装教程（Mac、Windows、Linux） https://sitoi.cn/posts/14489.html 2020-06-08T14:37:35.000Z 2025-11-12T05:28:30.733Z 前言

本教程教你如何在 Windows、Mac、Linux 安装 Selenium 并配置对应的 WebDriver，并以 ChromeDriver 为例。

安装 Selenium（全平台通用）

使用 Pypi 包管理器安装，运行如下命令：

1
pip3 install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple --user

输出如下：

1
2
3
4
5
6
7
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Collecting selenium
  Downloading https://pypi.tuna.tsinghua.edu.cn/packages/80/d6/4294f0b4bce4de0abf13e17190289f9d0613b0a44e5dd6a7f5ca98459853/selenium-3.141.0-py2.py3-none-any.whl (904kB)
    100% |████████████████████████████████| 911kB 11.7MB/s
Requirement already satisfied: urllib3 in ./Library/Python/3.7/lib/python/site-packages (from selenium) (1.24.3)
Installing collected packages: selenium
Successfully installed selenium-3.141.0

看到 Successfully installed selenium-3.141.0 就表示安装成功了

配置 ChromeDrvier

查看 Chrome 版本号

打开 Chrome 浏览器，在地址栏输入：chrome://version

Chrome Version

获取对应的版本号、操作系统信息，用于之后下载对应的 ChromeDriver 版本

下载 ChromeDriver

下载地址：

ChromeDriver 版本列表

ChromeDriver 平台版本

安装 ChromeDriver

MAC 版本

  1. 解压下载的 chromedriver_mac64.zip 得到 chromedrive

    Mac ChromeDriver

  2. 将 chromedrive 拷贝到 /usr/local/bin/ 目录下即可。运行如下命令：

    1
    cp chromedriver /usr/local/bin

Windows 版本

  1. 解压下载得 chromedriver_win32.zip 的到 chromedrive.exe

    Windows ChromeDriver

  2. 将 chromedrive.exe 移入到 Google Chrome 根目录下

    默认路径位置：C:\Program Files (x86)\Google\Chrome\Application
    Google Chrome 根目录

  3. 为 Windows 添加 chromedriver 得 PATH 环境变量

    1. 右击 此电脑，选择 属性。

      此电脑 属性

    2. 点击右侧的 高级系统设置

      高级系统设置

    3. 点击标签 高级，再点击 环境变量

      环境变量

    4. 找到 系统变量，再双击 PATH

      编辑 PATH

    5. 点击右上角 新建 按钮，输入放置 chromedriver.exe 的目录路径（C:\Program Files (x86)\Google\Chrome\Application）
      添加 PATH

    6. 点击确认，即可保存

注：如果你之前就打开了编辑器等，请重启编辑器环境变量才会生效！

Linux 版本

  1. 解压下载的 chromedriver_linux64.zip 得到 chromedrive

    Linux ChromeDriver

  2. 将 chromedrive 拷贝到 /usr/bin/ 目录下即可。运行如下命令：

    1
    sudo cp chromedriver /usr/bin

  3. 为 chromedriver 添加可执行权限

    1
    sudo chmod +x /usr/bin/chromedriver

测试是否安装成功

  1. 创建一个 py 文件，将下面的代码复制进去，并运行即可。

    1
    2
    3
    4
    5
    6
    from selenium import webdriver

    browser = webdriver.Chrome()
    browser.get('https://sitoi.cn/')
    browser.get_screenshot_as_file("sitoi.cn.png")
    browser.close()

  2. 看到浏览器自己打开，并且在运行的目录下有图片 sitoi.cn.png 则表示安装成功

]]> <h2 id="前言"><a href="#前言" class="headerlink" title="前言"></a>前言</h2><p>本教程教你如何在 Windows、Mac、Linux 安装 Selenium 并配置对应的 WebDriver，并以 ChromeDrive Scrapy 小技巧（一）：使用 scrapy 自带的函数（follow & follow_all）优雅的生成下一个请求 https://sitoi.cn/posts/61836.html 2020-06-06T12:57:01.000Z 2025-11-12T05:28:30.733Z 前言

如何优雅的获取同一个网站上下一次爬取的链接并放到生成一个 Scrapy Response 呢？

样例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
from urllib import parse

import scrapy


class SitoiSpider(scrapy.Spider):
    name = "sitoi"

    start_urls = [
        'https://sitoi.cn',
    ]

    def parse(self, response):
        href_list = response.xpath("//div[@class='card']/a/@href").extract()
        for href in href_list:
            url = parse.urljoin(response.url, href)
            yield scrapy.Request(url=url, callback=self.parse_next)

    def parse_next(self, response):
        print(response.url)

方式一：使用 urllib 库来拼接 URL

这个方式是通过 urllib 库来对下一个 url 进行补全成完整的 url，再使用 scrapy.Request 的方式进行下一个页面的爬取。

优点

  1. 在处理每一个 href 的时候可以添加一些自定义的内容（例如记录一下当前第几页了等等）

缺点

  1. 需要引入其他的库
1
2
3
4
5
def parse(self, response):
    href_list = response.xpath("//div[@class='card']/a/@href").extract()
    for href in href_list:
        url = parse.urljoin(response.url, href)
        yield scrapy.Request(url=url, callback=self.parse_next)

方式二：使用 response 自带的 urljoin

这个方式是通过 Scrapy response 自带的 urljoin 对下一个 url 进行补全成完整的 url，再使用 scrapy.Request 的方式进行下一个页面的爬取。（和方式一基本相同）

优点

  1. 不再需要在 spider 文件中引入多的第三方库。
1
2
3
4
5
def parse(self, response):
    href_list = response.xpath("//div[@class='card']/a/@href").extract()
    for href in href_list:
        url = response.urljoin(href)
        yield scrapy.Request(url=url, callback=self.parse_next)

方式三：使用 response 自带的 follow

这个方式是通过 Scrapy response 自带的 follow 进行下一个页面的爬取。

优点

  1. 不再需要在 spider 文件中引入多的第三方库。
  2. 不需要写 extract() 来提取 href 字符串，只需要传入 href 这个 Selector（可选）
  3. 不需要写 url 拼接
  4. xpath 只需要编写到 a 标签即可，可以省略掉 @href,即不需要获取 href 的 Selector，直接传递 a 的 Selector（可选）
1
2
3
4
def parse(self, response):
    href_list = response.xpath("//div[@class='card']/a/@href").extract()
    for href in href_list:
        yield response.follow(url=href, callback=self.parse_next)

变种一

  1. 不写 extract() 来提取 href 字符串，传入 href 这个 Selector
1
2
3
4
def parse(self, response):
    href_list = response.xpath("//div[@class='card']/a/@href")
    for href in href_list:
        yield response.follow(url=href, callback=self.parse_next)

变种二

  1. 不写 extract() 来提取 href 字符串，传入 href 这个 Selector
  2. xpath 不写 @href，直接传递 a 的 Selector
1
2
3
4
def parse(self, response):
    href_list = response.xpath("//div[@class='card']/a/")
    for href in href_list:
        yield response.follow(url=href, callback=self.parse_next)

方式四：使用 response 自带的 follow_all

这个方式是通过 Scrapy response 自带的 follow_all 进行下一个页面的爬取。

优点

  1. 不再需要在 spider 文件中引入多的第三方库。
  2. 不需要写 extract() 来提取 href 字符串，只需要传入 href 这个 selector（可选）
  3. 不需要写 url 拼接
  4. 只需要编写到 a 标签即可，可以省略掉 @href，即不需要获取 href 的 SelectorList，直接传递 a 的 SelectorList（可选）
  5. 不需要编写遍历，直接把抓到的 url 的 SelectorList 放入即可

缺点

  1. 如果中间还有什么逻辑，就不太适用了（例如记录一下当前第几页了等等）
1
2
3
def parse(self, response):
    href_list = response.xpath("//div[@class='card']/a")
    yield from response.follow_all(urls=href_list, callback=self.parse_next)

变种

注：前方高能

一行代码搞定。

1
2
def parse(self, response):
    yield from response.follow_all(xpath="//div[@class='card']/a", callback=self.parse_next)
]]> <h2 id="前言"><a href="#前言" class="headerlink" title="前言"></a>前言</h2><p>如何优雅的获取同一个网站上下一次爬取的链接并放到生成一个 Scrapy Response 呢？</p> <h2 id="样例"><a hre Mac 制作 Linux 启动 U 盘 https://sitoi.cn/posts/28583.html 2020-05-01T08:57:00.000Z 2025-11-12T05:28:30.732Z Mac 制作 Linux 启动盘

前期准备

  1. 一个 Mac 电脑
  2. 一个 U 盘（8GB 以上）
  3. 下载好 Linux 系统镜像（iso 文件）

具体步骤

  1. 挂载 U 盘
  2. 解挂 U 盘
  3. 写系统镜像到 U 盘
  4. 完成

一、挂载 U 盘

首先插入 U 盘，打开终端输入下面的命令查看 U 盘是否已经 mount 到系统，或者在 Finder 下也可以看到 U 盘被识别了，如下图所示：

1
diskutil list

diskutil unmountDisk

二、解挂 U 盘

使用 unmount 命令 解除挂载，命令如下：

1
diskutil unmountDisk /dev/disk3

diskutil unmountDisk

这样就有了一个已经插入但是 unmount 的 U 盘了，这时候你在 Finder 下看不到这个 U 盘了，但是用 diskutil list 命令还可以看到。

三、写系统镜像到 U 盘

1
sudo dd if=/Users/shitao/Downloads/CentOS-7-x86_64-DVD-2003.iso of=/dev/disk3 bs=1m

if= 后面是 Linux ios 文件的的路径

of= 后面的是 U 盘的名称

bs 表示写入块大小，可以设置为 2m，但不要太大

Tips：因为是 sudo 所以需要输入密码，输入后按回车即可。

四、完成

等待几分钟，见到如下输出就表示已经成功完成了。

1
2
3
4560+0 records in
4560+0 records out
4781506560 bytes transferred in 291.165911 secs (16421931 bytes/sec)

输出结果

]]> <h1 id="Mac-制作-Linux-启动盘"><a href="#Mac-制作-Linux-启动盘" class="headerlink" title="Mac 制作 Linux 启动盘"></a>Mac 制作 Linux 启动盘</h1><blockquote> <p>前