Scrapy 速查
共 27 条 Scrapy 爬虫框架用法，涵盖常用命令、爬虫结构、选择器、配置、进阶。 支持搜索与分类筛选，点击即可复制。
常用命令
scrapy 命令行管理项目与爬虫。
| 命令 | 说明 |
|---|---|
| 创建项目 | |
| 生成爬虫骨架 | |
| 运行爬虫 | |
| 运行并输出（json/csv/xml） | |
| 交互式调试响应 | |
| 列出爬虫 / 跑契约测试 |
爬虫结构
解析与跟进。
| 命令 | 说明 |
|---|---|
| 定义爬虫 | |
| 解析并产出（yield dict / Item） | |
| 跟进下一页 | |
| 发起新请求 | |
| 自定义入口（带 headers/cookies） |
选择器
CSS 与 XPath。
| 命令 | 说明 |
|---|---|
| CSS 取属性（get 取首个） | |
| 取全部文本 | |
| XPath 取文本 | |
| 在已选元素上再选 | |
| 用正则提取 |
配置
settings.py 控制行为。
| 命令 | 说明 |
|---|---|
| 遵守 robots.txt（默认 True，合规优先） | |
| 设置 UA | |
| 请求间隔（友好抓取） | |
| 并发请求数 | |
| 自动限速（按响应动态调整） | |
| 超时与重试 |
进阶
管道、中间件与去重。
| 命令 | 说明 |
|---|---|
| 启用 Item Pipeline | |
| 在管道里清洗/入库 | |
| 下载中间件 | |
| 断点续爬（作业目录） | |
| 跨请求传参 |
使用说明
Scrapy 速查：常用命令、爬虫结构、选择器、配置、进阶；支持搜索与分类筛选，点击即可复制。
- 按用途点分类：常用命令、爬虫结构、选择器、配置、进阶。
- 点「命令」列复制到终端或代码。
- 先用 scrapy shell 调试选择器，确认能取到再写进 parse。
- 配置里开 AutoThrottle 并设 DOWNLOAD_DELAY，抓取更友好。
常见问题
- ROBOTSTXT_OBEY 要关吗？
- 建议保持 True：这是合规底线。确需采集时请先确认目标站点授权与许可，并遵守频率限制。
- 为什么取不到数据？
- 多半是选择器或渲染问题：用 scrapy shell 现场测 response.css/xpath；若是 JS 渲染页面，需另用无头浏览器或逆向接口。
- 需要联网吗？
- 速查内容本地可用；抓取需联网。
延伸阅读
相关工具
VRCL
Vercel 速查
vercel deploy / vercel.json / env 速查
NTLF
Netlify 速查
netlify deploy / netlify.toml / Functions 速查
CFW
Cloudflare Workers 速查
wrangler dev / wrangler.toml / bindings 速查
CCI
CircleCI 速查
config.yml / jobs / workflows / orb 速查
TVS
Travis CI 速查
.travis.yml / language / script / deploy 速查
DRNE
Drone CI 速查
.drone.yml / pipeline / steps / plugins 速查