scrapling
Scrapling是一个用于提取网页数据和抓取网站的Python框架，可通过Python、命令行或AI代理获取页面、解析内容并导出结果。
挑一个能复现的小 issue，用 AI 编程助手把它修好。
分享到 X许可证: BSD-3-Clause
概述
Scrapling是一个Python网页抓取框架，既可处理单个页面，也可用于更大规模的网站抓取。它结合HTTP请求与可渲染JavaScript的浏览器，并支持与页面交互及捕获后台API调用。解析器支持CSS和XPath选择器，爬虫可并发运行、重试请求、轮换代理，并支持暂停和恢复。可通过Python库、命令行工具或MCP服务器使用，并将结果导出为JSON、CSV、XML等格式。
主要特点
- 通过HTTP或可渲染JavaScript的浏览器获取页面，并捕获后台API调用。
- 使用CSS、XPath、文本或正则表达式提取内容。
- 构建支持并发、重试、代理轮换、暂停和恢复的爬虫。
- 通过Python库、命令行工具或MCP服务器使用，并导出为JSON、JSONL、CSV或XML。
适用场景
适合需要从网页提取结构化数据或构建爬虫的开发者。当需要在同一工作流中获取页面、解析内容并导出数据时，可以选择它。
- 上游仓库
- D4Vinci/Scrapling
- GitHub 上的 fork
- Guo-astro/scrapling
- 上游 Star 数
- 95k
- 分类
- 开发者工具与基础设施
- 编程语言
- Python
- 许可证
- BSD-3-Clause
- Fork 时间
- 2026-10-03
- 同步状态
- 已同步上次同步 2026-11-08
同分类更多: 开发者工具与基础设施
这是一个用于紫微斗数排盘和查阅传统资料的开源TypeScript引擎，可用于开发排盘与解读工具。
Fork 时间 2026-10-18上次同步 2026-11-08许可证: MIT开发者工具与基础设施GitHub
ImHex是一款用于检查和编辑二进制文件的十六进制编辑器。逆向工程师、程序员和取证分析人员可以搜索和修改字节，或使用模式语言描述文件结构。
Fork 时间 2026-10-17上次同步 2026-11-08许可证: GPL-2.0开发者工具与基础设施GitHub
Numa是面向本地开发和隐私的便携式DNS解析器。它可拦截广告、为本地服务命名为frontend.numa，并在不依赖云服务的情况下运行DNS。
Fork 时间 2026-10-17上次同步 2026-11-08许可证: MIT开发者工具与基础设施GitHub
Handwired将常规JavaScript逻辑转换为可微分的神经网络式计算，并可通过JavaScript或WebGPU以矩阵运算执行，适合探索传统代码的GPU运行与优化。
Fork 时间 2026-10-16上次同步 2026-11-08许可证: MIT开发者工具与基础设施GitHub