scrapling
Scraplingは、Webページからのデータ抽出やサイトのクロールに使うPythonフレームワークです。Python、CLI、AIエージェントからページ取得、解析、結果の出力ができます。
再現できる小さなissueを選び、AIコーディングエージェントで直してみましょう。
Xで共有ライセンス: BSD-3-Clause
概要
Scraplingは、1ページの取得から大規模なクロールまで対応するPython製のWebスクレイピングフレームワークです。HTTP取得とJavaScriptを描画するブラウザーを利用でき、ページ操作やバックグラウンドのAPI通信の取得も行えます。CSSやXPathなどで内容を解析し、スパイダーで並行処理、再試行、プロキシ切り替え、一時停止と再開ができます。Pythonライブラリー、CLI、MCPサーバーから使え、JSON、CSV、XMLなどに出力できます。
主な特長
- HTTPまたはJavaScriptを描画するブラウザーでページを取得し、バックグラウンドのAPI通信を取得する。
- CSS、XPath、テキスト、正規表現で内容を抽出する。
- 並行処理、再試行、プロキシ切り替え、一時停止と再開に対応するクローラーを作る。
- Pythonライブラリー、CLI、MCPサーバーから使い、JSON、JSONL、CSV、XMLに出力する。
こんな人・用途に
Webページから構造化データを抽出したり、クローラーを構築したりする開発者に向いています。取得、解析、出力を一つのワークフローで扱いたい場合に選べます。
- アップストリーム
- D4Vinci/Scrapling
- GitHubのフォーク
- Guo-astro/scrapling
- アップストリームのスター数
- 95k
- カテゴリ
- 開発者ツールとインフラ
- 言語
- Python
- ライセンス
- BSD-3-Clause
- フォーク日
- 2026-10-03
- 同期状態
- 同期済み最終同期 2026-11-08
同じカテゴリ: 開発者ツールとインフラ
紫微斗数の命盤を計算し、伝統資料を参照できるTypeScript製オープンソースエンジンです。排盤や解釈ツールの開発に使えます。
フォーク日 2026-10-18最終同期 2026-11-08ライセンス: MIT開発者ツールとインフラGitHub
ImHexはバイナリファイルを調査・編集するための16進エディターです。リバースエンジニアやプログラマー、フォレンジック用途の利用者が、バイトを検索・変更したり、パターン言語でファイル構造を記述したりできます。
フォーク日 2026-10-17最終同期 2026-11-08ライセンス: GPL-2.0開発者ツールとインフラGitHub
Numaはローカル開発とプライバシー向けの移動可能なDNSリゾルバです。広告をブロックし、frontend.numaのようなローカルサービス名を使い、クラウド依存なしでDNSを運用できます。
フォーク日 2026-10-17最終同期 2026-11-08ライセンス: MIT開発者ツールとインフラGitHub
Handwiredは通常のJavaScriptの処理を微分可能な計算に変換し、JavaScriptやWebGPUで行列演算として実行します。従来形式のコードでGPU実行や最適化を試すためのプロジェクトです。
フォーク日 2026-10-16最終同期 2026-11-08ライセンス: MIT開発者ツールとインフラGitHub