crawley

#### 產品特色

* 快速HTML SAX解析器（基於x/net/html庫）
* JavaScript與CSS詞法解析器（基於tdewolff/parse庫）
* 小於1500行碼數，語意化編寫，超過80%測試覆蓋
* 抓取大多數有用的URL（圖片、視頻、音頻、表單等）
* 抓取的URL會流式輸出且唯一（忽略片段）

#### 主要功能、特點

支援網頁爬蟲功能，可自動解析HTML、JavaScript與CSS，提取API端點與URL。支援深度爬蟲、代理設定、瀏覽器頭資訊、Cookie與Header自定義、標籤過濾、URL忽略、子域名爬蟲、快速掃描模式。可設定延遲、請求超時、代理認證等參數，並可選擇顯示或隱藏非資源URL。

#### 指令

“`bash
# 無常用指令（自動生成）
“`