Folyd/robotstxt
軟體分類 網路與資訊安全 (Network & Security) / 密碼管理 (Password Managers)
開發廠商 Folyd
官方網站
Git 儲存庫#### 產品特色
* 原生Rust實現，無第三方庫依賴
* 零unsafe碼，確保穩定性
* 完全保留原生庫行為，保持一致性
* 100%通過Google原生測試
* 支持多個瀏覽器標頭與URL匹配
#### 主要功能、特點
專門用於解析與匹配robots.txt文件，支持多個瀏覽器標頭與URL匹配，可直接在Rust中使用，無需第三方庫依賴，保持原生行為，並提供完整的API與測試功能，幫助開發者創建更準確的爬蟲控制工具
#### 指令
“`bash
# 無常用指令（自動生成）
“`