爬虫

一、爬虫的用途

• 数据分析/人工智能数据集
• 作为社交软件冷启动
• 舆情监控
• 竞争对手监控

二、数据抓取

1、library

• requests
• urllib
• pycurl

2、Tools

• curl
• wget
• httpie