您的当前位置:首页正文

python爬虫需要安装哪些库

2020-11-27 来源:星星旅游
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

1.需要安装的环境,主要是Python环境和数据库环境。

mongodb

redis

mysql

2.常用的一些库

urillb

re

requests

selenium

phantomjs

lxml

beautifulsoup4

pyquery

pymysql

pymongo

redis

flask

django

jupyter