配置服务器

root用户下

更新源并更新软件

apt-get update && apt-get upgrade

安装所需依赖

apt install libxml2 python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

安装其他依赖

apt install gcc libpcre3 libpcre3-dev zlib1g zlib1g-dev openssl

MySQL

安装MySQL(安装过程会提示设置MySQL密码)

apt-get install mysql-server mysql-client libmysqlclient-dev

配置MySQL允许任意主机登录

此方法为选择项，如果需要外部可视化工具如Navicat查看数据库数据的话，可以设置
mysql -uroot -p
grant all privileges on *.* to 'root'@'%' identified by '你的root密码' with grant option;
FLUSH PRIVILEGES;

修改MySQL配置文件，注释绑定本地ip

同上方法所述
vi /etc/mysql/mariadb.conf.d/50-server.cnf
# bind-address = 127.0.0.1

重启MySQL服务
service mysql restart

Redis

官方下载稳定版并解压包
tar -zxvf redis-....tar.gz
复制并放到usr/local目录下
mv -r redis-.../* /usr/local/redis/
进入redis目录
cd /usr/local/redis/
生成&测试
make && make test
安装redis
make install
修改配置文件
vi /usr/local/redis/redis.conf

# 屏蔽绑定本地环回
# bing 127.0.0.1
# 守护进程设置为yes
daemonize yes
# 数据文件
dbfilename dump.rdb
# 数据文件存储路径(可能需要自己在/var/lib/redis目录里面创建文件夹)
dir /var/lib/redis
# 日志文件(可能需要自己在/var/log/redis/里面创建redis-server.log)
logfile /var/log/redis/redis-server.log

把配置文件移动到/etc/目录下
cp /usr/local/redis/redis.conf /etc/redis/

安装爬虫环境

非虚拟环境下
首先在Ubuntu进入虚拟环境导出爬虫包
pip freeze>spider.txt

之后spider.txt上传到服务器，再执行安装
pip install -r spider.txt

安装MySQL-python报错

虚拟环境中MySQL-python安装遇到问题：Command “python setup.py egg_info” failed

安装依赖libmysqlclient18
apt install libmysqlclient18
安装依赖libmysqlclient-dev
apt install libmysqlclient-dev
之后重新安装MySQL-python
pip install MySQL-python

再次执行pip install -r spider.txt即可

设置退出终端，重新连接后，还可以继续查看爬虫情况

安装Screen(可以将其想想为一个窗口控制工具)
apt install screen
慎用exit

查看当前已存在的窗口
screen -ls

创建一个spider窗口
screen -S spider

当断开连接后，需要重新连接查看爬虫情况
screen -R spider

Screen详细使用方法：
https://www.cnblogs.com/mchina/archive/2013/01/30/2880680.html