爬虫部署最后总结-zhihu_basic

1）supervisor配置和启动命令
配置文件放置的地方
cd etc/supervisor/conf.d
编写配置文件

[program:project]
command = python main.py //运行命令
autostart = true  //supervisor开机启动
autorestart = true  //异常崩掉以后重启
stdout_logfile = 文件地址   #日志地址
stderr_logfile = 文件地址

修改配置文件以后要重启supervisor

service supervisor restart

2）如果用supervisor管理scrapy，主程序要放到根目录以下，不然无法用crawl运行项目。。。但是启动以后好像运行速度很慢，也不知为什么
3）mongod的自启动和后台运行也可以用supervisor，参见第一步的配置

command = data/mongodb/bin/mongod --dbpath /data/db 其他都是相同的

4）打印日志很重要，很多错误都可以从日志中查出来
5）linux查看占用端口的进程

ps -ef | grep 名字
netstat -ap | grep 8080
lsof -i:8888
kill -9 id   //杀死进程

6）vim清空文档，非插入模式下

:.,$d