python自动化框架Portia并生成scrapy自动化脚本文件

视频教程：https://www.bilibili.com/video/av21087352/

Mac 下部署可视化爬虫工具Portia

1.Mac上安装docker

2.安装python （Mac一般自带）

3.运行portia

1、采用docker-compose方式运行

下载代码：git clone https://github.com/scrapinghub/portia.git

安装docker-compose 在终端输入：pip install docker-compose 回车

等待安装docker-compose完成。

查看是否安装成功：docker-compose -v 回车

2、采用docker方式运行（本人采取的方式）

安装Portia 在终端输入：docker run -v ~/portia_projects:/app/data/projects:rw -p 9001:9001 scrapinghub/portia 回车

docker run -i -t -v /users/dearzhang/dev/docker/python/portia:/app/data/projects:rw -p 9001:9001 scrapinghub/portia

等待下载安装Portia完成。（Portia完成记得重启下机子）

重启之后查看是否安装成功，再次输入：docker run -v ~/portia_projects:/app/data/projects:rw -p 9001:9001 scrapinghub/portia 回车 就直接启动了

访问项目：http://localhost:9001

并创建一个爬虫项目工程

导出为scrapy所需的执行文件

那么咱们就可以配合scrapy之前的操作进行自动化爬虫了， 直接运行结果即可

具体借鉴视频：https://www.bilibili.com/video/av21087352/

操作步骤：https://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_010_scrapy04.html