mobile wallpaper 1mobile wallpaper 2mobile wallpaper 3mobile wallpaper 4
73 字
1 分钟
基于docker在win11运行pyspider
2024-01-02

在win11中使用pyspider安装出现问题,发生多个报错

发现官网有用docker安装的方式

直接通过docker#

# mysql
docker run --name mysql -d -v /data/mysql:/var/lib/mysql -e MYSQL_ALLOW_EMPTY_PASSWORD=yes mysql:latest
# rabbitmq
docker run --name rabbitmq -d rabbitmq:latest
# phantomjs
docker run --name phantomjs -d binux/pyspider:latest phantomjs
# result worker
docker run --name result_worker -m 128m -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest result_worker
# processor, run multiple instance if needed.
docker run --name processor -m 256m -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest processor
# fetcher, run multiple instance if needed.
docker run --name fetcher -m 256m -d --link phantomjs:phantomjs --link rabbitmq:rabbitmq binux/pyspider:latest fetcher --no-xmlrpc
# scheduler
docker run --name scheduler -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest scheduler
# webui
docker run --name webui -m 256m -d -p 5000:5000 --link mysql:mysql --link rabbitmq:rabbitmq --link scheduler:scheduler --link phantomjs:phantomjs binux/pyspider:latest webui

使用docker-compse#

services:
phantomjs:
image: binux/pyspider:latest
command: phantomjs
result:
image: binux/pyspider:latest
external_links:
- mysql
- rabbitmq
command: result_worker
processor:
image: binux/pyspider:latest
external_links:
- mysql
- rabbitmq
command: processor
fetcher:
image: binux/pyspider:latest
external_links:
- rabbitmq
links:
- phantomjs
command : fetcher
scheduler:
image: binux/pyspider:latest
external_links:
- mysql
- rabbitmq
command: scheduler
webui:
image: binux/pyspider:latest
external_links:
- mysql
- rabbitmq
links:
- scheduler
- phantomjs
command: webui
ports:
- "5000:5000"

然后运行即可 docker-compose up -d 运行成功后,如果访问http://localhost<5000>/出现下面内容,则说明pyspider运行成功。

202401022235683.png

分享

如果这篇文章对你有帮助,欢迎分享给更多人!

基于docker在win11运行pyspider
https://dreaife.tokyo/cn/docker-pyspider-win/
作者
dreaife
发布于
2024-01-02
许可协议
CC BY-NC-SA 4.0

部分信息可能已经过时

相关文章 智能推荐
1
spider基础库学习
spider 学习爬虫基础库,包括Python的urllib和requests库的使用。介绍了HTTP请求的构造、异常处理、URL解析、正则表达式的应用,以及如何提取猫眼电影排行榜的信息。强调了请求头、Cookies、代理设置和会话维持等高级用法。
2
python爬虫环境配置
spider 配置Python爬虫环境包括安装Python3、请求库(如requests和selenium)、解析库(如lxml和beautifulsoup4)、数据库(如MySQL和MongoDB)、存储库(如PyMySQL和PyMongo)、web库(如Flask和Tornado)、app爬取库(如mitmproxy和appium)以及爬虫框架(如pyspider和scrapy)。每个库的安装命令和注意事项均有详细说明。
3
爬虫基础知识
spider 爬虫是自动化程序,用于获取网页信息。基本原理包括发送HTTP请求获取网页源代码,提取所需数据,并将其保存。网页由HTML、CSS和JavaScript构成,爬虫需处理静态和动态网页。会话和Cookies用于维持用户状态,代理服务器可隐藏真实IP以防止被封锁。常用的请求方法有GET和POST,响应状态码指示请求结果。爬虫需遵循反爬虫策略,使用代理和适当的请求头以提高抓取效率。
4
docker初识
infra Docker是一种解决微服务部署问题的技术,通过将应用及其依赖打包到隔离的容器中,避免了环境不一致和依赖冲突。Docker与虚拟机的主要区别在于性能和资源占用,Docker启动速度快且占用空间小。Docker架构包括镜像和容器,用户可以通过DockerHub共享和获取镜像。基本操作包括镜像和容器的创建、管理以及数据卷的使用,以实现数据的持久化和容器与宿主机的解耦。Docker Compose可以简化分布式应用的部署过程。
5
新时代的第一轮筛选
life 随着AI技术的发展,使用先进模型的成本可能导致社会分层,只有经济能力强的人才能使用这些模型。虽然当前价格尚可,但未来价格的上涨可能使大多数人无法承担,从而形成第一轮筛选。作者对这种现象感到焦虑,同时也意识到AI的应用已超越编程领域,进入更广泛的产业。面对新世界的挑战与机遇,个人在时代的推动下不断探索。

目录