144 文字
1 分
Dockerを使用してWindows 11でpyspiderを実行する
Windows 11でpyspiderをインストールしようとしたところ、複数のエラーが発生しました。
公式サイトを確認すると、Dockerを使ったインストール方法がありました。
Dockerを直接使用する
# mysqldocker run --name mysql -d -v /data/mysql:/var/lib/mysql -e MYSQL_ALLOW_EMPTY_PASSWORD=yes mysql:latest# rabbitmqdocker run --name rabbitmq -d rabbitmq:latest
# phantomjsdocker run --name phantomjs -d binux/pyspider:latest phantomjs
# result workerdocker run --name result_worker -m 128m -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest result_worker# processor, run multiple instance if needed.docker run --name processor -m 256m -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest processor# fetcher, run multiple instance if needed.docker run --name fetcher -m 256m -d --link phantomjs:phantomjs --link rabbitmq:rabbitmq binux/pyspider:latest fetcher --no-xmlrpc# schedulerdocker run --name scheduler -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest scheduler# webuidocker run --name webui -m 256m -d -p 5000:5000 --link mysql:mysql --link rabbitmq:rabbitmq --link scheduler:scheduler --link phantomjs:phantomjs binux/pyspider:latest webuidocker-compseを使用する
services: phantomjs: image: binux/pyspider:latest command: phantomjs result: image: binux/pyspider:latest external_links: - mysql - rabbitmq command: result_worker processor: image: binux/pyspider:latest external_links: - mysql - rabbitmq command: processor fetcher: image: binux/pyspider:latest external_links: - rabbitmq links: - phantomjs command : fetcher scheduler: image: binux/pyspider:latest external_links: - mysql - rabbitmq command: scheduler webui: image: binux/pyspider:latest external_links: - mysql - rabbitmq links: - scheduler - phantomjs command: webui ports: - "5000:5000"あとは次のコマンドを実行するだけです。docker-compose up -d
正常に起動した後、http://localhost<5000>5000>/にアクセスして以下の内容が表示されれば、pyspiderは正常に動作しています。

共有
この記事が役に立ったときは、ぜひ他の人に共有してください!
Dockerを使用してWindows 11でpyspiderを実行する
https://dreaife.tokyo/jp/posts/docker-pyspider-win/ 一部の情報は古い可能性があります
関連した投稿 スマート
1
Pythonスクレイピング環境の構築
試行錯誤 Pythonクローラー環境の構築手順。requests、Selenium、lxml、Beautiful Soup、各種DB、mitmproxy、Appium、pyspider、Scrapyの導入を整理します。
2
Docker入門
学び Docker入門として、仮想マシンとの違い、イメージとコンテナ、Docker Hub、基本コマンド、永続化ボリューム、Docker Composeを整理します。
3
Alibaba CloudでDocker+code-serverを構成してオンラインコンパイラを実現する
試行錯誤 Alibaba Cloud上でDocker、Nginx、code-serverを使い、オンラインC/C++開発環境を構築する手順。ミラー設定、コンテナ起動、コンパイラ導入、テスト実行までを扱います。
4
UbuntuのNATを介してネットワークをルーターへ転送する
試行錯誤 UbuntuでNetplanの固定IP、IPフォワーディング、DHCP、NATを設定し、ホスト回線をルーターへ共有してクライアント接続を検証します。
5
GitHub ActionsでAngularページを自動デプロイする
試行錯誤 GitHub ActionsでAngularをGitHub Pagesへ自動デプロイ。outputPath、angular-cli-ghpages、ワークフロー、トークン、gh-pagesブランチの設定を扱います。





