72 字

1 分钟

基于docker在win11运行pyspider

2024-01-02

spider

/

docker

/

pyspider

在win11中使用pyspider安装出现问题，发生多个报错

发现官网有用docker安装的方式

直接通过docker#

1
# mysql
2
docker run --name mysql -d -v /data/mysql:/var/lib/mysql -e MYSQL_ALLOW_EMPTY_PASSWORD=yes mysql:latest
3
# rabbitmq
4
docker run --name rabbitmq -d rabbitmq:latest
5

6
# phantomjs
7
docker run --name phantomjs -d binux/pyspider:latest phantomjs
8

9
# result worker
10
docker run --name result_worker -m 128m -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest result_worker
11
# processor, run multiple instance if needed.
12
docker run --name processor -m 256m -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest processor
13
# fetcher, run multiple instance if needed.
14
docker run --name fetcher -m 256m -d --link phantomjs:phantomjs --link rabbitmq:rabbitmq binux/pyspider:latest fetcher --no-xmlrpc
15
# scheduler
16
docker run --name scheduler -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest scheduler
17
# webui
18
docker run --name webui -m 256m -d -p 5000:5000 --link mysql:mysql --link rabbitmq:rabbitmq --link scheduler:scheduler --link phantomjs:phantomjs binux/pyspider:latest webui

使用docker-compse#

1
services:
2
  phantomjs:
3
    image: binux/pyspider:latest
4
    command: phantomjs
5
  result:
6
    image: binux/pyspider:latest
7
    external_links:
8
      - mysql
9
      - rabbitmq
10
    command: result_worker
11
  processor:
12
    image: binux/pyspider:latest
13
    external_links:
14
      - mysql
15
      - rabbitmq
16
    command: processor
17
  fetcher:
18
    image: binux/pyspider:latest
19
    external_links:
20
      - rabbitmq
21
    links:
22
      - phantomjs
23
    command : fetcher
24
  scheduler:
25
    image: binux/pyspider:latest
26
    external_links:
27
      - mysql
28
      - rabbitmq
29
    command: scheduler
30
  webui:
31
    image: binux/pyspider:latest
32
    external_links:
33
      - mysql
34
      - rabbitmq
35
    links:
36
      - scheduler
37
      - phantomjs
38
    command: webui
39
    ports:
40
      - "5000:5000"

然后运行即可 docker-compose up -d 运行成功后，如果访问http://localhost:5000/出现下面内容，则说明pyspider运行成功。

50 字

1 分钟

Running pyspider on Windows 11 with Docker

2024-01-02

spider

/

docker

/

pyspider

There were issues installing pyspider on Windows 11, with multiple errors occurring.

I found that the official website offers a Docker-based installation method.

Directly via Docker#

1
# mysql
2
docker run --name mysql -d -v /data/mysql:/var/lib/mysql -e MYSQL_ALLOW_EMPTY_PASSWORD=yes mysql:latest
3
# rabbitmq
4
docker run --name rabbitmq -d rabbitmq:latest
5

6
# phantomjs
7
docker run --name phantomjs -d binux/pyspider:latest phantomjs
8

9
# result worker
10
docker run --name result_worker -m 128m -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest result_worker
11
# processor, run multiple instance if needed.
12
docker run --name processor -m 256m -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest processor
13
# fetcher, run multiple instance if needed.
14
docker run --name fetcher -m 256m -d --link phantomjs:phantomjs --link rabbitmq:rabbitmq binux/pyspider:latest fetcher --no-xmlrpc
15
# scheduler
16
docker run --name scheduler -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest scheduler
17
# webui
18
docker run --name webui -m 256m -d -p 5000:5000 --link mysql:mysql --link rabbitmq:rabbitmq --link scheduler:scheduler --link phantomjs:phantomjs binux/pyspider:latest webui

Using docker-compose#

1
services:
2
  phantomjs:
3
    image: binux/pyspider:latest
4
    command: phantomjs
5
  result:
6
    image: binux/pyspider:latest
7
    external_links:
8
      - mysql
9
      - rabbitmq
10
    command: result_worker
11
  processor:
12
    image: binux/pyspider:latest
13
    external_links:
14
      - mysql
15
      - rabbitmq
16
    command: processor
17
  fetcher:
18
    image: binux/pyspider:latest
19
    external_links:
20
      - rabbitmq
21
    links:
22
      - phantomjs
23
    command : fetcher
24
  scheduler:
25
    image: binux/pyspider:latest
26
    external_links:
27
      - mysql
28
      - rabbitmq
29
    command: scheduler
30
  webui:
31
    image: binux/pyspider:latest
32
    external_links:
33
      - mysql
34
      - rabbitmq
35
    links:
36
      - scheduler
37
      - phantomjs
38
    command: webui
39
    ports:
40
      - "5000:5000"

Then just run: docker-compose up -d After running successfully, if you visit http://localhost:5000/ and see the content below, it indicates that pyspider is running successfully.

139 字

1 分钟

DockerでWin11上のpyspiderを動かす

2024-01-02

spider

/

docker

/

pyspider

Win11で PySpider のインストール中に問題が発生し、複数のエラーが出ました。

公式サイトには Docker を使ったインストール方法があることが分かりました。

Docker で直接#

1
# mysql
2
docker run --name mysql -d -v /data/mysql:/var/lib/mysql -e MYSQL_ALLOW_EMPTY_PASSWORD=yes mysql:latest
3
# rabbitmq
4
docker run --name rabbitmq -d rabbitmq:latest
5

6
# phantomjs
7
docker run --name phantomjs -d binux/pyspider:latest phantomjs
8

9
# result worker
10
docker run --name result_worker -m 128m -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest result_worker
11
# processor, run multiple instance if needed.
12
docker run --name processor -m 256m -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest processor
13
# fetcher, run multiple instance if needed.
14
docker run --name fetcher -m 256m -d --link phantomjs:phantomjs --link rabbitmq:rabbitmq binux/pyspider:latest fetcher --no-xmlrpc
15
# scheduler
16
docker run --name scheduler -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest scheduler
17
# webui
18
docker run --name webui -m 256m -d -p 5000:5000 --link mysql:mysql --link rabbitmq:rabbitmq --link scheduler:scheduler --link phantomjs:phantomjs binux/pyspider:latest webui

Docker Compose の使用#

1
services:
2
  phantomjs:
3
    image: binux/pyspider:latest
4
    command: phantomjs
5
  result:
6
    image: binux/pyspider:latest
7
    external_links:
8
      - mysql
9
      - rabbitmq
10
    command: result_worker
11
  processor:
12
    image: binux/pyspider:latest
13
    external_links:
14
      - mysql
15
      - rabbitmq
16
    command: processor
17
  fetcher:
18
    image: binux/pyspider:latest
19
    external_links:
20
      - rabbitmq
21
    links:
22
      - phantomjs
23
    command : fetcher
24
  scheduler:
25
    image: binux/pyspider:latest
26
    external_links:
27
      - mysql
28
      - rabbitmq
29
    command: scheduler
30
  webui:
31
    image: binux/pyspider:latest
32
    external_links:
33
      - mysql
34
      - rabbitmq
35
    links:
36
      - scheduler
37
      - phantomjs
38
    command: webui
39
    ports:
40
      - "5000:5000"

その後、実行するだけです。
docker-compose up -d

起動に成功した後、もしアクセス http://localhost:5000/ にアクセスして、以下の内容が表示されれば PySpider の起動に成功したことを示します。

基于docker在win11运行pyspider

https://dreaife.tokyo/posts/docker-pyspider-win/

作者

dreaife

发布于

2024-01-02

许可协议

CC BY-NC-SA 4.0

部分信息可能已经过时

numpy学习笔记2

pandas基础使用

dreaife的休憩小栈

直接通过docker#

使用docker-compse#

Directly via Docker#

Using docker-compose#

Docker で直接#

Docker Compose の使用#