環境設定#

python3/リクエストライブラリ/解析ライブラリ/データベース/ストレージライブラリ/Webライブラリ/アプリスクレイピングライブラリ/スクレイピングフレームワーク

• python3

  • Windows 11ではストアから直接ダウンロードできます（
  • Linuxではapt-get install python3

• リクエストライブラリ

  • requests

    pip3 install requests

  • selenium

    pip install selenium

  • chromeDriver

    1. Chromeの「概要」でバージョンを確認する
    2. chromeDriverから対応するバージョンをダウンロードする
    3. chromeDriverを環境変数に設定する

  • phantomJS

    新しいバージョンのseleniumではphantomJSがサポートされなくなったため、chromedriverを直接使用できます

    動作確認：

    1
    from selenium import webdriver
    2
    from selenium.webdriver.chrome.options import Options
    3
    
    4
    chrome_options = Options()
    5
    chrome_options.add_argument('--headless')
    6
    chrome_options.add_argument('--disable-gpu')
    7
    driver = webdriver.Chrome(options=chrome_options)
    8
    driver.get("<https://dreaife.icu/>")
    9
    print(driver.current_url)

  • aiohttp

    pip install aiodns

• 解析ライブラリ

  • lxml

    pip install lxml

  • beautifulsoup4

    pip install beautifulsoup4

  • pyquery

    pip install pyquery

  • tesserocr

    • tesseractをインストールする

      Windows

    • tesserocrをインストールする

      Windowsではpip install <name>.whlを使用してインストールします

    • 動作確認

      

      1
      import tesserocr
      2
      from PIL import Image
      3
      
      4
      image = Image.open('G:/codeS/backOnGithub/Jupyter/spider/image.png')
      5
      print(tesserocr.image_to_text(image))

      注意：File “tesserocr.pyx”, line 2580, in tesserocr._tesserocr.image_to_textRuntimeError: Failed to init API, possibly an invalid tessdata pathエラーが発生した場合は、まずtesseractのtest_dataをエラー対象のフォルダーに配置する必要があります

• データベース

  • MySQL
  • MongoDB
  • Redis

• ストレージライブラリ

  • PyMySQL

    pip install pymysql

  • PyMongo

    pip install pymongo

  • redis-py

    pip install redis

  • RedisDump

    Rubyをインストールする

    gem install redis-dump

• Webライブラリ

  • Flask

    pip install flask

  • Tornado

    pip install tornado

• アプリスクレイピングライブラリ

  • charles

  • mitmproxy

    pip install mitmproxy

  • appium

• スクレイピングフレームワーク

  • pyspider

    pip install pyspider

    Windows 11で実行できない場合は、私のこちらの記事をご覧ください

  • scrapy

  • scrapy-splash

  • scrapy-redis