[Python] Steemitサイトを開いてスクロールしてみる

こんにちは、@yasuです。

前回は、Steemitサイトをwebブラウザで開いてみましたが、今回は、自動的にスクロールさせてみます。

最初の投稿までさかのぼって表示するはずです^^

途中で表示が固まってしまうので、自動スクロールをリトライするようにしています。

環境構築

• https://repl.it/ ではなく Visual Studio Codeで行います

コード

#
# STEEMITをwebブラウザで開いてみる。
# 自動スクロール 

from selenium import webdriver
import time

url = "https://steemit.com/@steemitblog/posts"
browser = webdriver.Chrome("./chromedriver.exe")
browser.get(url)

#最後までスクロールする
interval = 1
prev_height = browser.execute_script("return document.body.scrollHeight")

for retry in range(100):
    while True:
        browser.execute_script("window.scrollTo(0,document.body.scrollHeight)")
        time.sleep(interval)
        curr_height = browser.execute_script("return document.body.scrollHeight")
        if curr_height == prev_height:
            break

        prev_height = curr_height
        interval = 1
    
    browser.execute_script("window.scrollBy(0, -10);")

    interval = interval * 1.1
    if interval > 3:
        break

    print(f"retry={retry},interval={interval:.2f}")
    time.sleep(interval)

print("スクロール終了")
browser.save_screenshot("steemit.png")

実行結果

参考サイト

• seleniumの利用方法
  https://selenium-python.readthedocs.io/faq.html?highlight=scroll