Pythonで簡単な業務を自動化するRPAを自作してみた　Google検索上位100サイトをスクレイピング

import sys
from selenium import webdriver
from time import sleep
import datetime
import os
import pandas as pd
from pandas import Series,DataFrame

'''
環境に合わせて以下定数を編集して下さい

PATH_DRIVER：chromedriverが保存されているファイルパス
NUM_ACQ：欲しいデータ数
FILE_FMT：出力ファイル形式(「.csv」または「.txt」)
'''

PATH_DRIVER = ('')
NUM_ACQ = 100
FILE_FMT = ('.csv')

#初期設定
key_find = ''
cnt = 1
ranks = []
titles = []
urls = []
flg_end = False

#コマンドライン引数判定、キーワード無の場合は処理中断
if len(sys.argv) <= 1:
    print("####\nEnter the keyword that you want to know seo rank.Please try again.\n####")
    sys.exit()

#検索ワード生成、キーワードが複数の場合、キーワード間にスペース
for word in sys.argv:
    if cnt == 2:
        key_find += word
    elif cnt >= 3:
        key_find += " " + word

    cnt += 1

#出力ファイルパス生成
this_dt = datetime.datetime.now()
this_dt = this_dt.strftime('%Y%m%d_%H%M%S')
tg_path = os.path.dirname(__file__) + "\\" + this_dt + FILE_FMT

#ブラウザ起動
driver = webdriver.Chrome(PATH_DRIVER)
driver.get('https://www.google.co.jp')

sleep(1.5)

#キーワード入力
search_bar = driver.find_element_by_xpath('//input[@class="gLFyf gsfi"]')
search_bar.send_keys(key_find)
search_bar.submit()

sleep(1)

print("\n\n####\nSTART COLLECTING DATA\n###\n\n")
print("-----------------------------")

#カウンターリセット
cnt = 1

#指定された数を満たすまでループ
while True:

    #検索結果ページ内のループ
    for elm_h3 in driver.find_elements_by_xpath('//a/h3'):
        elm_a = elm_h3.find_element_by_xpath('..')
        
        #取得した各データをリストへ格納
        ranks.append(str(cnt) + "位")
        titles.append(elm_h3.text)
        urls.append(elm_a.get_attribute('href'))

        print(cnt)
        print(elm_h3.text)
        print(elm_a.get_attribute('href'))
        print("-----------------------------")

        sleep(0.25)
        
        #カウンター更新
        cnt += 1

        #カウンター値判定
        if cnt == NUM_ACQ + 1:
            flg_end = True
            break
        else:
            flg_end = False

    #終了フラグ判定
    if flg_end == True:
        driver.quit()
        break
    else:
        print("\n###\nGO TO THE NEXT PAGE\n###\n")
        print("-----------------------------")
        nxt_elm = driver.find_element_by_id('pnnext')
        nxt_elm.click()

        sleep(1.5)

#各リストをシリーズ化
ranks = Series(ranks)
titles = Series(titles)
urls = Series(urls)

#各シリーズをデータフレーム化、カラム名設定
df = pd.concat([ranks,titles,urls],axis=1)
df.columns = ['Rank','Title','Url']

#ファイルへ書き込み
df.to_csv(tg_path,index=False,encoding='utf-8-sig',sep=",")

print('\n####\nFINISHED!!\n####\n')

python xxxx.py yyyy zzzz