【Python】楽天市場APIを使って全てのジャンルのランキング情報取得作業を自動化してみた

Book名:レディースファッション(親ジャンル名).xlsx
┗Sheet名:シャツ(子ジャンル名)
┗Sheet名:ワンピース(子ジャンル名)

.
┗output
┗config.py
┗create_ranking_file.py
┗get_genreId.py
┗rakutenichiba_genre.json

'''
api使用に必要な下記要素をそれぞれ記述してください
    ・アプリID/デベロッパーID
    ・application_secret
    ・アフィリエイトID
'''
CLIENT_ME = {
    'APPLICATION_ID':'',
    'APPLICATION_SECRET':'',
    'AFF_ID':''
}

import datetime
import requests
import time
import json
from config import CLIENT_ME

req_url = 'https://app.rakuten.co.jp/services/api/IchibaGenre/Search/20140222'
genre_params = {
    'applicationId':CLIENT_ME['APPLICATION_ID'],
    'format':'json',
    'formatVersion':'2',
    'genreId':''
}
sta_time = datetime.datetime.today()

def get_genreId():

    print("ジャンル取得中...")

    cnt_p = 0
    cnt_c = 0
    
    ##親ジャンル取得
    res = requests.get(req_url,params=genre_params)
    p_items = json.loads(res.text)
    time.sleep(1)
    
    dict_p_genre = {}
    for p_genre in p_items['children']:
        
        ##子ジャンル取得
        genre_params['genreId'] = p_genre['genreId']        
        res = requests.get(req_url,params=genre_params)
        c_items = json.loads(res.text)
        time.sleep(1)
        
        ##キー：子ジャンルID, 値:子ジャンル名・階層となる子ジャンル辞書作成        
        dict_c_genre = {}
        for c_genre in c_items['children']:
            
            dict_c_info = {
                'genre_name':c_genre['genreName'],
                'genre_level':c_genre['genreLevel']
            }

            dict_c_genre[c_genre['genreId']] = dict_c_info
            cnt_c += 1

        ##キー：親ジャンルID,値:親ジャンル名・階層・子ジャンル辞書となる親ジャンル辞書作成
        dict_p_info = {
            'genre_name':p_genre['genreName'],
            'genre_level':p_genre['genreLevel'],
            'children':dict_c_genre
        }

        dict_p_genre[p_genre['genreId']] = dict_p_info
        cnt_p += 1
    
    ##json形式で本ファイルの直下に保存
    path = r'.\rakutenichiba_genre.json'
    with open(path,encoding='utf-8',mode='w') as f:
        json.dump(dict_p_genre,f,ensure_ascii=False,indent=2)
    
    fin_time = datetime.datetime.today()
    p_time = fin_time - sta_time
    print(f"処理時間 --> {p_time}")
    print(f"親ジャンル総数 --> {cnt_p}")
    print(f"子ジャンル総数 --> {cnt_c}")

        
if __name__ == '__main__':
    get_genreId()

{
  "100371": {
    "genre_name": "レディースファッション",
    "genre_level": 1,
    "children": {
      "110729": {
        "genre_name": "ワンピース",
        "genre_level": 2
      },
      "568650": {
        "genre_name": "シャツワンピース",
        "genre_level": 2
      },
・
・
・

import pandas as pd
import os,re,json,datetime,requests,\
openpyxl,time
from config import CLIENT_ME
import get_genreId

REQ_URL = 'https://app.rakuten.co.jp/'\
'services/api/IchibaItem/Ranking/20170628'
PATH_GENRE = r'.\rakutenichiba_genre.json'
PATH_OUTPUT = '.\output'
RE_PATTRN_CHACK_NAME = r'(:|\\|\?|\[|\]|\/|\*)'
WANT_ITEMS = [
    'genreId','rank','itemCode',
    'itemName','itemPrice','catchcopy',
    'itemCaption','reviewAverage','reviewCount',
    'shopCode','shopName','itemUrl','shopUrl'
]

sta_time = datetime.datetime.today()
this_date = format(sta_time,'%Y%m%d')
path_output_dir = f'.\output\{this_date}'
req_params = {
    'applicationId':CLIENT_ME['APPLICATION_ID'],
    'format':'json',
    'formatVersion':'2',
    'genreId':'',
    'page':'1'
}

def main():
    
    ###必要ファイル用意
    ##指定名のjsonファイルがない場合は生成
    if not os.path.isfile(PATH_GENRE):
        print("#####ジャンル取得を行います#####")
        get_genreId.get_genreId()
    
    with open(PATH_GENRE,encoding='utf-8',mode='r') as f:
        dict_genre = json.load(f)

    if not os.path.isdir(PATH_OUTPUT):
        os.mkdir(PATH_OUTPUT)
    
    if not os.path.isdir(path_output_dir):
        os.mkdir(path_output_dir)

    ##シート名に使用できない文字を一致させる正規表現
    re_check_name = re.compile(RE_PATTRN_CHACK_NAME)

    for p_genre_id,p_genre_info in dict_genre.items():
        
        print(f'#####\n親ジャンルID --> {p_genre_id}')
        print(f"親ジャンル名 --> {p_genre_info['genre_name']}\n#####")

        #ランキングファイル作成
        path_output_file = f"{path_output_dir}\{p_genre_id}_{p_genre_info['genre_name']}.xlsx"
        wb = openpyxl.Workbook()
        wb.save(path_output_file)        

        #各種ランキング情報取得
        for c_genre_id,c_genre_info in p_genre_info['children'].items():
            
            print(f"子ジャンルID --> {c_genre_id}")
            print(f"子ジャンル情報 --> {c_genre_info}")
            
            req_params['genreId'] = c_genre_id
            res = requests.get(REQ_URL,params=req_params)
            time.sleep(1)

            if res.status_code != 200:
                print(f"error --> {res.status_code}")
            else:                
                
                #レスポンスをdf化
                res = json.loads(res.text)
                df = pd.DataFrame(res['Items'])[WANT_ITEMS]

                #dfをシートへ出力
                tmp_genre = is_suitble_sheet_name(re_check_name,c_genre_info['genre_name'])
                with pd.ExcelWriter(path_output_file, mode='a') as writer:
                    df.to_excel(writer, sheet_name=tmp_genre,index=False)
        
        #初期シート削除
        wb = openpyxl.load_workbook(path_output_file)
        ws = wb.worksheets[0]
        if len(wb.worksheets) != 1:
            wb.remove(ws)
        else:
            ws.title = '取得失敗'
            ws['A1'] = '取得失敗'
        wb.save(path_output_file)

    fin_time = datetime.datetime.today()
    p_time = fin_time - sta_time
    print(f"処理時間 --> {p_time}")

##シート名に不適切な文字が含まれるまたは不適切な文字列の場合、編集する関数
def is_suitble_sheet_name(arg_re,arg_genre):
    
    #文字判定(不適切文字はアンダーバーに置き換え)
    match_result = arg_re.findall(arg_genre)
    if match_result:            
        arg_genre = arg_re.sub('_',arg_genre)
    
    #文字数判定
    if len(arg_genre) >= 31:
        arg_genre = arg_genre[0:31]
    
    return arg_genre
                                    
if __name__ == '__main__':
    print("#####\n処理を開始します\n#####")
    main()
    print("#####\n処理を終了します\n#####")