主页 / 问题 / 1166136
Accepted
Trulimon
Asked:2020-08-15 03:48:15 +0000 UTC2020-08-15 03:48:15 +0000 UTC

如何从站点下载不同时间段的数据，并结合接收到的数据？

  • 772

从网站 cbr.ru 下载数据。问题是页面包含一天的数据，所以要获取一年的数据，需要翻很多页。

一页给出以下内容：

import requests
import pandas as pd

url = https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=11.03.2014
df = pd.read_html(url, index_col=0)
dfs = df[0]
dfs

我得到下表：

桌子

而且我需要下载几年的数据并转换表格，使行标题成为列标题，而行标题是日期：

转换表

怎么做？

python

1 个回答

  1. Best Answer

    试试这样：

    from datetime import datetime as DT

def parse_url(
        dt, 
        url_pat="https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT={}",
        dt_fmt="%d.%m.%Y",
        verbose=0):
    def pr(*args):
        if verbose > 0:
            print(*args)
    # преобразуем параметр `dt` в строку нужного формата даты,
    # если параметр иммет тип данных соответствующий `datetime`
    if isinstance(dt, (DT, pd._libs.tslibs.timestamps.Timestamp)):
        dt = dt.strftime(dt_fmt)
    # создаём конечный URL из шаблона, указав нужную дату
    url = url_pat.format(dt)
    pr(f"parsing URL: [{url}]")
    # парсим данные из WEB страницы в Pandas.DataFrame
    # и избавляемся от имени индекса 
    df = pd.read_html(url, index_col=0)[0].rename_axis(None)
    # парсим реальную дату из последней строки df: "... с датой проведения XX.XX.XXXX"
    real_date = df.index[-1][-10:]
    if real_date != dt:
        pr(f"WARNING: couldn't find any data for [{dt}], parsing the latest available date instead: [{real_date}] !")
    # удаляем дату из индекса
    df = df.rename(index={df.index[-1]: df.index[-1][:-30]})
    # переименовываем столбец так, чтобы имя столбца соответствовало полученной дате `real_date`
    df = df.rename(columns={1: real_date})
    # возвращаем _транспонированный_ DataFrame
    return df.T

    调用示例：

    dt_from = "2020-01-01"
dt_to = DT.today()
# запускаем функцию для каждого вторника из указанного диапазона дат
# и объединяем полученные фреймы в один
res = pd.concat([parse_url(d, verbose=1) 
                 for d in pd.date_range(dt_from, dt_to, freq="W-TUE")])
res = res.drop_duplicates(keep="last")

    结论：

    In [87]: res = pd.concat([parse_url(d, verbose=1) for d in pd.date_range(dt_from, dt_to, freq="W-TUE")])
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=07.01.2020]
WARNING: couldn't find any data for [07.01.2020], parsing the latest available date instead: [18.08.2020] !
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=14.01.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=21.01.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=28.01.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=04.02.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=11.02.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=18.02.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=25.02.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=03.03.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=10.03.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=17.03.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=24.03.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=31.03.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=07.04.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=14.04.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=21.04.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=28.04.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=05.05.2020]
WARNING: couldn't find any data for [05.05.2020], parsing the latest available date instead: [18.08.2020] !
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=12.05.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=19.05.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=26.05.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=02.06.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=09.06.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=16.06.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=23.06.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=30.06.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=07.07.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=14.07.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=21.07.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=28.07.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=04.08.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=11.08.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=18.08.2020]
    • 3

相关问题