主页 / 问题

全部问题

Martin Hope
Dato Dato
Asked: 2024-12-17 13:35:03 +0000 UTC
  • 5

我有这段代码：

        ces2gTable = pd.DataFrame()
        ces4gTable = pd.DataFrame()
..
            else:
                #print("Это выгрузка из сайта CES")
                cols = [2, 6, 7, 8, 10, 14]
                table = pd.read_excel(locDir+"/"+file, usecols=cols)
                table = table[table["BSS"].isna()]
                #print(table)
                with open("output.log", "a") as outfile:
                    outfile.write("+ File contents received "+file+"\n")
                if "BS_address" in table:
                    ces2gTable = pd.concat([ces2gTable,table])
                elif "RMOD" in table:
                    ces4gTable = pd.concat([ces4gTable,table])
                else: 
                    with open("output.log", "a") as outfile:
                        outfile.write("- Некорректная таблица в файле "+file+"\n")
                with open("output.log", "a") as outfile:
                    outfile.write("+ The necessary 2g 4g data from the file has been loaded into the tables "+file+"\n")
                #print(table)
        print("Таблицы (ces2gTable, ces4gTable) из сайта CES для того, чтобы посмотреть какие данные на сайте не заполнены:")
        print(ces2gTable)
        print(ces4gTable)

如何将这样的代码转换为函数？我到处重复这个代码。仅列的读数发生变化。我尝试这样做：

ces2gTable = pd.DataFrame()
ces4gTable = pd.DataFrame()
def cesTable(col1, col2, col3, col4, col5, col6):
    cols = [col1, col2, col3, col4, col5, col6]
    table = pd.read_excel(locDir+"/"+file, usecols=cols)
    table = table[table["BSS"].isna()]
    #print(table)
    with open("output.log", "a") as outfile:
        outfile.write("+ File contents received "+file+"\n")
    if "BS_address" in table:
        ces2gTable = pd.concat([ces2gTable,table])
    elif "RMOD" in table:
        ces4gTable = pd.concat([ces4gTable,table])
    else: 
        with open("output.log", "a") as outfile:
            outfile.write("- Некорректная таблица в файле "+file+"\n")
    with open("output.log", "a") as outfile:
        outfile.write("+ The necessary 2g 4g data from the file has been loaded into the tables "+file+"\n")
    #print(table)
    return table
...
            else:
                #print("Это выгрузка из сайта CES")
                cesTable(2, 6, 7, 8, 10, 14)
        print("Таблицы (ces2gTable, ces4gTable) из сайта CES для того, чтобы посмотреть какие данные на сайте не заполнены:")
        print(ces2gTable)
        print(ces4gTable)

但我收到一个错误：

Traceback (most recent call last):
  File "P:\projects\FillingInDataForTheSite\py.py", line 150, in <module>
    cesTable(2, 6, 7, 8, 10, 14)
  File "P:\projects\FillingInDataForTheSite\py.py", line 17, in cesTable
    ces4gTable = pd.concat([ces4gTable,table])
UnboundLocalError: local variable 'ces4gTable' referenced before assignment
python
Martin Hope
Viktor Tomilov
Asked: 2024-12-16 23:40:24 +0000 UTC
  • 7

似乎这里的一切都已经被考虑和尝试过了。但我又遇到了一把旧耙子。 Delphi 11/12，处理大型文本文件。

简单代码：

var slist:TStringList;
       slist:=TStringList.Create;
       slist.LoadFromFile(ParamStr(1));

导致错误 Exception EIntOverflow in module PrimitiveMotif.exe at 0000000000010DEA，版本 11 中的整数溢出，以及错误 Exception EAbstractError in module PrimitiveMotif.exe at 0000000000044191，抽象错误在版本 12 中。

该文件是文本。是的，巨大（就像我们所有人一样）。但“仅”1.5 GB，FAR 仅显示 1800 万行，这非常符合 TStringList 的限制。计算机上的内存 - 已满 (192 GB)。去哪里挖？

PS 字符串 - ANSI

windows
Martin Hope
mrgervant
Asked: 2024-12-16 22:51:07 +0000 UTC
  • 5

使用 Python，我使用以下查询将表从 Postgresql 保存到 CSV：

copy ({function}) to stdout with (format csv, delimiter ',', header true, force_quote *);

这个请求在哪里{function}：select ...

请求本身通过以下方式调用copy_expert：

with db_connection.cursor() as cursor, open(file_path, "w") as file:
    cursor.copy_expert(query, file)

一切正常，只有 null 在最终的 csv 中被写入为空值：

... "1",,,,"9597a9724d4dfd0c40681a0", ...
       ^^^^

我需要将 null 保存为""：

... "1","","","","9597a9724d4dfd0c40681a0", ...
       ^^^^^^^^^^

如果我理解正确的话，COPY函数中的NULL参数表示读取CSV时哪些值被识别为null。

是否可以做相反的事情 - 当写入 CSV null 时，将其写为""

或者只是进入原始选择并使用 COALESCE 将每列的 null 替换为空行 - 因为用空字符串初步手动替换 null 有帮助吗？我想知道是否可以使用 COPY 参数配置所需的行为。

UPD：根据@Mike的评论，COPY TO也可以接受NULL值作为参数，但不能传递双引号：

NULL ''           ->  осталось также ,,,
NULL ""           ->  zero-length delimited identifier at or near """"
NULL ''''         ->  null requires a parameter
NULL ''''''       ->  null requires a parameter
NULL '""'         ->  CSV quote character must not appear in the NULL specification
NULL '""""'       ->  CSV quote character must not appear in the NULL specification
NULL E'\'\''      ->  изменилось на ,',',
NULL E'\'\'\'\''  ->  изменилось на ,'','',
NULL E'\"\"'      ->  CSV quote character must not appear in the NULL specification
NULL E'\"\"\"\"'  ->  CSV quote character must not appear in the NULL specification
python
Martin Hope
Alex Nem
Asked: 2024-12-16 22:11:32 +0000 UTC
  • 6

我正在尝试弄清楚套接字是如何工作的。我使用boost asio库，但我仍然没有完全理解一些点：

假设 TCP 连接已成功建立并且套接字已打开。现在我想“向服务器发出请求”并发送某条数据：

template<typename P>
void send_with_payload(Socket& socket, const P& payload)
{
    // Общий размер запроса
    const auto len = sizeof(Header) + sizeof(P);

    // Заголовок
    buffer_copy(buffer_->prepare(sizeof(Header)), boost::asio::buffer(&header_, sizeof(Header)));
    buffer_->commit(sizeof(Header));

    // Полезная нагрузка
    buffer_copy(buffer_->prepare(sizeof(P)), boost::asio::buffer(&payload, sizeof(P)));
    buffer_->commit(sizeof(P));

    // Писать в сокет (покуда не будет записано всё)
    boost::system::error_code error;
    write(socket, *buffer_, boost::asio::transfer_exactly(len), error);
    if(error.failed())
    {
        buffer_->consume(buffer_->size());
        throw std::runtime_error(error.message());
    }

    buffer_->consume(len);
}

而此时问题就出现了：

该线boost::asio::transfer_exactly本质上是一个终止条件。这意味着对套接字的写入将继续，直到“写入”指定的字节数。但写下来到底意味着什么呢？这是否意味着它已在另一面被读取？而且还没读完，流量就被堵住了？ （这正是实践所表明的，但我不确定这种行为是否正确）或者另一侧根本不需要同时读取，数据仍然会发送，但会被“暂停”通过套接字中的服务器（对它们的诽谤，你可以随时执行，并且客户端不会等待服务器读取它们）？或者也许这两种选择都是可能的？

第二点（服务器端）。鉴于录音只录制过一次，“读几次”的正确性如何？例如：

首先，我们从套接字读取数据的第一部分：

void receive(Socket& socket
    , const TypeBits& types
    , const Operation& op = Operation::O_UNKNOWN)
{
    // Читаем ТОЛЬКО заголовок (чтение прекращается когда получен его размер)
    boost::system::error_code error;
    read(socket, *buffer_, boost::asio::transfer_at_least(sizeof(Header)), error);

    auto* data = const_cast<void*>(buffer_->data().data());
    header_ = *static_cast<Header*>(data);

    buffer_->consume(sizeof(Header));
    header_received_ = true;
}

我们第二次读取剩余部分（根据第一次读取时获得的数据，确定剩余部分的大小）

template<typename P>
class RequestWithPayload final : public Request
{
public:
    explicit RequestWithPayload(Request* base)
    : base_(base)
    {}

    ~RequestWithPayload() override = default;

    void receive_payload(Socket& socket) override
    {
        // Читаем "полезную нагрузку" (чтение завершается когда получен размер полезной нагрузки)
        boost::system::error_code error;
        read(socket, *buffer_, boost::asio::transfer_exactly(sizeof(P)), error);
        
        auto* data = const_cast<void*>(buffer_->data().data());
        payload_ = *static_cast<P*>(data);
        buffer_->consume(sizeof(P));
    }

    const P& payload()
    {
        return payload_;
    }

protected:
    P payload_;
    Request* base_;
};

我想做的事情（一次写入 - 两次读取）不起作用（服务器在第二次读取时挂起并永远等待），我不确定这是否是因为它对于套接字来说从根本上来说是错误的（每次我们写，我们立即需要一切并阅读），或出于其他原因。

我将很高兴收到详细的答复。

PS感谢评论，我发现了一个错误，导致服务器在第二次读取时挂起。阅读时，一切都是关于至少transfer_at_least。有必要读取固定且精确的大小（transfer_exactly）。但总的来说，提出的问题仍然是相关的：

  • 当流被阻塞时 - 要解除阻塞，是否需要第二方参与（读取发送的数据）？
  • 如果是，具体是哪一个？ （阅读所有内容/阅读一些内容/尝试阅读）
  • 如果不是，解除线程阻塞的标准是什么，函数在什么时候返回控制权？
c++
上一页
下一页