主页 / 问题 / 1203940
Accepted
nicolaa
Asked:2021-11-13 11:55:08 +0000 UTC2021-11-13 11:55:08 +0000 UTC

如何正确索引elasticsearch中的大量信息

  • 772

我在其中创建了一个命令Laravel，在其中我得到了所有商品

$prod = Prod::cursor();

排序并写入elasticsearch

$this->elasticsearch->index([
  'index' => 'prods',
  'type' => 'prod',
  'id' => $prod->prods_id,
  'body' => [
    'site_id' => $prod->site_id,
    'category_id' => $prod->category_id,
    'fields' => $prod->field,
    'priority' => $prod->priority,
    'prod_updated_at' => $prod->updated_at_p,
    'prod_created_at' => $prod->created_at_p,
    'site_rating' => $prod->site_rating,
    'prod_rating' => $prod->prod_rating,
  ],
]);

数据库有超过200万条记录，
平均elasticsearch每小时记录23000个商品，结果写完整个数据库大概需要4天

是否有可能以更快的方式编写？

laravel

1 个回答

  1. Best Answer

    使用批量（）

     /*** Массовое добавление данных в индекс ***/
    public function indexMany(object $collection)
    {
        $parameters = [];
        foreach ($collection as $item) {

            $parameters['body'][] = [
                "index" => [
                    '_id' => $item->uuid,
                    '_index' => 'parser_parts',
                    //'_type' => $item['type'],
                ]
            ];
            $parameters['body'][] = [
                'id' => $item->id,
                'uuid' => $item->uuid,
                'name' => $item->name,
                
            ];

        }
        return $this->client->bulk($parameters);
    }

    • 2

相关问题