有一个很棒的论坛。有用的链接如下所示： https ://forum.woodtools.ru/index.php?topic=65548.0
大约有 43,000 个这样的主题，加上点后面的内容表示主题的页面，例如 https://forum.woodtools.ru/index.php?topic=65548.25
有用链接总数 > 50,000。
使用标准 SMF 插件（论坛引擎），我无法创建站点地图。
问题：是否有必要制作站点地图，或者 Yandex/google 搜索机器人会自行解决吗？
在 robots.txt 中，我禁用了所有技术链接。没有cnc链接
使用站点地图 (sitemap.xml) 时，机器人将更容易索引站点的现有/新页面。如果我有一个大型站点（论坛），我肯定会制作一个站点地图并使用 cron 索引该站点（例如，每周早上 4 点一次）。