主要任务是从站点的 robots.txt 中获取数据,并通过 md5() 将其与我的 robots.txt 进行比较。但问题是我特地从网站复制robots.txt并粘贴到我的robots.txt中,行完全一样,类型相同,但一切都一样,但它们不相等,我得到如果我比较它们,则为假。
我不仅通过 md5() 比较了任何东西,它们总是不相等,尽管它们完全相同。还使用了 trim()
URL 取自 domain-to-check 文件
$file = file('domains-to-check.txt');
$robots = file_get_contents('robots.txt');
foreach ($file as $url) {
$ch = curl_init($url.'/robots.txt');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FAILONERROR, true);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($ch, CURLOPT_TIMEOUT, 3);
$data = curl_exec($ch);
if (md5($robots) == md5($data)){
echo 'equal';
} else {
echo 'no equal';
}
var_dump($robots);
var_dump($data);
curl_close($ch);
}