• Рубрики

  • Разное


  • Подписка

banner

08.05Парсер логов apache

Иногда полезно посмотреть сколько раз заходил и какие страницы загружал поисковый бот. Например так я мониторю индексацию своих доров. Список доменов можно указать в файле domains.txt, либо скрипт сам найдёт все логи в папке. Для firstvds работать будет сразу, для других vds возможно придётся указать другую папку с логами.
$domains – фаил с доменами.
$ua – фаил с user агентами которые нужно парсить.

< ?php
# coding: utf-8
# author: Rushter
# site: http://rushter.com
$domains = 'domains.txt';
$ua = file('ua.txt');
$ld = ('../../../logs/');
if (file_exists($domains)) {
    $tr = 1;
    $domains = file('domains.txt');
} else {
    $domains = glob($ld . "*.access.log");
}
 
foreach ($domains as $dom) {
    if (@$tr == 1) {
        $logs = file($ld . trim($dom) . ".access.log");
    } else {
        $logs = file($dom);
    }
    echo "<font color=\"Red\"><b>$dom</b><br />";
    echo "<ul>";
    foreach ($logs as $lg) {
        foreach ($ua as $uas) {
 
            if (preg_match("#.*".trim($uas).".*#", $lg)) {
                echo "<li type='1'>" . $lg . "</li>";
            }
        }
 
    }
    echo "</ul>";
}
 
?>

Скачать

Категория: Programming, , , , , , , ,

  • http://webpsyhopat.ru/ webpsyhopat

    Отлично. Только он парсит тока основного индексирующего бота яши. Надо дописать чтоб список ботов брал тож из текстовика, тогда можно будет добавить нужных ботов по мере необходимости.

  • http://webpsyhopat.ru/ webpsyhopat

    кстати у тебя шаб я вижу из бесплатных. почисти код шаблона от левых ссылок.
    Вот тут: Категория: Php, apache, logs, Seo, парсер – в двоеточии после слова «Категория» стоит неприкрытый бэк на wpthemes.ru

  • admin

    Убрано всё уже давно,посмотрел ,что-то не нашёл ничего.
    Скрипт дополнил.

  • http://webterrorist.ru webterrorist

    Кстати псих правду пишет, точно в дветочии такое идет:

    Категория:

    поищи по ссылке в исходном коде

  • rushter

    Нашёл,не там совсем искал.
    Спасибо.

  • http://webpsyhopat.ru/ webpsyhopat

    Да не за что. поставь SEO bar для оперы и такую хрень будешь сразу видеть. ;)

  • http://webterrorist.ru webterrorist

    нах та опера, мозилла рулит!)

  • rushter

    Юзаю opera 10,обсуждению не подлежит :) .

  • Vasich

    А если access.log более гига? По-моему не очень круто сразу вот так вот читать все file-ом. Подходит только для небольшой посещаемости.

  • http://rushter.ru rushter

    Ну это для небольших файлов изначально предполагалось.

« »