Простейший парсер google через api. Кому надо, тот сам доведёт до ума, с меня только идея . Позволяет парсить примерно 60к ссылок без бана и капчи с 1 Ip, для большей работоспособности без бана можно попробовать добавить задержку. Все файлы должны быть в utf-8. # coding:utf-8 # author: Rushter # site: http://rushter.com import urllib2,random,re,time,json,urllib ff [...]
Написал простенький парсер яндекс картинок. $pages – количество страниц которые парсятся по 1 запросу. Предварительно нужно создать папку img, туда будут сохранятся картинки. Сами запросы кидать в фаил q.txt. < ?php # coding:utf-8 # author: Rushter # site: http://rushter.com set_time_limit(0); $q = file("q.txt"); $pages = 2; $ch = curl_init(); $num = 0; foreach ($q as [...]
Небольшой апдейт паблик версии доргена.В этой версии исправлено множество недочётов и добавлен макрос IMG. Параметры макрос IMG: useimg - Использовать картинки. maximg – Максимально количество копируемых картинок. imgdir – Подпапка папки img,с картинками. dorimgdir – Папка с картинками на самом доре. Т.к в дорах используется много страниц, копировать столько же картинок не очень удобно из [...]
Внутренняя оптимизация – один из самых главных методов продвижения дорвеев .Рассмотрим основые факторы внутренней оптимизации, влияющие на ранжирование в поисковых системах. Title – имеет самую важную роль во внутренней оптимизация.Желательно чтобы в нём содержалось от 1 до 3 ключевых слов и суммарная длина не превышала 60 символов. Разделителями между ключами могут быть запятые и точки.Не [...]
08.05Парсер логов apache
Иногда полезно посмотреть сколько раз заходил и какие страницы загружал поисковый бот. Например так я мониторю индексацию своих доров. Список доменов можно указать в файле domains.txt, либо скрипт сам найдёт все логи в папке. Для firstvds работать будет сразу, для других vds возможно придётся указать другую папку с логами. $domains – фаил с доменами. $ua [...]
07.21Yandex прямой эфир
Понадобился парсер прямого эфира яндекса. Написал на python, его я начал изучать недавно,поэтому код далеко не идеальный. Результат сохраняется в файл efir.txt , может кому-то пригодится… # coding: utf-8 # author: Rushter # site: http://rushter.com import httplib,re,time count = 200 # сколько парсить print "[*]Parsing has started" print "[*]Parsing "+str(count)+" acc" for i in range(count/20): [...]
Простенький чекер проиндексированных страниц в яндексе.Подойдёт для дорвейщиков.Код далее…
Скрипт массового добавления доменов в cpanel.Пробовал на 2 версиях cpanel,возможно на некоторых не работает… Код далее…