Поиск по блогу

воскресенье, 5 октября 2008 г.

Парсинг выдачи поисковиков. Определение позиции сайта. Часть I

Парсинг выдачи поисковиков — дело тонкое. Нехитрое, но тонкое.

Я думаю, что любой, кто начинал заниматься парсингом, — тренировался на поисковиках. Рассмотрим и мы эту задачу в качестве примера.

Итак, цель: создать приложение, которое рассматривает выдачу поисковика по ряду запросов и определяет, на каком месте в выдаче находится наш сайт. При частых запросах поисковик на какое-то время банит по айпишнику, поэтому надо или выставлять достаточную паузу между запросами, или использовать прокси. О прокси будем говорить чуть позже, так как тема эта довольно обширная. Для решения поставленной цели будем использовать временную задержку. Тем более, что пишем утилиту "для внутренних нужд" и пользоваться ей будем не так часто.

При написании программы всегда хочется сделать более-менее универсальную вещь. Однако известно, что каждый поисковик требует индивидуального подхода. Например, Яндекс проще было бы парсить через Яндекс XML, но там количество запросов без платного аккаунта ограничено. Но мы же все-таки просто тренируемся. Попробуем сделать простую программу, желательно с гибкой настройкой. Будем оперировать объектами.

У объекта "Поисковик" на первый взгляд должны быть свойства:
- название;
- шаблон get-запроса (с учетом возможности указания страницы);
- регулярное выражение для нахождения блока "сайт - сниппет" в выдаче поисковика.

Объявляем класс:
  TSearcher  = class
Name,
NextPageTmpl,
LinkRegExp : string;
end;

Информацию о поисковиках будем хранить в INI-файле. Положительные стороны использования INI-файлов при разработке программ я уже описывала: легкость перенастройки (без перекомпиляции), простота и наглядность. Считывать данные о поисковиках будем тем же методом, который я приводила при описании считывания данных об RSS-агрегаторах. Данные будут считываться при создании формы в список Searchers. В INI-файле будет также храниться информация о сайте и ключевых словах по умолчанию (как правило, для мониторинга своих сайтов мы используем один и тот же набор ключевиков, набирать которые каждый раз заново — нерационально).

procedure TfMain.actLoadINIExecute(Sender: TObject);
var
IniF : TIniFile;
KW,
sVal,
IniFName : string;
Sections,
SecParams,
SL : TStringList;
i : integer;
tmpSearch : TSearcher;
begin
IniFName := ExtractFilePath(Application.ExeName)+'/'+DefaultIniFileName;
if not FileExists(IniFName) then
begin
ShowMessage('Отсутствует ini-файл.');
exit;
end;

IniF := TIniFile.Create(IniFName);
edtSite.Text := iniF.ReadString('MAIN','DefSite',IniFName);
KW := iniF.ReadString('MAIN','DefWords','');

// вывод слов по умолчанию в Memo
SL := TStringList.Create();
ExtractStrings(['|'],[],PChar(KW),SL);
for i := 0 to SL.Count-1 do
Memo.Lines.Add(SL[i]);
SL.Free;

try
Sections := TStringList.Create();
try
// Читаем имена всех поисковиков
IniF.ReadSections(Sections);

// Перебираем имена секций и для секций с именами
// вида SITE создаем объекты
SecParams := TStringList.Create();
try
for i:=1 to Sections.Count do
begin
sVal := Sections[i-1];
if (Pos('SITE', sVal) = 1) and
(StrToIntDef(Copy(sVal, 5, Length(sVal)-4), -1)>0) then
begin
// Читаем параметры секции.
IniF.ReadSectionValues(sVal, SecParams);

if SecParams.Count > 0 then
begin
tmpSearch := TSearcher.Create;
tmpSearch.Name := SecParams.Values['Name'];
tmpSearch.NextPageTmpl := SecParams.Values['NextPageTmpl'];
tmpSearch.LinkRegExp := SecParams.Values['LinkRegExp'];
Searchers.Add(tmpSearch);
end
end;
end;
finally
SecParams.Free();
end;
finally
Sections.Free();
end;
except
end;
IniF.Free;
end;

procedure TfMain.FormCreate(Sender: TObject);
begin
Searchers := TList.Create;
actLoadINI.Execute;
actShowSearchersList.Execute;
end;

procedure TfMain.FormClose(Sender: TObject; var Action: TCloseAction);
var
i : integer;
begin
for i := 0 to Searchers.Count-1 do
TSearcher(Searchers[i]).Free;
Searchers.Free;
end;

procedure TfMain.actShowSearchersListExecute(Sender: TObject);
var
i : integer;
begin
// вывод инфы в TCheckListBox
for i := 0 to Searchers.Count-1 do
begin
SearchersList.AddItem(TSearcher(Searchers[i]).Name,Searchers[i]);
SearchersList.Checked[i] := true;
end;
end;


Интерфейс нашей программы будет примерно таким:
parser interface

Итак, по-моему, для первой части достаточно. О содержимом INI-файла подробнее поговорим в следующий раз.

Программируется гораздо быстрее, чем пишется описание процесса программирования. :)

Читайте окончание здесь.

пятница, 3 октября 2008 г.

"А можно то же самое на PHP?"

Конечно же, можно. Вопрос не в том, на каком языке писать свой парсер, а в том, чтобы внутренне чувствовать направление, в котором копать. А ознакомиться с синтаксисом команд — плёвое дело, это можно сделать, введя правильный запрос в Google.

Итак, PHP. Я вижу только один существенный плюс написания парсера в виде серверного скрипта. Это — возможность запуска его по расписанию "где-то там", а не со своей машины. Это может пригодиться для сбора статистических данных. На Delphi же я, как правило, пишу приложения, которые разово запускаю по мере возникновения необходимости.

Для написания парсера на любом языке программирования нам надо научиться:
1) получать содержимое страницы;
2) работать с регулярными выражениями средствами выбранного языка;
3) использовать объектно-ориентированное программирование для работы со структурированными данными. Этот пункт необязательный. Можно с тем же успехом работать с массивами, но, согласитесь, — неудобно.

Да, забыла самое главное! Надо научиться анализировать данные и думать :)

На PHP получить содержимое страницы можно по-разному. Моих неглубоких познаний в PHP хватит на то, чтобы посоветовать новичкам копать в стороны file_get_contents или библиотеки curl (мануал curl на инглише).

Для работы с регулярными выражениями в PHP, как и в Delphi, все есть.

Работать с классами в PHP тоже несложно, могу посоветовать новичкам подробный и качественный ряд статей по ООП на блоге "От новичка до профессионала".

В общем, направление понятно. Осталось поставить задачу, изучить инструментарий и приступить к работе. Постараюсь в ближайшем времени вернуться к теме PHP, а на выходные уже есть план статьи о парсинге с использованием инструментов Delphi.

четверг, 2 октября 2008 г.

С чего начать?

В комментариях прозвучал вопрос:
А как написать сборщик адресов сайтов из каталогов? Подскажите, пожалуйста, с чего начать?
Итак, постараюсь развернуто ответить.

Начать надо с постановки задачи. Допустим, вы решили собрать данные о сайтах из каталога. Вам нужен какой-то конкретный каталог или вы хотите написать универсальный инструмент для определенного типа каталогов? Надо ли сохранять категории и подкатегории или достаточно обойтись просто информацией о сайтах? После уточнения задачи открываете каталог и начинаете исследовать код.

Определитесь с инструментарием. Допустим, я выбираю Delphi, а собранные данные буду хранить в структурированном виде в текстовых файлах (потом при желании их можно будет легко обработать).

Уложите в голове алгоритм, сформулированный в тезисах, и прикиньте, как он будет реализован.

Расскажу, как бы я поступила, если бы надо было просто собрать информацию о сайтах. Создала бы класс "Ссылка_сайта" (свойства: непосредственно сама ссылка и "флаг посещения" (у непосещенной страницы — false, у посещенной — true)) и список объектов этого класса, загрузила бы главную страницу сайта, собрала бы с нее регуляркой все внутренние ссылки, записала бы их в список (предварительно проверив, что их в списке еще нет), проверила, нет ли на странице данных, подходящих под шаблон блока информации о каком-либо сайте (шаблон составляется заранее на основе анализа кода страницы), найденную информацию записала в базу (текстовую или иную - не имеет значения), проверив, нет ли ее там. И далее - рекурсивно обошла бы таким образом все страницы сайта. У посещенной ссылки "флаг посещения" делать равным true, чтобы посещать все страницы только один раз.

Если с сайта необходимо собрать структурированную информацию (то есть название разделов, подразделов, информацию о принадлежности сайта к определенному разделу), то алгоритм будет иным, адаптированным под скрипт конкретного каталога. В этом случае надо тщательно изучить страницы сайта, чтобы выделить признаки, по которым можно "опознать" раздел, категорию и т.д., а также навигационные элементы для перехода между страницами выдачи.

Поделиться