Парсинг выдачи поисковиков. Определение позиции сайта. Часть I

Парсинг выдачи поисковиков — дело тонкое. Нехитрое, но тонкое.

Я думаю, что любой, кто начинал заниматься парсингом, — тренировался на поисковиках. Рассмотрим и мы эту задачу в качестве примера.

Итак, цель: создать приложение, которое рассматривает выдачу поисковика по ряду запросов и определяет, на каком месте в выдаче находится наш сайт. При частых запросах поисковик на какое-то время банит по айпишнику, поэтому надо или выставлять достаточную паузу между запросами, или использовать прокси. О прокси будем говорить чуть позже, так как тема эта довольно обширная. Для решения поставленной цели будем использовать временную задержку. Тем более, что пишем утилиту "для внутренних нужд" и пользоваться ей будем не так часто.

При написании программы всегда хочется сделать более-менее универсальную вещь. Однако известно, что каждый поисковик требует индивидуального подхода. Например, Яндекс проще было бы парсить через Яндекс XML, но там количество запросов без платного аккаунта ограничено. Но мы же все-таки просто тренируемся. Попробуем сделать простую программу, желательно с гибкой настройкой. Будем оперировать объектами.

У объекта "Поисковик" на первый взгляд должны быть свойства:
- название;
- шаблон get-запроса (с учетом возможности указания страницы);
- регулярное выражение для нахождения блока "сайт - сниппет" в выдаче поисковика.

Объявляем класс:

  TSearcher  = class
    Name,
    NextPageTmpl,
    LinkRegExp      : string;
  end;

Информацию о поисковиках будем хранить в INI-файле. Положительные стороны использования INI-файлов при разработке программ я уже описывала: легкость перенастройки (без перекомпиляции), простота и наглядность. Считывать данные о поисковиках будем тем же методом, который я приводила при описании считывания данных об RSS-агрегаторах. Данные будут считываться при создании формы в список Searchers. В INI-файле будет также храниться информация о сайте и ключевых словах по умолчанию (как правило, для мониторинга своих сайтов мы используем один и тот же набор ключевиков, набирать которые каждый раз заново — нерационально).

procedure TfMain.actLoadINIExecute(Sender: TObject);
var
  IniF            : TIniFile;
  KW,
  sVal,
  IniFName        : string;
  Sections,
  SecParams,
  SL              : TStringList;
  i               : integer;
  tmpSearch       : TSearcher;
begin
  IniFName := ExtractFilePath(Application.ExeName)+'/'+DefaultIniFileName;
  if not FileExists(IniFName) then
    begin
      ShowMessage('Отсутствует ini-файл.');
      exit;
    end;

  IniF := TIniFile.Create(IniFName);
  edtSite.Text := iniF.ReadString('MAIN','DefSite',IniFName);
  KW := iniF.ReadString('MAIN','DefWords','');

  // вывод слов по умолчанию в Memo
  SL := TStringList.Create();
  ExtractStrings(['|'],[],PChar(KW),SL);
  for i := 0 to SL.Count-1 do
    Memo.Lines.Add(SL[i]);
  SL.Free;

  try
    Sections := TStringList.Create();
    try
      // Читаем имена всех поисковиков
      IniF.ReadSections(Sections);

      // Перебираем имена секций и для секций с именами
      // вида SITE создаем объекты
      SecParams := TStringList.Create();
      try
        for i:=1 to Sections.Count do
        begin
          sVal := Sections[i-1];
          if (Pos('SITE', sVal) = 1) and
             (StrToIntDef(Copy(sVal, 5, Length(sVal)-4), -1)>0) then
          begin
            // Читаем параметры секции.
            IniF.ReadSectionValues(sVal, SecParams);

            if SecParams.Count > 0 then
            begin
              tmpSearch := TSearcher.Create;
              tmpSearch.Name := SecParams.Values['Name'];
              tmpSearch.NextPageTmpl := SecParams.Values['NextPageTmpl'];
              tmpSearch.LinkRegExp := SecParams.Values['LinkRegExp'];
              Searchers.Add(tmpSearch);
            end
          end;
        end;
      finally
        SecParams.Free();
      end;
    finally
      Sections.Free();
    end;
  except
  end;
  IniF.Free;
end;

procedure TfMain.FormCreate(Sender: TObject);
begin
  Searchers  := TList.Create;
  actLoadINI.Execute;
  actShowSearchersList.Execute;
end;

procedure TfMain.FormClose(Sender: TObject; var Action: TCloseAction);
var
  i : integer;
begin
  for i := 0 to Searchers.Count-1 do
    TSearcher(Searchers[i]).Free;
  Searchers.Free;
end;

procedure TfMain.actShowSearchersListExecute(Sender: TObject);
var
  i : integer;
begin
  // вывод инфы в TCheckListBox
  for i := 0 to Searchers.Count-1 do
    begin
      SearchersList.AddItem(TSearcher(Searchers[i]).Name,Searchers[i]);
      SearchersList.Checked[i] := true;
    end;
end;

Интерфейс нашей программы будет примерно таким:


Итак, по-моему, для первой части достаточно. О содержимом INI-файла подробнее поговорим в следующий раз.

Программируется гораздо быстрее, чем пишется описание процесса программирования. :)

Читайте окончание здесь.

Статьи схожей тематики: