Создание карты блога на blogspot.com своими руками

Это очередной простенький пример применения парсинга. Даже не столько парсинга, сколько работы с объектной моделью браузера.

Чтобы создать карту блога на blogspot.com (я рассматриваю в качестве примера свой лытдыбровый блог), можно воспользоваться головой и данными из виджета "Архив блога". Изучим код страницы. Виджет оформлен как div с id='ArchiveList'. Внутри дива — ненумерованный список. Элементы UL, группирующие ссылки по месяцам, имеют classname='posts'. Сразу становится понятно, что для создания карты сайта достаточно будет выбрать все элементы LI, находящиеся внутри упомянутых UL. Это делается в два счета при работе с MSHTML.

Обработчик кнопки "Start":

procedure TBlogspotSiteMapF.btnStartClick(Sender: TObject);
var
  Doc             : IHTMLDocument2;
  DocAll,
  DocLi           : IHTMLElementCollection;
  ParentElement,
  DocElement      : IHtmlElement;

  i : integer;
begin
  WebBrowser.Navigate(edtURL.Text);
  while WebBrowser.ReadyState <> READYSTATE_COMPLETE do
    begin
      Application.ProcessMessages;
    end;

  Doc := WebBrowser.Document as IHTMLDocument2;
  if Assigned(Doc) then
    begin
      DocAll := Doc.all;
      DocLi  := DocAll.Tags('LI') as IHTMLElementCollection;

      for i := 0 to DocLi.length-1 do
        begin
          DocElement := DocLi.Item(i, 0) as IHtmlElement;
          ParentElement := DocElement.parentElement;

          if ParentElement.className = 'posts' then
            Memo.Lines.Add(DocElement.innerHTML);
        end;
    end;
end; 

В результате получаем такую картину:



После парсинга первоначального списка обнаружились некоторые ньюансы. А именно: записи, имеющие слишком длинные названия, обрезаются по количеству символов (на рисунке для примера я обвела красным ссылку и пример заголовка одного из таких сообщений). Но это не страшно и вопрос решается очень просто: надо скачать страницу по ссылке и достать из html-кода полный заголовок (внутри h3 с classname = 'post-title entry-title'). В принципе, я думаю, что данная процедура необязательна, так как карты сайтов используются в основном поисковиками. Тем более, что если записей в блоге очень много — это мероприятие может оказаться затратным :)



Чтобы быть в курсе обновлений блога, можно подписаться на RSS.

Статьи схожей тематики: