Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Прикладное программирование » Embarcadero RAD Studio

Модерирует : ShIvADeSt

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322

Открыть новую тему     Написать ответ в эту тему

V1s1ter



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
         
Обсуждаем новые возможности и баги
 
Просьба писать про Embarcadero RAD Studio XE5, XE6, XE7, XE8, 10.x (Seattle, Berlin,Tokyo)
  По вопросам скачивания - Тема в Варезнике (lite-версии тут)
  Вопросы по неюникодным версиям Delphi — шестая бумага
  Бесплатные Компоненты и утилиты для Delphi/BCB/FreePascal/Lazarus
  Коммерческие компоненты и утилиты для Delphi/BCB
  Вопросы по компонентам для Delphi, C++ Builder разных версий
  Новые языковые возможности, начиная с Delphi 2005 по XE4 — здесь, и New!здесь еще
  Англоязычный официальный форум Embarcadero — здесь
  Embarcadero Quality Central, веб интерфейс — здесь, новый Quality Portal тут
  Программирование на Delphi — викиверситет
  Другие ресурсы
   Предыдущие бумаги
 
     Вопросы ..XE4       Вопросы ..XE3    Вопросы ..XE2      
  Вопросы ..2009-XE    Вопросы ..<2009 / ч.5    Вопросы ..<2009 / ч.4      
  Вопросы ..<2009 / ч.3    Вопросы ..Delphi 2 / ч.2    Вопросы ..Delphi  

  Выключение встроенного эксперта Castalia  для XE8 (иногда помогает при вылетах и тормозах)  
  Полезные плагины(эксперты)

Всего записей: 948 | Зарегистр. 06-02-2007 | Отправлено: 15:25 11-09-2013 | Исправлено: Komandor, 18:58 18-03-2022
voixkas



Newbie
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Подскажите, пожалуйста, с помощью каких стандартных компонентов оптимальнее всего выполнить следующую задачу?
 
Суть: необходимо автоматизировать сбор определённой информации о финансовых учреждениях из сети Интернет (информация публикуется на сайтах: как на официальных, так и на сторонних).
На каких-то сайтах информация доступна сразу, где-то необходимо аутентифицироваться как зарегистрированный пользователь. Где-то информация представлена в виде структурированных таблиц (на html-странице), где-то - необходимо запрашивать инфу по каждому объекту отдельно (вводим наименование объекта в поле ввода и нажимаем кнопку поиска).  
 
В качестве инструментария имею XE5.
 
Ранее никогда не работал с чтением web-ресурсов. Поэтому сейчас не знаю с какой стороны подступиться к задаче.
Пока (дилетантски?) предполагаю, что необходимо будет коннектиться к web-ресурсу, при необходимости аутентифицироваться. Затем закачивать в строковую переменную всю страницу (в виде html-кода) и парсить её (по индивидуальным критериям, для каждого ресурса).
 
Собственно, вопросы.
С чего начать? Какими стандартными компонентами их XE5 лучше/уместнее всего пользоваться для подключения к http|https-ресурсам, чтобы прочитать содержимое страницы? Как программно пользоваться родным поиском сайта (грубо говоря, вносить текст в edit-box, "нажимать на кнопку") либо определить, по каким правилам строится запрос, самому генерировать его и передавать странице на исполнение? В общем, будет полезна любая инфа по сабжу.

Всего записей: 30 | Зарегистр. 25-02-2007 | Отправлено: 22:13 22-03-2014
ChSerg



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
voixkas
 
Если стандарные, то смотрите Indy

Всего записей: 936 | Зарегистр. 30-08-2001 | Отправлено: 23:21 22-03-2014
AlekXL



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Если стандарные, то смотрите Indy  

но лучше взять ICS. Говорят, indy это глюкодром. а ICS - пожалуй, единственный асинхронный.  
Плюс, регулярные выражения , чтобы вытащить данные из html(из JCL-PCRE)
Плюс, база данных  
но новичку все это будет непросто. Лучше нанять профи.

Всего записей: 792 | Зарегистр. 24-04-2008 | Отправлено: 23:53 22-03-2014
voixkas



Newbie
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
ChSerg
AlekXL
А по-конкретнее можете объяснить?
Компонентов инди - 5 закладок. Что именно из них использоваться? Через какой компонент подключаться, загружать данные, аутентифицироваться, отправлять запрос и т.п.
 
П.С. Не совсем понял про асинхронный доступ. Мне, наверное, это не потребуется, т.к. буду явно контролировать весь процесс с последовательным перебором всех источников данных.

Всего записей: 30 | Зарегистр. 25-02-2007 | Отправлено: 00:02 23-03-2014
Alexey_Gawrilow



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
AlekXL
[
Цитата:
Говорят, indy это глюкодром

Говорят, что кур доят.
 
Indy - отличная библиотека. Есть особенности.
Как и любая другая:
- да, не лишена недостатков
- ей пользуются, а значит и говорят про нее, то, чем недовольны.
 
Большинство причин для критики объясняются просто:
Вы не любите кошек - вы просто не умеете их готовить.
 
Есть море библиотек для программирования коммуникаций на базе сокетов.
И Indy в ряду первых и лучших.
Несколько меньше библиотек предлагает реализацию прикладных протоколов.
И Indy также в ряду первых и лучших.
 
Indy, Synapse, ICS, TurboPower Internet Professional.
Из коммерческих я лично хотел бы упомянуть DXSock от Brain Patchwork DX, LLC.
Clever подрос, сначала было не очень.
Это что касается сокетов и протоколов.
 
Если просто о сокетах говорить, то очень не плохи стоковые, поставляемые VCL, причем обе генерации (TClientSocket, TServerSocket) и (TTCPSocket, TUDPSocket и т.п.).
SimpleTCP By UtilMind Solutions.
TSock by Ward van Wanrooij.
CrtSocket by Paul Toth.
 
Впрочем на них тоже реализации протоколы имеются.
 
О чем это? О том что решений множество..
И да..
Блокирующие решения таки проще для понимания и отладки.
 
voixkas

Цитата:
Что именно из них использоваться?

Мое мнение - ничем.
Эти иструменты не решат твою задачу вместо тебя.

Цитата:
Поэтому сейчас не знаю с какой стороны подступиться к задаче

И этот путь слишком низкоуровневый.
Да, он приведет к решению.
Да, узнаешь много интересного.
Да, прокачаешь скиллы во многих темах.
Но ведь, чтобы съесть гамбургер, не обязательно идти работать в Макдональдс.
 
Предлагаю иной вариант - используй функциональность браузера - компонент TWebBrowser.
Для данной задачи - выше крыши. IMHO.
 
Вот несколько полезных ссылок, для начала:
 
Парсинг от А до Я Блог о программировании парсеров и web-автоматизации - See more at: http://parsing-and-i.blogspot.ru/#sthash.nK84qEsY.dpuf Ну вот прямо твои задачи решает.
 
TWebBrowser - Delphi Usage Examples, Tips and Tricks
 
Раздел Internet / LAN на SwissDelphiCenter.ch
 
StackOverflow, просто первый попавшийся сохраненный топик по теме, используй Related, Тэги
 
Был еще такой проект как Embedded Web Browser Pack for Borland Delphi от Bsalsa Productions.
Остатки былого величия живут сейчас на GoogleCode

Всего записей: 640 | Зарегистр. 08-09-2003 | Отправлено: 02:32 23-03-2014 | Исправлено: Alexey_Gawrilow, 02:59 23-03-2014
ChSerg



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
AlekXL
Полностью согласен с Alexey_Gawrilow.  
Нормальная библиотека. Использую во всех проектах, включая коммерческие.
Никаких проблем.
Преимущество использования стандартных компонент в том, что при переходе на новую версию среды разработки достаточно просто перебилдить весь проект, а не ждать версию сторонней библиотеки для новой среды... ИМХО
 
Навскидку,  
если работать с веб-сервисами посмотрите THTTPReqResp,  
если просто скачивать странички и парсить, то TIdHTTP...

Всего записей: 936 | Зарегистр. 30-08-2001 | Отправлено: 09:50 23-03-2014 | Исправлено: ChSerg, 10:02 23-03-2014
Frodo_Torbins

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
voixkas
Взаимодействие с содержимым стандартного веббраузера: http://delphikingdom.com/asp/viewitem.asp?catalogid=1410
Также рекомендую познакомится с веб-дебагерами, встроенными в популярные браузеры.

Всего записей: 2318 | Зарегистр. 24-05-2007 | Отправлено: 12:14 23-03-2014 | Исправлено: Frodo_Torbins, 01:00 24-03-2014
deks



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
voixkas
 
Я бы задачу начал решать так: путем использования сниффера  HTTP протокола / средств разработчика в браузере понял бы как именно происходит авторизация на ресурсах (смотрим - какие запросы с какими полями шлет клиент и как отвечает сервер). Запоминаем логику работы и пытаемся повторить алгоритм внутри стандартного компонента WebBrowser. Если авторизация работает, и внутри стандартного компонента видны нужные данные - полдела сделано.  
 
Дальше - просто сохраняем полученные данные на диск и парсим HTML как нам надо: или на уровне дельфи (да хоть в StringList, чтобы не заморачиваться), ну или XML, или JavaScript. Есть куча ниструментов - от DIHTMLParser до всяких XML библиотек. Но никто не отменяет и обычные регулярки. В общем - простор для творчества! Но мое ИМХО - это KISS, если данные можно достать через перебор StringList - зачем делать что то большее?  
 
P.Sиспользуйте VCL!

Всего записей: 857 | Зарегистр. 09-10-2003 | Отправлено: 11:49 24-03-2014 | Исправлено: deks, 11:52 24-03-2014
Alexey_Gawrilow



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
AlekXL
deks
Уважаемые, ну зачем вы коллегу загоняете на сложный путь?
 
Было предложено истользование TWebBrowser, потому что:
1)
Цитата:
Как программно пользоваться родным поиском сайта (грубо говоря, вносить текст в edit-box, "нажимать на кнопку")  

2) у TWebBrowser уже разобранный DOM
3) коллега уже знает ЧТО, ему надо КАК
 
В контексте задачи, разбор - вторичное и необходимое зло.
Если его можно избежать - зачем этим заморачиваться?
 
Ему качелька нужна, а вы американские горки строите.
 
 
 
 
 

Всего записей: 640 | Зарегистр. 08-09-2003 | Отправлено: 15:21 24-03-2014 | Исправлено: Alexey_Gawrilow, 15:24 24-03-2014
Frodo_Torbins

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
deks
Я когда то пробовал сделать так как вы говорите, и там было много подводных камней. Свою задачу я толком так и не смог решить, слава Богу, это было не по работе.

Всего записей: 2318 | Зарегистр. 24-05-2007 | Отправлено: 18:18 24-03-2014 | Исправлено: Frodo_Torbins, 18:19 24-03-2014
deks



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Alexey_Gawrilow
 
Я то как раз поддержал WebBrowser.  
 
Frodo_Torbins
 
Полюбопытствую - а какого рода проблемы возникли? Я просто на берегу не вижу: тупо эму липучем сессию пользователя браузером, дальше потрошим страничку как надо. Чего может пойти не так?

Всего записей: 857 | Зарегистр. 09-10-2003 | Отправлено: 22:04 24-03-2014
Alexey_Gawrilow



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
deks
Ключевое отличие: у TWebBrowser уже разобранный DOM.
Парсить не надо.
 
Нужно просто найти нужный элемент.
 
Например, перебрать все таблицы.

Код:
 
vTableColl := wbWebBrowser.OleObject.Document.getElementsByTagName('Table');
iCount := vTableColl.length;
 
for i := 0 to iCount - 1 do begin
   vTable := vTableColl.Item(i);
   if vTable.id > EmptyStr then  
     {Именованная таблица}
 
    iRowCount := vTable.rows.length;
    for iRow :=0 to iRowCount - 1 do begin
        vCols := vTable.rows.item(iRow).getElementsByTagName('TD');
        iColCount := vCols.length;
             for iCol := 0 to vCols - 1 do begin
                s := vCols.Item(iCol).innerHTML;
                {обрабатываем значение ячейки}
            end;//iCol  
      end;//iRow
   end;//i
end;
 

 

Цитата:
Я то как раз поддержал WebBrowser

Смутила следующая фраза

Цитата:
Дальше - просто сохраняем полученные данные на диск и парсим HTML как нам надо

 

Цитата:
В общем - простор для творчества! Но мое ИМХО - это KISS

+100500

Всего записей: 640 | Зарегистр. 08-09-2003 | Отправлено: 00:19 25-03-2014 | Исправлено: Alexey_Gawrilow, 00:46 25-03-2014
deks



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Смутила следующая фраза  
 
Цитата:
Дальше - просто сохраняем полученные данные на диск и парсим HTML как нам надо

 
 Ага, ступил. Проще конечно DOM потискать через компонент.

Всего записей: 857 | Зарегистр. 09-10-2003 | Отправлено: 09:46 25-03-2014
Frodo_Torbins

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Полюбопытствую - а какого рода проблемы возникли? Я просто на берегу не вижу: тупо эму липучем сессию пользователя браузером, дальше потрошим страничку как надо. Чего может пойти не так?

Нужно было получить с сайта интернет-провайдера количество оставшихся денег на счету. Саму циферку выдавал отдельный скрипт, и вот с ним как раз и возникли проблемы. Чтобы получить циферку, этот скрипт нужно было выполнить, а для этого нужен полноценный браузер, в Инди js-движка нету. Разобраться в том, как работает скрипт тоже не вышло - скрипт был обфусцирован а перехватчик пакетов не хотел показывать ничего полезного. Переписывать с Инди на полноценный WebBrowser я тогда не стал, а вскоре у провайдера появилось смс-информирование.

Всего записей: 2318 | Зарегистр. 24-05-2007 | Отправлено: 18:35 25-03-2014 | Исправлено: Frodo_Torbins, 18:37 25-03-2014
deks



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Frodo_Torbins
 
А!) Есть такая тема с js. Если не заморачиваться сильно, то можно было бы еще DCEF заюзать теоретически, но это еще тот геморрой! Впрочем, задача должна была еще решаться сниффером http и "взломом" протокола - наверное терпения не хватило))

Всего записей: 857 | Зарегистр. 09-10-2003 | Отправлено: 19:36 25-03-2014
Frodo_Torbins

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
deks
Да, с полноценным снифером я заморачиваться не стал, ограничился плагином LiveHTTPHeaders для лисы.

Всего записей: 2318 | Зарегистр. 24-05-2007 | Отправлено: 14:41 26-03-2014
voixkas



Newbie
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Спасибо, ребят, за ответы.
 
К сожалению, вашими советами пока не смогу воспользоваться. Начальник хочет, чтобы я забирал информацию с web-страниц только при помощи следующих инструментов: Excel, Oracle. В коде С++/паскале больше никто не разбирается и, случись чего со мной в будущем, никто не сможет дальше поддерживать созданное решение (вносить появляющиеся изменения как со стороны источников данных, так и со стороны приёмной БД). Этот аргумент не пробиваем. Поэтому при наличии молотка, будем забивать гвозди руками.
 
Собственно, если у кого есть какие идеи по автоматизации загрузки данных силами указанных инструментов удалению гланд галогеном через анус, буду признателен за советы. Если это будет офф-топ, отпишите, пожалуйста, в личку. У меня пока идейный ступор.

Всего записей: 30 | Зарегистр. 25-02-2007 | Отправлено: 15:08 26-03-2014 | Исправлено: voixkas, 15:10 26-03-2014
ZloyBrawler



Full Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
VBA в MS Office Word/Excel + COM WebBrowser (контрол, легко добавляется на палитру компонентов)
 
Private Sub CommandButton1_Click()
    WebBrowser1.Navigate ("ya.ru")
End Sub
 
И в добрый путь)))

Всего записей: 514 | Зарегистр. 19-10-2010 | Отправлено: 15:33 26-03-2014
deks



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
voixkas
 
Все что в данной ситуации могу посоветовать - заюзайте VBA/VB.NET (или чего там в Excel как скриптовый язык входит). То же управление WebBrowser через OLE вполне доступно! А начальнику можно сказать - что тот же Excel используется
 
ПС. Взаправду смешная история, повеселили))

Всего записей: 857 | Зарегистр. 09-10-2003 | Отправлено: 15:39 26-03-2014 | Исправлено: deks, 15:40 26-03-2014
Alexey_Gawrilow



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
voixkas

Цитата:
Excel, Oracle

Дурдом.
 
<ирония>
Они, конечно, именно для этого и предназначены.
</ирония>
 
Совет с использованием WebBrowser остается в силе.
 
Не... Конечно можно.
Запросить/загрузить в Oracle, и там распарсить.
 
Делали, работает.
Но елы-палы...
Оно не то затачивалось...
Миллионы человеко-часов...
 
Грабить кОрованы...
 
 

Всего записей: 640 | Зарегистр. 08-09-2003 | Отправлено: 00:24 27-03-2014 | Исправлено: Alexey_Gawrilow, 00:30 27-03-2014
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322

Компьютерный форум Ru.Board » Компьютеры » Прикладное программирование » Embarcadero RAD Studio


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru