Crawler

crawler – поисковый агент, “ползунок”, “паук” досл. “червяк”, “гусеница” название программного поискового механизма в Web для автоматического выбора всех документов, на которые есть ссылки в первом выбранном документе; этим отличается от обычных браузеров, работающих под управлением человека. Синоним – spider (см. также robot).
Статья с рубриками не связана
Яндекс.Метрика