Спайдер (spider — паук; так же Crawler, Bot, Robot) — программа для просмотра веб-страниц с целью занесения информации о них по ключевым словам в базу поисковой системы. Спайдер возвращается через определенные периоды времени (например, каждый месяц) и индексирует веб-страницу снова. Порядок обхода страниц, частота визитов, критерии выделения ключевых слов определяются алгоритмами поисковой машины. В большинстве случаев переход от одной страницы к другой осуществляется по ссылкам, содержащимся на первой и последующих страницах веб-сайта.