Паук - это программа которая посешает заданные ему раннее сайты и сохраняет копию в свою базу данных, потом перемещает в хранилише. Робот одновременно находится на нескольких машинах, с помощью которых он читает новые сайты, которые ему ещё не известны, и в то же время на другой машине он заново читает уже имеющиеся сайты в базе более месяца илиболее года назад. И при каждом обновлении уже имеющейся копии сайта в базе, робот заново скачивает копию вашего сайта и заменяет её старую версию в своей базе. Но при всем при этом все машины использую одно и тоже хранилище для сохраненных копий сайта. Паралельная работа паука на нескольких машинах одновременно, позволяет пауку легко сканировать любое количество сраниц распределяя их по всем поисковым машинам, и все данные с сайтов размещаються в индексной базе данных.
Паук - это программа которая посешает заданные ему раннее сайты и сохраняет копию в свою базу данных, потом перемещает в хранилише. Робот одновременно находится на нескольких машинах, с помощью которых он читает новые сайты, которые ему ещё не известны, и в то же время на другой машине он заново читает уже имеющиеся сайты в базе более месяца илиболее года назад. И при каждом обновлении уже имеющейся копии сайта в базе, робот заново скачивает копию вашего сайта и заменяет её старую версию в своей базе. Но при всем при этом все машины использую одно и тоже хранилище для сохраненных копий сайта. Паралельная работа паука на нескольких машинах одновременно, позволяет пауку легко сканировать любое количество сраниц распределяя их по всем поисковым машинам, и все данные с сайтов размещаються в индексной базе данных.
Администратор
Сообщений: 484
Нет на сайте
Ппц. Это ж какого размера должно быть хранилище, чтоб каждую секунду сохранять чтото новое, да и не забывать про старое...
Я даже представить себе не могу что там за системы установлены на поискавиках.
Да и никак понять не могу, каким образом поискавики так быстро вылаживают результаты поисковых запросов?
Ведь поиски должны за долю секунды вычислить все сайты которые соотаетствуют запросу.
Ппц. Это ж какого размера должно быть хранилище, чтоб каждую секунду сохранять чтото новое, да и не забывать про старое...
Я даже представить себе не могу что там за системы установлены на поискавиках.
Да и никак понять не могу, каким образом поискавики так быстро вылаживают результаты поисковых запросов?
Ведь поиски должны за долю секунды вычислить все сайты которые соотаетствуют запросу.
Модератор
Сообщений: 196
Нет на сайте
Для этого нужен мощный серверный процессор! Их там не мало гдето шт 20 может быть.
Гость
