Мировые Новости! |
Seo |
---|
Home RSS Email Stat |
---|
Seo |
Навигация |
Информационный портал ! | Информация. |
---|
|
---|
Limit Archive.org Spider to certain parts?Can I limit Archive.org spider to certain parts of my site like I want it to index all pages but do no want to it index pages under mydomain.com/forums/ directory ? can I use the usual robots.txt dire...
Posted by: elizah Добавлено: 28 ноября 2010
Источник: http://archive.org/
|
---|