Створення файла robots.txt
Файл robots.txt - важлива деталь, забувати про яку не варто. Для чого він потрібний?
По-перше, іноді пошукові боти, що заходять на ваш сайт і не знаходячи цей файлік, можуть просто нічого не проіндексувати, а по-друге, іноді буває потрібно просто сховати від них деякі елементи нашого сайту. Навіщо потрібно щось приховувати і як це робити, див. іншу статтю в цьому ж розділі - зараз же буде пояснено як скласти файл robots.txt з таким розрахунком, щоб усе було відкрито й не виникло проблем з індексацією кожної сторінки.
Для початку відзначимо, що сам файл robots.txt повинен перебувати в кореневому каталозі сайту на сервері. Розташування його в інших каталогах не дасть ніякого ефекту - бот його не знайде. Саме ім'я файлу повинне писатися в нижньому регістрі, тобто складатися з малих літер. Формування змісту файлу представляє із себе перелік команд, кожна з яких уміщається в два рядки. Перший рядок - це ім'я пошукового бота, другий - каталоги, які ми хочемо закрити. Оскільки ми закривати нічого не збираємося, а навпаки, прагнемо залучити якнайбільше ботів і при цьому хочемо, щоб вони проіндексували все що тільки можливо, то наш файл буде виглядати дуже просто й привабливо, а саме:
User-agent: *
Disallow:
user-agent і зірочка після двокрапки говорить, що ми звертаємося до всіх ботів, а dіsallow c двокрапкою, після якого порожність (тобто відсутність заборон) означає, що в нас відкриті всі директорії для індексації. Все просто. Корисно зробити такий файлік і вивісити його на сервері.
Автор: Собокар Кір
Обговорити на форумі (1)
інші статті для починаючих веб-майстрівв
|
