Когда-то давно я начинал свое знакомство с seo с изучения статей. Нижеприведенная была одной из первых. Возможно, информация частично и устарела, но базовые принципы остались прежними. Более подробно индексация Яндексом будет рассмотрена в следующих материалах на эту тему
Как известно, поисковая система проиндексирует ваш сайт, если вы сами добавите свой ресурс в базу данных или если на ваш сайт будет стоять ссылка с другого сайта. Кроме всего прочего, в Яндексе количество таких ссылок влияет на Индекс Цитирования вашего сайта. Давайте посмотрим, какие еще особенности этой поисковой системы нам стоит учесть.
Робот-паук у Яндекса называется yandex (регистр значения не имеет). Так к нему можно обращаться через файл robots.txt.