User-agent: *               # общие правила для роботов, кроме Яндекса и Google, т.к. для них правила ниже

Disallow: /export*

# все параметры запросов
Disallow: /*?

# поиск
Disallow: /search*

#запрет на индексацию api системы
Disallow: /api

#запрет на индексацию страниц печати
Disallow: /*/*/print

#различные варианты дублей контента (исключаем дубли контента)
Disallow: *utm*=            # ссылки с utm-метками
Disallow: *openstat=        # ссылки с метками openstat

# технические страницы они шаблонные и чтобы небыло пересечений их лучше не вгонять в индекс поисковиков
Disallow: /o-sayte
Disallow: /kontakty
Disallow: /politika-konfidentsialnosti
Disallow: /dmca-avtorskie-prava
Disallow: /usloviya-ispolzovaniya
Disallow: /pravoobladatelyam
Disallow: /favourites
Disallow: /razdet-po-foto				# nudeAI



#запрет на индексацию всех изображений
Disallow: *.jpg
Disallow: *.gif
Disallow: *.tiff
Disallow: *.bmp
Disallow: *.jpeg
Disallow: *.JPG
Disallow: *.JPEG

#запрет на индексацию файлов дизайна и скриптов
Disallow: *.css
Disallow: *.js


# ИСКЛЮЧЕНИЯ
# --------------------------------------------------------------------------------------------------
#исключения для индексации изображений (в основном логотип и другие мелкие изображения для сервисов)
Allow: *.png
Allow: *.PNG
Allow: *.ico

# +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++


# правила для Mail.Ru
#(при необходимости открываем для Mail.Ru feed, чтобы можно было подключить ленту сайта в аналог дзена от Mail.Ru)
# --------------------------------------------------------------------------------------------------
#User-agent: Mail.Ru
#Allow: */feed/



# правила для Twitter
#(открываем для Twitter закрытые изображения, чтобы он мог их добавлять к записям при репосте)
# --------------------------------------------------------------------------------------------------
User-agent: Twitterbot
Allow: /
Allow: *.jpg
Allow: *.png
Allow: *.gif
Allow: *.tiff
Allow: *.bmp
Allow: *.jpeg
Allow: *.JPG
Allow: *.PNG
Allow: *.JPEG



# правила для MJ12bot
#(бот который слишком напрягает работу сайта) | закрываем от него сайт
# --------------------------------------------------------------------------------------------------
User-agent: MJ12bot
Disallow: /


# Укажите один файл Sitemap (дублировать для каждого User-agent не нужно).
Sitemap: http://sexteller.com/sitemap.xml

# Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
# то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал
# Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.
Host: http://sexteller.com