Вот хорошая попалась англоязычная статья о 50-ти полезностях линк-билдеру: тут и ссылка на чекер robots.txt, и на инструмент просмотра http-заголовков!
Но читать надо внимательно:
- В п.2. правильная ссылка с картинки должна выглядеть так: <a href="url"><img src="gif" alt="keywords" /></a>, т.е. не надо про альтернативный текст забывать
- В п.3 правильный мета-тег для запрещения индексации: <meta name="robots" content="noindex">