Лучший инструмент для глубокого анализа структуры сайта.

собирает ссылки по списку URL, из поисковой выдачи или социальных сетей.

универсальный парсер сайтов - Content Downloader X1

платный софт с гибкими настройками для сложных задач.