Also entweder verfolgst du die Links die in der "Hauptseite gespeichert sind" (was auch Suchmaschinen machen) oder du machst die ganz "coole" Variante und machst es ähnlich einem Brute-Force-Angriffe bei Passwörtern und erzeugst einfach irgendwelche Strings und prüfst ob der Server diese kennt (also du fragst den Server und er sagt dir dann ... "kenne ich nicht" oder "ja, hier ist die Seite/Datei")
Version 1 kann auch so gelöst werden wie es Your_Conscience beschrieben hat, liefert aber nicht unbedingt alle verfügbaren Seiten/Datein.
Version 2 wird ewig lange dauern (kommt darauf an wie lang du deine Strings werden lässt), liefert viele falsche Ergebnisse, aber wenn du es bis zur Unendlichkeit durchziehst, bekommst du damit alle Seiten/Datein, die es gibt.
Version 3 wäre, dass du vollen zugriff auf den Server hast, wobei du dann aber den ganzen Mist nicht antun musst, weil du ja dann sowieso weißt was alles auf dem Server ist
Grundsätzlich muss ich aber ProgMaster zustimmen
