Haste mal im Speedport nachgeschaut, ob Du auch wirklich die volle Bandbreite bekommst?
Weiß jetzt nicht wo das im Speedport steht, aber da das Speedport Technik von AVM (Fritz-Box) verwendet, sollte das auch irgendwo stehen.
Ansonsten mal anderes Modem anschließen. Und wenn Du das ausgeschlossen hast, dann kannste die immernoch mal nerven.