Ich habe es gerade herausgefunden und beantworte es mir hier selbst (falls später mal jemand ein ähnliches Problem bekommt)
Man muss den Aus/Ein Schalter hinten Links am Gehäuse gedrückt halten beim iMac 24 M1
Mit der Magic Keyboard Touch ID Taste kann man das System nicht starten oder schliessen. Zumindest funktioniert die Taste bei mir dafür nicht, aber vielleicht kann man es auch irgendwie einstellen... Egal, so hat es auch funktioniert