Da ich auch nach einer Neuinstallation das gleiche Problem wieder hatte, habe ich weiter geforscht und schließlich die Lösung gefunden: Das Firejail-Profil für den ssh-agent hat den korrekten Start von XFCE verhindert (siehe
https://github.com/netblue30/firejail/issues/1568)
Hoffe das hilft anderen mit dem gleichen Problem weiter
