Eine Desktopumgebung ist für ein System dieser Grösse eine Herausforderung. Aber wenn du sagst, dass es problemlos und flüssig läuft, spricht natürlich nichts dagegen. Im Gegenteil, sie erspart einige Probleme die anstonsten gelöst werden müssten. Also weiter!
Die Bootzeit mit einer Desktopumgebung wirst du allerdings nur durch mehr Rechenpower (also RPI2) signifikant reduzieren können. Aber wenn das mit der ZV klappt, ist das ja eh kein Thema mehr.
Gruss rafael