Чого чиста консоль? ssh вміє X11 forwarding - тобто ви можете виконувати графічну програму на іншій машині, при цьому видно буде тут.
P.S. Термінальний сервер - це фактично те саме, що й ssh-x-forwarding, тільки іще є можливість мережевого завантаження, перенаправлення звуку та іншого.
P.P.S. Але це не є "керування" програмами іншого користувача. Ви просто зможете запустити будь-яку програму на виконання на іншій машині. При цьому якщо ви запустите графічну програму через сесію ssh без перенаправлення іксів, вона не з'явиться на десктопі вашого друга, вона вилетить із повідомленням cannot open display.