Nach einiger Sucherei habe ich endlich einen SSH-Client für Windows Mobile 2003 gefunden. Er heisst PocketPuTTY und beherrscht leider noch keine Public-Key-Authentifizierung. Diese kann aber anscheinend durch einen Patch integriert werden.