Karier politiknya mulai meroket saat ia terpilih menjadi Wakil Wali Kota Surakarta, mendampingi Joko Widodo (Jokowi) selama dua periode, yakni 2005–2010 dan 2010–2012.
Ketika Jokowi maju dan terpilih sebagai Gubernur DKI Jakarta pada 2012, Rudy secara otomatis naik jabatan menjadi Wali Kota Solo.
Tak berhenti di situ, Rudy kembali maju dalam Pilkada Serentak 2015. Berpasangan dengan Achmad Purnomo dan diusung penuh oleh PDIP, ia berhasil meraih suara terbanyak dan kembali memimpin Kota Solo untuk periode 2016-2021.
Di luar panggung politik, Rudy juga aktif di dunia olahraga. Ia pernah menjabat sebagai Ketua Umum klub sepak bola kebanggaan kota kelahirannya, Persis Solo, dan juga sebagai Ketua Pengurus Cabang PSSI di Surakarta.
Dengan rekam jejak dan loyalitas tanpa batas, tak heran jika namanya kini digadang-gadang untuk memimpin PDIP Jawa Tengah.
