Sejak non-aktif, sang ayah hanya pedagang keliling. Ibunya, Siti Aminah, ibu rumah tangga.
Bercita-cita menjadi dokter, ia lulus ujian nasional di Fakultas Kedokteran di salah satu universitas ternama di Jawa Tengah.
Tapi karena keterbatasan biaya, kesempatan jadi dokter urung dia ambil.
"Le (anak-ku), maafkan bapak. Bapak tidak mampu membiayai kuliahmu. Ini kesalahan bapak," itulah kata-kata ayahnya, yang sampai hari ini masih membekas dalam diri Rifai.
Sejak itu, Ketua Tim Advokasi Relawan Nasional Rumah Koalisi Indonesia Hebat (RKIH) Jokowi-JK 2014 ini kuliah di Fakultas Hukum Universitas Darul 'Ulum (Undar), Jombang.
Tapi tamat dari Undar, ia melanjutkan pendidikan master di tiga universitas.
Meraih gelar magister hukum di UGM, di kampus iniah ia berteman dekat dengan Suhardi Alius, yang saat ini menjabat sebagai Kabareskrim Polri.
Ia juga master ilmu kriminologi UI dan berteman dekat dengan Arminsyah, kini Jaksa Agung Muda Intelijen Kejaksaan Agung RI.