Mantan aktivis Himpunan Mahasiswa Islam (HMI) ini meraih gelar master di Departemen Sejarah Universitas Ohio, AS.
Kemudian gelar doktor diperolehnya dari program studi Bahasa dan Peradaban Timur Dekat, Universitas Chicago, AS, dengan disertasinya berjudul "Islam as the Basis of State: A Study of the Islamic Political Ideas as Reflected in the Constituent Assembly Debates in Indonesia".
Syafii menjabat sebagai Ketua Umum PP Muhammadiyah periode 1998-2005, menggantikan Amien Rais.
Setelah tak lagi menjabat di PP Muhammadiyah, Syafii kemudian aktif di lembaga advokasi dan pendidikan yang didirikannya, yakni Maarif Institute.
Syafii juga dikenal sebagai penulis. Banyak pemikirannya yang mewarnai dunia Islam.
Pada Tahun 2015 Syafii pernah menjadi Ketua Tim Independen yang mengatasi konflik Komisi Pemberantasan Korupsi (KPK) dan Polri.