Setelah mendapatkan beasiswa Fullbright pada tahun 1988, Dirinya dapat meraih gelar Master of Art (MA) dari Departemen Bahasa dan Budaya Timur Tengah, di Universitas Columbia Amerika Serikat.
Satu tahun setelahnya pada 1989 di Universitas yang sama dirinya kembali meraih gelar MA dari Departemen setelah memenangkan beasiswa Columbia President Fellowship.
Gelar Master of Philosophy (MPhil) dari Departemen Sejarah, Columbia University diraihnya pada 1990 dan Doctor of Philosophy Degree pada 1992.
Pada tahun 1993 Ia mendirikan dan menjadi pemimpin redaksi Studia Islamika, sebuah jurnal Indonesia untuk studi Islam, pada 1993.
Pada 4 Maret 1955 itu juga pernah menjadi profesor tamu Southeast Asian Studies di Oxford Centre for Islamic Studies.
Dirinya pernah menjadi profesor tamu di Universitas Filipina dan Universitas Malaya, Malaysia pada tahun 1997
Pada periode 1998 sampai 2006 Azyumardi menjabat sebagai Rektor di UIN Syarif Hidayatullah Jakarta.
Sejak Desember 2006, dirinya menjabat sebagai Direktur Pascasarjana UIN Syarif Hidayatullah, selain menjadi Guru Besar Sejarah Fakultas Adab.