Masjid Xiaotaoyuan pada awalnya dibina pada tahun 1917 oleh Jin Ziyun, Pengarah Lembaga Pengarah Islam Shanghai, yang telah membeli tanah itu. Ia kemudian dibina semula pada tahun 1925 dan siap dua tahun kemudian dalam bentuk seperti sekarang. masjid tersebut merupakan tempat asal untuk Sekolah Normal Islam Shanghai yang kemudiannya dipindahkan ke Jalan Qinglian dan dinamakan semula sebagai Sekolah Normal Islam Pingliang. Sekolah lain yang didirikan oleh masjid-masjid tersebut adalah Sekolah Normal Islam, Sekolah Rendah untuk Muslim, Sekolah Rendah Mingcheng, Sekolah Rendah Chongben , Panti Asuhan Islam Shanghai dll. Setelah penubuhan Republik Rakyat China pada 1 Oktober 1949, Ketua Bandar Shanghai Chen Yi memeriksa masjid dan menyetujui dana yang sesuai untuk penyelenggaraannya. Pada 15 Februari 1994, masjid ini disenaraikan sebagai seni bina warisan oleh Pemerintah Perbandaran Shanghai.