Dulu, di wilayah ini tidak ada masjid. Jika melakukan salat berjamaah dan kegiatan keagamaan lainya, masyarakat menggunakan salah satu bagian bangunan di Tamansari bernama "kedung pengantin".
Pembangunan masjid tersebut merupakan inisiatif masyarakat yang ada di sekitar Tamansari yang menginginkan sebuah masjid sebagai tempat beribadah. Lalu, pembangunan masjid diketuai GBPH Prabuningrat, kakak Sri Sultan Hamengkubuwono IX.
Bangunan masjid yang berdiri di atas tanah seluas 900 meter persegi merupakan tanah pemberian Sri Sultan HB IX.
Bangunan masjid itu dibuat dengan arsitektur Jawa. Dan Sri Sultan HB IX menunjuk R. Ngabehi Mintobudoyo -- yang merupakan arsitek Keraton Yogyakarta -- sebagai arsitek pembangunan Masjid Keraton Soko Tunggal.