Mesjid Raya Baiturrahman didirikan oleh Sultan alaidin mahmudsyah I yang memerintah dalam tahun 1234-1267 Masehi dan diperbesar pada masa Sultan Iskandar Muda (1607-1636). Menurut Catatan sejarah pada Masjid Baiturrahman ini dahulunya terdapat pula perguruan tinggi atau Universitas Baiturrahman yang memiliki banyak fakultas serta telah menghasilkan sarjana-sarjana yang terkenal terutama dalam mengembangkan agama Islam ke daerah-daerah lain.
Masjid Raya Baiturrahman merupakan sebuah bangunan bersejarah yang terletak di jantung Kota Banda Aceh. Masjid ini pertamanya telah terbakar akibat penyerangan tentara Belanda dalam ekspedisinya yang kedua pada bulan Safar 1290 Hijriyah atau April 1873 Masehi. Rakyat Aceh sangat marah dengan terbakarnya masjid itu, maka 4 tahun setelah itu bertatapan bulan Safar 1294 Hijriah atau awal Maret 1877 Masehi dengan mengulangi janji Jenderal Van swieten ,Gubernur Jenderal Van lansberge menyatakan akan membangun kembali masjid tersebut di tempat yang sama. Janji tersebut dilaksanakan oleh Jendral Mayor Van Der heyden selaku Gubernur Militer pada masa itu. Pada tanggal 13 awal 1296 Hijriyah atau 9 Oktober 1879 masehi dilakukan peletakan batu pertama pembangunan masjid oleh Qadhi Malikul adil dan bangunan ini selesai pada tahun 1299 Hijriyah atau 1881 masehi dengan berkubah satu.
Pada tahun 1935 masehi diadakan perluasan dan kubahnya ditambah 2 buah lagi dan selesai 1936 pada hari Sabtu 1 Safar 1387 Hijriyah (16 8 1958 Masehi)diadakan perluasan yang kedua , peletakan batu pertama nya dilakukan oleh menteri agama RI K.H.M Ilyas dan kubahnya ditambah 2 buah lagi dan selesai tahun 1967. Dengan demikian kubah Mesjid Raya menjadi 5 buah.
Dalam rangka menyambut MTQ Nasional XII di Banda Aceh, masjid ini diperindah dengan pemasangan Vinkers di pekarangannya ,perbaikan tempat wudhu, pemasangan pintu Kerawang dan air mancur di depannya . Dan pada tahun 1995 masjid ini telah selesai diperluas ke depan dan ke belakang dan telah pula dibangun 2 buah kubah lagi sehingga menjadi 7 buah kubah dan 5 Menara dan tempat menampung jamaah lebih kurang 7500 orang, di depannya dibangun pula menara yang tertinggi di Kotamadya Banda Aceh.