Masjid Al Karomah yang terletak di pusat kota Martapura. Posisi masjid ini sangat strategis, berdiri megah dekat jalan raya, berdampingan dengan Pasar Martapura, dan berada di tengah permukiman masyarakat. Setiap Hari ramai dikunjungi kaum Muslimin untuk Shalat 5 waktu ataupun keperluan ibadah lainnya.
Masjid ini didirikan pada tanggal 10 Muharram 1280 H atau 27 April 1863 M oleh Tuan Guru H. Muhammad Apip atau dikenal dengan sebutan “Datu Landak”. Ada empat tiang guru yang didirikan sendiri oleh beliau.
Sebagai pusat Kerajaan Banjar, Martapura tercatat menjadi saksi 12 sultan yang memerintah. Pada waktu itu Mesjid berfungsi sebagai tempat peribadatan, dakwah Islamiyah, integrasi umat Islam dan markas atau benteng pertahanan para pejuang dalam menantang Belanda. Akibat pembakaran Kampung Pasayangan dan Masjid Martapura, muncul keinginan membangun Masjid yang lebih besar. Tahun 1280 Hijriyah atau 1863 Masehi, pembangunan masjid pun dimulai.
Bangunan asli Masjid Al-Karomah pada zaman pendudukan Belanda. Sebelumnya masjid ini bernama Masjid Jami Martapura.
Masjid Agung Al Karomah, dulunya bernama adalah Masjid Jami¡¯ Martapura, yang didirikan oleh panitia pembangunan masjid yaitu HM. Nasir, HM. Taher (Datu Kaya), HM. Apip (Datu Landak). Kepanitiaan ini didukung oleh Raden Tumenggung Kesuma Yuda dan Mufti HM Noor.
Menurut riwayatnya, Datuk Landak dipercaya untuk mencari kayu Ulin sebagai sokoguru masjid, ke daerah Barito, Kalimantan Tengah. Setelah tiang ulin berada di lokasi bangunan Masjid lalu disepakati.
Tepat 10 Rajab 1315 H (5 Desember 1897 M) dimulailah pembangunan Masjid Jami¡¯ tersebut. Secara teknis bangunan masjid tersebut adalah bangunan dengan struktur utama dari kayu ulin dengan atap sirap, dinding dan lantai papan kayu ulin. Seiring dengan perubahan masa dari waktu ke waktu masjid tersebut selalu di renovasi, tapi struktur utama tidak berubah.
Malam Senin 12 Rabiul Awal 1415 H dalam perayaan hari kelahiran Nabi Besar Muhammad SAW, Masjid Jami¡¯ Martapura diresmikan menjadi Masjid Agung Al Karomah. Saat ini Masjid Agung Al Karomah berdiri megah dengan konstruksi beton dan rangka atapnya terbuat dari baja stainless, yang terangkai dalam struktur space frame. Untuk kubahnya dilapisi dengan bahan enamel.
Di dalam masjid, sampai saat ini masih dapat ditemukan dan dilihat struktur utama Masjid Jami Martapura yang tidak dibongkar, sehingga dapat dilihat sebagai bukti sejarah mulai berdirinya masjid tersebut.
Kini setelah mengalami renovasi, Masjid Raya Al Karomah diyakini sebagai mesjid yang terbesar dan termegah di Kalsel. Kubahnya nan unik dengan warna-warni eksotik di puncaknya, plus arsitekturnya yang menawan, mengundang daya tarik tersendiri. Masyarakat banyak yang menjadikanya objek tujuan wisata, tidak sekedar berfungsi sebagai tempat ibadah.