Madrasah ini berdiri pada tahun 1957 atas prakarsa seorang tokoh masyarakat yang bernama ABU AMAR, dengan mewakafkan tanahnya untuk mendirikan madrasah. Madrasah ini pada awal pendiriannya memiliki nama MI PSM ( Madrasah Ibtidaiyah Pesantren Sabilil Muttakin). Dengan tujuan untuk mengangkat nilai keagamaan masyarakat dilingkungannya.
Pada masa itu ruang belajar hanya 2 lokal. Setelah mempunyai penambahan gedung baru madrasah ini berkembang dengan baik dan dipercaya masyarakat.
Tahun 1985 MI PSM beruapaya untuk berjalan semaksimal mungkin menyelenggarakan pendidikan.Khususnya untuk pendidikan dasar yang sangat di pentingkan dalam menanamkan pengetahuan keagamaan dan pendidikan umum tingkat dasar.
Pengurus yayasan berinisiatif, menyerahkan MI PSM tersebut kepada pemerintah khususnya DEPAG, untuk menjadikan Madrasah PSM tersebut menjadi Madrasah Negeri supaya kelanjutan pendidikan dapat berkembang
Tahun 1995 tersebut proses penyerahan diterima dan disetujui lewat surat keputusan Menteri Agama RI No 515A tanggal 25 November 1995, dan mengubah status Madarasah Ibtidaiyah PSM Krowe menjadi Madrasah Ibtidaiyah Negeri Krowe. Dan hingga saat ini usia MIN Krowe telah berumur 55 tahun yang telah meluluskan 55 kali angkatan.
Adapun yang pernah menduduki sebagai Kepala Madrasah adalah:
1. Tahun 1957 – 1980; Abu Amar2. Tahun 1980 – 2005; Ahmad Zainuddin, A.Ma
3. Tahun 2005 – 2008; Sono, A.Ma
4. Tahun 2008 – 2011; Luqman Ali, S.Ag
5. Tahun 2011 – 2013; Nuruddin Azhar, S.Ag
6. Tahun 2012 – 2014; Drs. Suratno
7. Tahun 2014 – 2016; Mohammad Anshori, S.Ag
