Bila dilihat dari catatan kronologis pembentukannya, IAIN Walisongo memiliki perbedaan latar belakang sejarah pendirian dengan IAIN Sunan Kalijaga dan IAIN Jakarta. Dua IAIN yang disebut terakhir ini lahir atas good will pemerintah. Sedang IAIN Walisongo lahir didasarkan pada kebutuhan riil umat Islam di Jawa Tengah untuk memiliki suatu Perguruan Tinggi Islam yang sesuai dengan kondisi dan situasi masyarakat. Pendirian IAIN Walisongo betul-betul muncuk dari aspirasi bawah dan atasinisiatif tokoh-tokoh agama Jawa Tengah, yang direspon secara positif oleh elemen-elemen masyarakat lainnya.
Aktivitas perintisan pertama berawal dari gagasan dan pemikiran Drs. Soenarto Notowidagdo untuk mendirikan sebuah Perguruan tinggi Islam yang berpusat di pantai utara Jawa Tengah. Gagasan tersesbut berangkat dari kenyataan bahwa mayoritas penduduk Jawa Tengah khususnya bagian utara beragama Islam. Pada sisi lain, Jawa Tengah merupakan salah satu basis dan kekuatan Partai Komunis Indonesia (PKI). Di Jawa Tengah (PKI) pada tahun 1955 memperoleh suara terbanyak pada pemilihan umum. Oleh sebab itu, kehadiran Perguruan Tinggi Islam di Jawa Tengah merupakan kebutuhan, disamping untuk mendalami ajaran Islam serta upaya dakwah islamiyah, juga untuk menanggulangi dan membendung kekuatan dan gerakan komunis.
Drs. Soenarto Notowidagdo menyebarluaskan gagasannya sejak tahun 1958 sewaktu ia menjadi Ketua Lembaga Pendidikan Ma’arif Nahdhatul Ulama’ (NU) Jawa Tengah. Namun gagasan tersebut baru menjadi kenyataan setelah beliau terpilih menjadi Bupati Kudus pada tahun 1962. Berbagai konsultasi dan akhirnya diputuskan rencana untuk mendirikan perguruan tinggi di Kudus dengan dua fakultas, yaitu Fakultas Agama dan Fakultas Ekonomi. Keputusan itu secara khusus dilatarbelakangi oleh pertimbangan bahwa masyarakat Kudus dan sekitarnya mayoritas beragama Islam, dengan mata pencaharian utama di bidang perdagangan dan pertanian.
Aktivitas perintisan kedua terjadi di Semarang, tepatnya bulan Desember 1966. Setelah kepindahannya dari Kudus pada tahun itu, Drs. Soenarto Notowidagdo menjadi anggota badan Pemerintah Harian (BPH) Propinsi Jawa Tengah. Drs. Soenarto Notowidagdo sesudah berkonsultasi dengan beberapa tokoh muslim di rumahnya Jl. Seroja Barat No. 9 Semarang untuk merintis berdirinya Fakultas Syari’ah di Semarang. Pada pertemuan tersebut, forum musyawarah menghasilkan beberapa keputusan, antara lain menyepakati pembentukan Fakultas syari’ah di Semarang.
Untuk merealisasikan kesepakatan itu dibentuk dua tim, yaitu Badan Edukatif yang mengurus segala persiapan pendirian Fakultas Syari’ah, diketuai oleh Drs. Soenarto Notowidagdo. Sedangkan tim yang lain dibentuk sebuah yayasan yang mengurus persoalan dana, diketuai oleh KH. Ali Masyhar, selaku Kepala Jawatan Departemen Agama Propinsi Jawa Tengah. Adapun komposisi Badan Edukatif terdiri atas :
Ketua
Drs. Soenarto Notowidagdo
Sekretaris
R. Soedarmo ( Anggota DPR-GR/MPRS, Sekretaris Wilayah NU Jateng )
Anggota
- Drs. H. Masdar Helmy (Kepala Kantor Penerangan Agama Propinsi Jateng )
- Karmani, SH. ( Dosen Universitas Diponegoro )
- Nawawi, SH ( Pegawai Pemda Propinsi Jateng )
Sedangkan badan kedua yaitu Yayasan Al- Jami’ah yang bertugas untuk mengusahakandana dipimpin oleh KH. Ali Masyhar Perwakilan Departemen Agama Propinsi Jawa Tengah.
Proses pendirian Fakultas Syari’ah tidak bisa terlaksana seara cepat, karena antara kedua tim tersebut memiliki perbedaan pandangan prinsip mengenai status lembaga yang akan didirikan. Perbedaan tersebut terletak pada persoalan apakah institusi yang akan didirikan nanti menginduk ke IAIN Sunan Kalijaga atau berdiri sebagai IAIN yang independen. Kelompok yang menghendaki agar Fakultas Syari’ah menginduk ke IAIN Sunan Kalijaga diwakili oleh KH. Ali Masyhar. Sikap tersebut didasarkan pada alasan praktis, yakni di Semarang sudah membutuhkan sebuah Fakultas dalam rangka menampung para calon lulusan Sekolah Persiapan IAIN (SP IAIN).
Di pihak lain, Drs. Soenarto mewakili kelompok yang menghendaki Fakultas Syari’ah bediri sendiri sebagai IAIN di Jawa Tengah. Alasan yang dikedepankan adalah, pertama, secara geografis Semarang merupakan Ibukota Jawa Tengah yang secara administratif terpisah dari Yogyakarta, sehingga pendirian IAIN di Semarang merupakan keniscayaan. Kedua, mengacu kepada TAP MPRS No. II/MPRS/1960 tentang Pendirian IAIN di Berbagai Daerah, maka pendirian IAIN di Semarang sebagai institusi yang mandiri, bukan cabang suatu tindakan yang legal dan formal.
Karena perbedaan prinsip tersebut, sebagai jalan keluarnya rencana pendirian Fakultas Syari’ah diubah menjadi Fakultas dakwah, diman realisasinya diserahkan kepada Drs. H. Masdar Helmy dengan dasar Putusan MPRS No. II/1962.
Meskipun terdapat dua prinsip tentang proses pendirian Fakultas Syari’ah sebagai cikal bakal IAIN Jawa Tengah di Semarang, tetapi setelah IAIN Walisongo berdiri, perbedaan tersebut cair karena adanya kesatuan misi dari kedua tokoh tersebut untuk mendirikan Perguruan Tinggi Islam di Jawa Tengah. Hal demikian dibuktikan dengan adanya dukungan penuh dari KH. Ali Masyhar dengan menyediakan fasilitas gedung, kantor dan sarana perkuliahan milik Yayasan al- jami’ah yang dipimpinnya untuk kegiatan belajar mengajar IAIN Walisongo Jawa Tengah di Semarang. Gedung tersebut dipergunakan sampai IAIN Walisongo memiliki kampus sendiri di Jrakah Kec. Tugu Semarang pada Tahun 1975.
Selanjutnya Drs. Soenarto Notowidagdo dengan persetujuan lisan Menteri Agama KH. Moh Dahlan membentuk panitia baru yang diberi nama Panitia Pendiri IAIN Walisongo Jawa Tengah di Semarang. Panitia ini mendapat dukungan dari Meyjen Munadi Gubernur Jawa tengah, Mayjen Soerono Oangdan VII Diponegoro, Sugiri, SH., Kajati Jawa Tengah, dan H. Imam Sofwan Ketua DPR-GR Jawa Tengah.
Sejak tahun 1963, usaha pendirian IAIN Walisongo Jawa Tengah terus dilakukan dengan cara mndirikan beberapa fakultas di daerah seperti Fakultas Syari’ah di Bumiayu, Fakultas Syari’ah di Demak, Fakultas Ushuluddin di Kudus, Fakultas Ushuluddin di Slawi Tegal, Fakultas Tarbiyah di Salatiga dan Fakultas Dakwah di Semarang. Eksistensi beberapa fakultas di daerah tersebut menjadi daya picu (trigger) untuk segera didirikanya IAIN sebagai institusi induk. kebutuhan akan keberadaan IAIN sebagai perguruan tinggi Islam merupakan sesuatu yang mendesak dan harus segera direalisasikan.
adapun susunan pimpinan IAIN Walisongo pada periode perintisan ( masa persiapan penegerian 1968 s/d 1970 ) adalah sebagai berikut :
Rektor : Drs. Soenarto Notowidagdo
Wakil Rektor I : KH. Moh Sowwam
Wakil Rektor II : Hasan Salim al-Habsyi, MA.
Wakil Rektor III : Drs. H. Masdar Helmy
Sedangkan susunan Dekan Fakultas adalah:
Fakultas Dakwah di Semarang : Drs. H. Masdar Helmy
Fakultas Syari’ah di Demak : KH. Abdul Malik
Fakultas Syari’ah di Bumiayu : Drs. M. Amir Thoha
Fakultas Ushuluddin di Kudus : KH. abu amar
Fakultas Tarbiyah di Salatiga : KH. Zubair