Secara historis kehadiran perguruan tinggi di Sumatera Barat tidak dapat dilepaskan dari kota Batusangkar. Hal ini ditandai dengan berdirinya Perguruan Tinggi Pendidikan Guru (PTPG) Batusangkar tanggal 1 September 1954. Selanjutnya tahun 1956 PTPG Batusangkar diintegrasikan ke Universitas setempat sehingga berubah status menjadi bagian dari Fakultas Keguruan dan Ilmu Pendidikan (FKIP) Universitas Andalas di Bukittinggi. Walaupun pengintegrasian itu merupakan perubahan status, bagi PTPG Batusangkar yang diintegrasikan ke dalam Universitas Andalas Bukittinggi, kebijakan itu hampir tidak mempengaruhi program‑program sebelumnya.
Selanjutnya pergolakan daerah PRRI yang terjadi di Sumatera Barat pada akhir tahun 1950-an menyebabkan sedikit kemacetan dalam pelaksanaan program perkuliahan selama satu tahun, yaitu selama tahun 1957 sampai awal 1958. Setelah mengalami kemacetan hingga awal 1958, FKIP Universitas Andalas diaktifkan kembali pada tanggal 10 Juni 1958 dan pada tanggal 1 September dalam tahun yang sama kedudukannya dipindahkan dari Batusangkar ke Padang yang dalam perkembangan lebih lanjut berubah status menjadi IKIP Padang (sekarang Universitas Negeri Padang). Keadaan ini menyebabkan masyarakat Tanah Datar kehilangan asset yang sangat berharga. Berarti pada saat itu, tidak ada satupun Perguruan Tinggi di Kabupaten Tanah Datar.
Hal demikian menimbulkan motivasi dan keinginan yang kuat dari masyarakat dan Pemerintah Daerah Kabupaten Tanah Datar untuk memiliki sebuah Perguruan Tinggi guna menampung para pelajar tamatan Sekolah, Madrasah, Pondok Pesantren, PGA, dan Sekolah Persiapan IAIN atau sekolah menengah lainnya, yang ingin melanjutkan pendidikan ke Perguruan Tinggi. Begitu juga bagi guru agama yang ingin mendalami ilmu agama Islam secara formal untuk mendapatkan gelar Sarjana
Sementara itu, dibeberapa Daerah Tingkat II lainnya telah berdiri pula fakultas keagamaan, seperti Fakultas Ushuluddin di Padang Panjang, Fakultas Dakwah di Solok, Fakultas Syariah di Bukittinggi, dan Fakultas Adab di Payakumbuh. Keadaan ini semakin mendorong masyarakat Tanah Datar untuk segera mendirikan pula satu Perguruan Tinggi Agama Islam.
Upaya pembentukan sebuah Perguruan Tinggi Agama Islam di Batusangkar yang akhirnya berdiri secara resmi pada tahun 1968, dimulai dari pembentukan Panitia Persiapan Pendirian Perguruan Tinggi Agama Islam yang diketuai oleh Mahyudin Algamar (Bupati Tanah Datar pada waktu itu). Dengan melihat personil yang berperan semakin menampakkan adanya indikator bahwa pendirian Perguruan Tinggi Agama Islam di Batusangkar memang didukung oleh semua unsur, baik pemerintah maupun masyarakat.
Setelah Panitia Persiapan Perguruan Tinggi Agama Islam berjalan beberapa bulan, statusnya ditingkatkan menjadi Fakultas Tarbiyah Swasta yang berlokasi di Kubu Rajo Lima Kaum Batusangkar di atas tanah seluas 11.026 M2. Usaha ini semakin terdukung oleh tingginya keantusiasan masyarakat Tanah Datar. Hal ini dibuktikan dengan adanya kegairahan putra-putri mereka untuk melanjutkan pendidikan di Fakultas ini. Realitas tersebut menjadi potensi utama untuk beralih status dari swasta menjadi sebuah Fakultas yang berada dalam naungan Institut Agama Islam Negeri (IAIN) Imam Bonjol Padang. Peralihan tersebut berdasarkan Keputusan Menteri Agama RI No. 238 tanggal 20 Mei 1971. Dengan demikian Fakultas swasta ini resmi menjadi Fakultas Tarbiyah Negeri dengan status Fakultas Muda, artinya hanya bisa membuka program pendidikan tingkat Sarjana Muda.
Di tengah perjalannya, pada tahun 1974 Fakultas Tarbiyah IAIN Imam Bonjol Batusangkar diguncang oleh suatu peraturan rasionalisasi fakultas dalam lingkungan IAIN se-Indonesia. Sehingga Fakutas Tarbiyah di Batusangkar tidak dibenarkan lagi menerima mahasiswa baru karena akan ditarik ke IAIN Imam Bonjol Padang. Namun, berkat usaha sungguh-sungguh dari civitas akademika Fakultas Tarbiyah IAIN Imam Bonjol Batusangkar dan masyarakat serta Pemerintah Daerah Kabupaten Tanah Datar untuk mempertahankannya, maka Fakultas Tarbiyah IAIN Imam Bonjol Batusangkar ini tidak jadi ditarik ke Padang. Untuk itu pada tahun 1976, Rektor IAIN Imam Bonjol Padang Drs. Sanusi Latief memperkenankan Fakultas Tarbiyah IAIN Imam Bonjol Batusangkar menerima mahasiswa baru dengan beberapa persyaratan: Pertama, harus ada asrama mahasiswa. Kedua, harus ada Yayasan Penyantun. Ketiga, jumlah mahasiswa baru minimal 40 orang. Semua persyaratan tersebut akhirnya dapat dipenuhi oleh civitas akademikanya atas dukungan dan perhatian tokoh-tokoh eksternal.
Selanjutnya, berdasarkan Keputusan Menteri Agama No. 69/1982 Fakultas Tarbiyah ini meningkat statusnya dari Fakultas Muda menjadi Fakultas Madya. Dengan demikian semenjak tahun 1982, Fakultas Tarbiyah IAIN Imam Bonjol Batusangkar berhak menyelenggarakan perkuliahan tingkat doktoral dengan Jurusan Pendidikan Agama Islam (PAI).
Pada tahun akademik 1992/1993, Fakultas Tarbiyah membuka Jurusan Pendidikan Bahasa Arab (PBA). Pembukaan Jurusan baru ini disebabkan adanya tuntutan bahwa setiap Fakultas Madya diwajibkan memiliki sekurang-kurangnya dua Jurusan. Pada tahun akademik 1996/1997, Fakultas Tarbiyah IAIN Imam Bonjol Batusangkar membuka lagi Jurusan Kependidikan Islam (KI).