Okulumuz 1926 yılında Gercüş Merkez İlkokulu adıyla eğitim öğretim faaliyetlerine başlamıştır. Bu tarihten önce değişik evlerde 3 yıllık eğitim öğretim faaaliyetleri yapıldığı söylenmektedir.

Okulumuz 1926 yılında Bedrettin Ekmen´e ait bir binanın alt katında daha sonra Hasan Ekmen´e ait bir binada eğitim öğretim faaliyetlerinin yapıldığı söylenmektedir. 1939 yılında tamamlanan şimdiki taş binada eğitim öğretimine başlamıştır. o günden bu güne bu binada faaliyetlerine devam etmektedir.

Okulumuz 1965 yılında ünlü düşünür Diyarbakırlı Ziya Gökalp ismini almıstır. Milli eğitim bakanlığının 23.08.1990 tarih ve 20535 sayılı onay emirleri gereği ilköğretim okuluna dönüşmüştür.1994/1995 eğitim öğretim yılında ana binanın kuzeyinde yapılan 2. kademe binası tamamlanınca 8 yıllık eğitim öğretim faaliyatine başlamıştır.