Mardin'in ne zaman ve kimler tarafından kurulduğu kesin olarak bilinmiyorsa da kuruluşu eski yakın doğu tarihine göre Subariler zamanına kadar dayanmaktadır. Alman Arkeologu Baron Marva Oppenheim'in 1911-1929 yılları arasında yaptığı kazılardan elde edilen sonuçlara göre: Subariler'in Mezopotamya da (MÖ.4500- 3500) yaşadıklarını bu tespite sebep olarak da Sümer ve Babil katları arasında buldukları kiremitleri göstermiştir. Gırnavaz örenyerinde 1932 yılında başlayıp 1991 yilina kadar sürdürülen Arkeolojik kazı ve araştırmalar sonucunda Gırnavaz'ın MÖ.4000'den M.Ö 7. yüzyıla kadar sürekli olarak yerleşme alanı olduğu anlaşılmaktadır.MÖ.4000 sonlarına tarihlenen Geç Uruk Devri, Gırnavaz kalıntılarının en alt kültür tabakasını oluşturmaktadır.Bu Kültür tabakasının üzerinde yer alan Er Hanedanlar Devri Mimari tabakaları daha çok ölü gömme adetleri açısından araştırılmış ve değerlendirilmiştir. Tespit edilen mezarlara göre ölüler bu devirde eski Mezopotamya geleneklerine göre açılan çukurlara dizler karınlarına çekik olarak yatırılmakta daha sonra yakılan hafif ateşle manevi temizlik sağlanarak dünyevi ilişkiler kesilip çukurlar kapatılmaktadır.Mezar içinde şahsi eşya olarak metal silahlar, Metal süs eşyaları ve mühürler kült ve seramik kap örnekleri çok sayıda tespit edilmiştir.
Sümer Kralı Lugarzergiz MÖ.2850 yılında Akdeniz'e kadar uzandığı seferinde Mardin'i hükmü altına almıştır. Şehircilik,sulama ve tarım alanında ileri bir seviyeye ulaşan Sümerler, geniş fetihler sonucu güçlerini kaybedince 30 yıl sonra Mardin'i Akadlar'a bırakmışlardır (MÖ.2820). Akadlar,MÖ.2500 yıllarında Sümerler'le anlaşarak Akad-Sümer Devletini kurmuşlardır. Prof..Dr Ekrem Memiş'in "Eski Çağ Türkiye Tarihi" adlı kitabında: "Mezopotamya'da büyük imparatorluk vücuda getiren Sami Kökenli Akadlar'ın vesikalarından anlaşıldığına göre,MÖ.3000 sonlarında Mardin Merkez olmak üzere Güneydoğu Anadolu bölgesi ile Kuzey Mezopotamya'daki Musul ve Kerkük dolaylarında Hurriler adı ile anılan bir kavim oturuyordu" diye yazar. Mardin,MÖ.2230'lu yıllarda Elam şehri oldu. Amuri ailesinin altıncı ferdi olan Hamurabi, Sümer topraklarınıı Babil'in idaresi altına alınca bu kez de Babil Devleti'ni kurmuş, ardından Yukarı Mezopotamya'ya saldırınca Mardin'i istila ederek topraklarına katmıştır.(MÖ.2200-1925).
MÖ. 1925 yıllarında Mardin'i işgal eden Hititler bir vıl sonra şehri terketmişlerdir. İran dolaylarından gelen Ari Irkından Midiller, Mardin ve çevresini ele geçirmiştir. 500 yıl hüküm süren Midiller bilinmeyen bir sebepten Mısır'lılara vergiye bağlanmışlar ve bir Midil prensesini de Mısır Firavunu île evlendirmişlerdir. MÖ. 1367 yılında Midiller arasında iç savaş çıkmış, bunu fırsat bilen Asur Kralı Asuri Balit Mardin ve çevresini topraklarına katmıştır. MÖ. 1190'da Anadolu'dan gelen bazı Ari ırk kavimleri Mardin'i almışlardır. 60 yıl sonra I.Tıplalpalasır, Sincar, Nusaybin ve Mardin'den geçerek 20 bin Maşiki kuvvetinin Koruduğu Kemecin'e' saldırıp onları yendikten sonra Mardin ve çevresini tekrar ele geçirmiştir. MÖ.1060'da I.Asurnasırbal zamanında Hititler birleşerek Gılganuş yakınlarında Asurlular'ı yenmişlerdir.Asurluların tekrardan kuvvetlenmeleri üzerine, Mardin Asur hakimiyetine girmiştir.MÖ.800 yılına kadar Asurluların elinde kalan Mardin daha sonra Urartu Krallığı egemenliğine geçmiştir.Urartu Kralı Mimes zamanında Mardin 50 yıl Urartu idaresinde kalmıştır.
MÖ.612 yılına kadar Sityaniler,MÖ.618 yılında ise İran'dan gelen Midiler buraları ele geçirmiştir. MÖ.335 yıllarmda Büyük İskender Mısır'ı aldıktan sonra Mezopotamya'ya gelerek İran'a gitmek için Mardin'den geçer. Buraları da istila eden İskender'in MÖ.323 yılının 28 Mayıs'ında Babil'de ölümünden sonra komutanları arasında devlet pay edilir ve Mardin doğu bölümünde kaldığı için Nikanır denilen General Slevkos'un payına düşer. (MÖ.311) MÖ. 131'de Mardin ve çevresi Urfa Krallığı (Abgarlar) topraklarına katıldı. MS.249'da Roma Hükümdarı Filibos saltanatının 5.yılında bir isyan başlatıp IX. Abgar'ı memleketten kovmuştur. Şehrin Valiliğine de Hapsioğlu Uralyonos tayin edilmiştir..Bu arada Mardin'de Urfa'ya bağlı olduğu için Roma egemenliğine girmiştir. MS.250 yılında Dakiyos, Pers ülkesini zaptetmiştir.Bu sırada tahribat gören Nusaybin'i onarmıştır. 330 yılında ateşe ve güneşe tapan Şad Buhari isminde bir kral Mardin Kalesinde rahatsızlığı nedeniyle kalır. Kalede kaldığı süre içerisinde iyi olunca kendisine kasır yaptırıp 12 yıl boyunca burada yaşar. Daha sonra Kral, memleketi Pers'ten birçok asker ve sivil getirip onları Mardin'e yerleştirir.442 yılına kadar getirilen insanlar vasıtasıyla şehirde birçok gelişme olur. 442 yılında halkı kasıp kavuran amansız bir veba salgını şehri yaşanmaz hale getirir. Yaklaşık 100 sene sonra Ursiyanos adlı Romalı bir; kumandan büyük bir ekiple Mardin'i 47 yılda inşa etmeyi başarır ve halkın tekrar buraya gelmesini sağlar. Bu süre içinde Persler'in ünlü merkezleri olan Dara yeniden inşa edilmiştir.
Mardin'e Bizanslar 640 yılında Hz-Ömer'in kumandanlarından İlyas Bin Ganem'in işgaline kadar varlıklarını devam ettirmişlerdir. Mardin ve çevresi, 692'de Emeviler'in, 824'te Halife Memnun zamanında Abbasilerin hakimiyetine girmiştir.Bu dönemde islamiyet hızla yayılmıştır. 885-978 yılları arasında buralarda hüküm süren Hamdaniler'in kaleyi kesin olarak zaıptedişleri 895 yılına rastlar. Doğal olan kalenin bazı yerlerine surlar yaptırarak bazı yerlerini de onararak günümüze kadar dimdik kalmasını sağladılar. 990 yılında ancak Musul'da tutunabilen Hamdaniler'in topraklarını birer birer ele geçiren Mervaniler, Mardin'i zapt ederler. Mardin ve çevresinde çarşılar, camiler yaparak onarımlarla ipek yolu üzerinde bulunan bu önemli şehri ticari açıdan canlandırırlar.. Alparslan'ın Malazgirt zaferinden sonra Türkler'in Anadolu'ya ulaşan akınları neticesinde gittikçe zayıflayanı Mervaniler Devleti Nusaybin'de 1089'da Selçuklular'a yenilerek onların hakimiyeti altına girer. Artuklular'dan İl Gazi Bey Mardin'i l105'te ele geçirerek devletin başkenti yapar.Halep'i aldığı gibi Haçlılara karşı giriştiği mücadeleler dolayısıyla İl Gazi Bey büyük ün kazanır. Antakya Haçlı Prensi Roger'i yenerek Silvan'ı ele geçirir, İl Gazi' nin ölümünden sonra oğulları ve yeğenleri devletin basına geçerek Diyarbakır, Harput Kalesi ve civarına hakim olup, Haçlıları, Frankları, Urfa Kontu'nu, Bilecik Haçlı Senyör'ünü ve Kudüs Kralı Bodven'i yenerek büyük başarı kazanırlar. Böylece Artuklular bölgede büyük devlet kurarlar. Bu devletin 304 yıllık egemenliği sürecinde çok sayıda tarihi camii, Medrese, hamam ve kervansaray yapılmış, birçok cami, medrese ve manastır onarılmıştır.