Duffus Castle ist eine Burgruine bei Elgin in der schottischen Council Area Moray. Die ursprünglich hölzerne Motte wurde von circa 1140 bis 1705 genutzt. In dieser Zeit unterlag die Burg vielen Veränderungen, deren tiefgreifendste der Abriss der hölzernen Burg und ihre Ersetzung durch eine Steinburg war. Zur Zeit ihrer Erstellung war sie eine der sichersten Festungen Schottlands. Nach dem Tod des 2. Lord Duffus 1705 war die Burg als Wohnstatt unzumutbar und wurde daher aufgegeben.