Het kasteel van 's-Gravenwezel heeft een dubbele omwalling en stamt uit de 13e eeuw. Het was de residentie van de Graven de Woutere. Hierdoor kreeg de oorspronkelijke gemeentenaam Wesel of Wesele, de toevoeging (de)'s Graven. In de 14e eeuw werden twee imposante ronde hoektorens bijgebouwd, waarvan er één bewaard bleef. Zowel de oost- als noordgevel zijn opgetrokken in gotische stijl. Het poortgebouw werd in de barokperiode toegevoegd. Kort daarna werd het kasteel grondig herbouwd van een "waterburcht" naar een voor die tijd modern residentie-kasteel, onder leiding van architect Jan Pieter van Baurscheidt de Jonge. Het kasteel ligt te midden van een 21 ha groot park.