Il n'en subsiste que quelques voûtes romanes sous le rocher et l'assise des deux tours rondes sises au nord-est et au nord-ouest, ainsi que des contreforts au nord, le tout permettant de mesurer l'ampleur que devait avoir le bâtiment. Vers 1460, la très noble famille d'Agoult, barons de Sault, comtes de Forcalquier, seigneurs de bien d'autres lieux, acquiert les terres de Lourmarin.