Строительство дворца началось в конце [[XV векавек]]а, по приказу Педро Энрикеса де Киньонес и его супруги Каталины де Риберы, основателей династии Алькала, и было закончено их сыном, Фадрике Энрикесом де Рибера (1-й маркиз де Тарифа), который и дал дворцу такое название в честь своего паломничества в [[Иерусалим]], которое он совершил в [[1519 годугод]]у. Семейная легенда гласит, что расстояние, которое отделяет руины иерусалимского дворца Понтия Пилата и [[Голгофа|Голгофу]] — та же сама, которая разделяет севильский дворец и часовню за пределами городских стен, называемую Круз дель Кампо. В Севилье стали считать, что дом — является копией дворца. С 1520-х годов во время [[Страстная неделя|Страстной недели]] в Севилье отсюда стали начинать [[Крестный путь]].