Первое упоминание о крепости относится ко временам античности. Однако постройки, дошедшие до наших дней, здесь появляются лишь в XIV веке, когда правители из могущественного в ту пору Анжу-Сицилийского дома занялись возведением на Искье военных сооружений (все прежние форты и постройки были уничтожены землетрясениями на рубеже XIII-XIV столетий). В 1380-ые годы род прервался, однако контроль над Неаполем и Искьей сохранили представители боковых ветвей Анжуйской династии.
В следующем веке замок был соединен с Искьей небольшой дамбой и стал принадлежать знатному роду д'Авалос - испано-итальянской семье, из которой вышло множество видных деятелей эпохи Возрождения. При них Искья и замок пережили свой расцвет: Арагонезе фактически стал небольшим городом, да еще и видным культурно-религиозным центром - на его территории нашли приют монахи из различных орденов (включая уникальный базилианский орден, члены которого исповедуют католичество с элементами православия), художники, музыканты. С той поры сохранилось несколько небольших церквей, террасы, небольшое кладбище. При этом стены замка выполняли свои прямые обязанности, защищая его обитателей от пиратов, развивших невиданную прежде активность в 1510-1570-ых гг.
Однако позже угас и род д'Авалос, и Арагонезе перестал быть и значимым культурным центром и важной политической единицей на карте Средиземноморья. С 1730 года Искья фактически была островом рыбаков, аристократы же покинули замок и перебрались на материк. Еще позже в замке была обустроена тюрьма (некоторые помещения сохранились до наших дней), а в 1860 году была ликвидирована и тюрьма, и Арагонезе стал собственностью молодого объединенного итальянского государства, попав снова в частные руки в результаты продажи с аукциона в 1912 году.
Сегодня замок продолжает оставаться частным владением, являясь фактически музеем с несколькими экспозициями и архитектурным наследием Ренессанса.
