Zand en aggregaat voor 'Strongpoint Elizabeth Castle' werden met een mechanische schop gelost in de 19e-eeuwse haven naast de Golfbreker, vanwaar het via een smalspoor naar het niveau van de Parade Ground werd getransporteerd. Zakken cement werden door dwangarbeiders uit de schuiten gelost en vervolgens met de hand naar het hoger gelegen terrein gedragen.

De Belgische dwangarbeider Emile Boydens herinnert zich een soortgelijk scenario in de haven van St Helier: "We moesten een van die schuiten vol cement lossen. En je weet wat ze in die tijd deden: de kraan trok het eruit en zette het op de pier. We moesten zakje voor zakje dragen, de hele dag, zonder ophouden. We trokken zelfs onze shirts uit."

Er zijn talloze constructies van gewapend beton rond het kasteel, waarvan de meest in het oog springende de massieve betonnen vuurleidingstoren zijn die op het hoogste punt van de slottoren is gebouwd, een monolithische betonnen kubus op de golfbreker van waaruit een onderzees mijnenveld werd gecontroleerd, en twee bunkers voor kustverdediging. Een van deze bunkers bevindt zich op de Parade Ground - in het natte beton naast de kanonsloop werd door Spaanse dwangarbeiders een inscriptie aangebracht als blijvende herinnering aan hun benarde situatie. De tekst luidt: "Gemaakt door Spanjaarden 11.08.1943".

De Spanjaard John Dalmau werd naar het kasteel gestuurd als straf voor het weggooien van Duitse benzine. Hij schreef dat: Ik werkte de hele dag met als enige voedsel een halve liter heldere soep per dag en sliep de hele nacht staand, omdat ik in de cel slechts twee vierkante meter vloeroppervlak mocht hebben - die ik deelde met anderen die voor soortgelijke vergrijpen waren veroordeeld. Op elk moment van de nacht werden we naar de binnenplaats gebracht en daar moesten we rondjes rennen. Als iemand viel, werd hij snel overeind geholpen met een paar klappen van de zweep.