Le château se dresse sur une côte déchiquetée et dépourvue de mouillage, avec laquelle il ne semble faire qu'un. Les pierres qui le constituent sont du même noir que les falaises, humides à cause des embruns et parsemées de lichen vert sombre et de fientes d'oiseaux de mer. Il est bâti sur un ancien cap, brisé depuis par les assauts des vagues, dont il ne reste que trois îles et une quinzaine d'îlots rocheux en forme de pique.

Harloi est la plus grande île de l'archipel des îles de Fer. Elle est le siège de la puissante maison Harloi. Les seuls équidés de l'archipel, des poneys hirsutes, pâturent dans ses prairies.