El castell de Milany es troba en ruïnes. Les seves restes es troben sobre una roca a 1533 m d’alçada, en el punt culminant de la serra de Milany, en l’entramat de regions muntanyenques que formen part de la serralada Transversal. La seva altitud li permet dominar totes les serres que envolten Milany, la serra de Santa Magdalena, a l’est, amb la qual connecta a través del Puig de l’Obiol; la serra de Puig Estela, a nord, a l’altre costat de la vall de Vallfogona; les serres de Bellmunt i Curull, a sud, i la vall de el Ter, a l’oest.
