El castillo de Milany se encuentra en ruinas. Sus restos se encuentran sobre una roca a 1533 m de altura, en el punto culminante de la sierra de Milany, en el entramado de serranías que forman parte de la cordillera Transversal. Su altitud le permite dominar todas las sierras que rodean Milany, la sierra de Santa Magdalena, al este, con la que conecta a través del Puig de l’Obiol; la sierra de Puig Estela, al norte, al otro lado del valle de Vallfogona; las sierras de Bellmunt y Curull, al sur, y el valle del Ter, al oeste.
