La fortificazione si trova impiantata su una sommità di una collina di roccia granitica, alta circa una cinquantina di metri situata all'altezza del Km 144 della SS.125 all'ingresso sud dell'abitato di Lotzorai. La sua storia è legata a questa località e all'intera piana. Si cominciò a chiamarlo così nell'Ottocento; nel tardo mondo antico e nell'alto medioevo, questa fortificazione si chiamava Ogliastri Castrum,forse dal nome della perdalonga oppure dalla pianta dell'olivastro. Ha avuto una storia movimentata e travagliata ; è stato spesso al centro degli avvenimenti che hanno riguardato tutta l'Ogliastra. Trovandosi al confine tra la piana e le circostanti montagne e pressochè sulla riva del mare, ha sempre costituito un caposaldo di primaria importanza. Si presume che in epoca nuragica e poi fenicia questa altura fosse un luogo di culto. Dal V AL II secolo è stata una fortezza punica. Divenne poi presidio militare romano a difesa del Sulpicius Portus. Continuò ad esserlo anche nel periodo bizantino e giudicale a difesa delle incursioni barbaresche dal mare. Intorno all'anno 1000 fu costruito sul colle, sopra le fondamenta esistenti, un vero e proprio castello dai Giudici di Cagliari, subito distrutto dai saraceni, quindi ricostruito nel 1052. I sistemi murari perimetrali , che costituivano la parte difensiva del Castello, si addattavano alla morfologia della roccia, sviluppandosi planetricamente in una costruzione pentagonale irregolare.
Per un periodo imprecisato fu di proprietà della famiglia pisana dei Sismondi che frattanto erano diventanti Giudici di Ogliastra. Fu nuovamente distrutto in epoca imprecisata. Nel 1257 il Giudice Giovanni Visconti di Gallura s'impadronì del Giudicato d'Ogliastra e il castello fu ricostruito. Passò quindi nel 1258, ai visconti di Genova e nel 1308 nuovamente ai Pisani. Nel 1324 epoca della conquista aragonese della Sardegna e quindi anche dell'Ogliastra il castello fu assediato e distrutto dal marchese Francesco Carroz, inviato in Sardegna dall'infante Alfonso di Aragona. Tutta la Regione e il castello divennero giudicali agli inizi del 1366e rimasero in mano alle truppe giudicali almeno fino al Giugno del 1409 quando furono riconquistate dal capitano generale Berengario Carròs di Quirra. Nella carta della Sardegna di Sigsmondo Arquer del 1558 è possibile osservare il prospetto del castello. Dalle dimensioni di questa rappresentazione possiamo immaginare la vastità della fortificazione in epoca medioevale , che presentava due torri angolari a pianta rettangolare ed un alto mastio conico centrale. Il Castello di Lotzorai doveva essere comunque ancora in buone condizioni nel 1557 quando Guglielmo Raimondo Carròs conte di Quirra, lo donò al figlio Ludovico, riservandosene però l'usufrutto. Oggi purtroppo il Castello è un rudere quasi coperto e nascosto dalla vegetazione.
