De geschiedenis van Torre Orsaia begint rond het midden van de elfde eeuw, ten tijde van de Normandische leider Robert Guiscard. In die periode was er sprake van vele plunderingen door piraten, van malaria en de vernietiging van Policastro door dezelfde Guiscardo (1065).
De kustbewoners werden hierdoor gedwongen meer de binnenlanden in te trekken. Zo ontstond de eerste nederzetting “Terra Turris Ursajae” op de plek waar nu Castel Ruggero staat en  die nederzetting werd toen beschouwd als een plek van groot strategisch belang.

In 1150 sloegen Roger II en zijn Normandische troepen hier hun kamp op (vandaar de naam
Castra Roggerii = Castal Ruggero).

In 1301 gaf Monseigneur Pagano, bisschop van Policastro,  opdracht tot de bouw van een zomerhuis (dell’Episcopio) in Torre Orsaia en hij beloofde iedereen die wilde gaan wonen in de buurt van het bisschoppelijk paleis genoeg grond voor een huis, een wijngaard, een boomgaard en een hooiberg.

Van 1811-1860 was Torre Orsaia de hoofdstad van het district behorende tot het Koninkrijk der Twee Siciliën.

Van 1860 tot 1927, tijdens het Koninkrijk Italië, was het de hoofdstad van het gebied dat behoorde tot  Vallo della Lucania.