La fondazione della città avvenne ad opera degli Schiavoni (popolazione slava proveniente dall’altra sponda dell’Adriatico) sul finire del X secolo. Il primo nucleo delle abitazioni sorse nelle vicinanze della torre quadrata, attualmente è denominato “Li Stratodde”. Si trattò di povere casupole fatte di pietre e bolo con copertura di canne ed embrici. L’elemento più importante del borgo antico è costituito dal complesso del palazzo baronale in cui è inserita la Torre quadrata, che sarebbe sorta sul finire del secolo XI, al tempo di Boemondo di Taranto.