Il centro storico di Jelsa è situato sulla penisola di Gradina, ed e' stato parzialmente conservato il muro difensivo, costruito sul lato occidentale della penisola, che si estendeva dalla baia di Mina a quella di Bočić. Il vecchio muro era lungo 172 m e aveva 800 m di parete di rivestimento. Sul sito dell'ex monastero agostiniano, da cui e' conservata la chiesa con un campanile dell'anno 1605, oggi si trova il cimitero di Jelsa.
