Die alte Stadt Jelsa befand sich auf der Halbinsel Gradina. Bis heute erhalten blieb ein Teil der Festungsmauer auf der Westseite der Halbinsel, die sich von der Bucht Mina bis zur Bucht Bočić erstreckte. Die ehemalige Mauer hatte eine Länge von 172 m und 800 m Ummauerung. An der Stelle des ehemaligen Augustinerklosters, von dem die Kirche mit dem Glockenturm aus dem Jahre 1605 erhalten blieb, befindet sich heute der Friedhof von Jelsa.
