Stari jelšanski grad bio je smješten na poluotoku Gradina, a do danas je djelomično sačuvan obrambeni zid sagrađen sa zapadne strane poluotoka koji se protezao od uvale Mina do uvale Bočić. Nekadašnji zid bio je dug 172 m i imao 800 metara dug obzid. Na mjestu nekadašnjeg samostana augustinaca, od kojeg je sačuvana crkva sa zvonikom iz 1605. g., danas se nalazi jelšansko groblje.
