Miasteczko słynie przede wszystkim z otoczonej kultem gotyckiej figury Matki Boskiej. Wedle legendy miała ona przypłynąć na swarzewski brzeg z Helu po tym, jak w mieście zwyciężyła reformacja. W miejscu tego cudownego zdarzenia stoi do dziś XVIII-wieczna kapliczka.
