Budowę warowni rozpoczęto po 1280 roku, gdy Świdwin należał do margrabiów brandenburskich z linii askańskiej. Rozbudowę zamku podjęli Krzyżacy, którzy w roku 1384 przejęli miasto.