Zasadniczej przebudowie uległ zamek w latach 80-tych XVI stulecia za czasów panowania księcia Jana Fryderyka. Przez dwa kolejne lata skromna, gotycka budowla Bogusława X przekształciła się w nowożytną rezydencję książęcą. Był to trzykondygnacyjny budynek, podpiwniczony, na rzucie prostokątnym poprzedniej budowli. Do elewacji frontowej od strony północnej przylegała w środku wieża mieszcząca wejście do zamku i kręcone wokół filaru schody z wejściami na poszczególne kondygnacje. Z boku wieży, po wschodniej stronie, znajdowała się niewielka loggia. Gładkie ściany, wschodnią i zachodnią, urozmaiciły wykusze, a ścianę południową niewielkie ryzality. Naroża budowli były boniowane. Przestronne, często sklepione wnętrza były oświetlone szerokimi, dużymi oknami. Całość pokrywał dach czterospadowy, na którego dachówkę sprowadzono ze Sławna.
5 września 1588 roku możemy uznać za dzień zakończenia budowy renesansowego zamku w Słupsku. Właśnie taki zamek w możemy podziwiać z zewnątrz dzisiaj.
W XX wieku całkowicie przebudowany i zdewastowany zamek nadal pełnił funkcję magazynów, tuż przed wojną przechowywano tu m.in. dekoracje teatralne. Po wojnie przez jakiś czas mieściła się tu wytwórnia lin i siatek.
Przełom w dziejach zamku przyniósł rok 1951, kiedy to przystąpiono do prac zabezpieczających, które poprzedziły zasadniczą odbudowę. Odbudowa prowadzona w latach 1958-65 przez gdański oddział Pracowni Konserwacji Zabytków miała na celu przywrócenie wyglądu zamku z czasów renesansowej przebudowy i przystosowania do pełnienia nowej funkcji – siedziby muzeum. Od 1965 roku zamek stanowi siedzibę Muzeum Pomorza Środkowego w Słupsku. Znajdują się w nim zbiory poświęcone historii Ziemi Słupskiej, a także największa na świecie wystawa portretów S.I. Witkiewicza – Witkacego.
Młyn Zamkowy
Tuż obok zamku znajduje się Młyn Zamkowy to jeden z najstarszych obiektów budownictwa przemysłowego w Polsce. Obecnie służy jednak jako cześć Muzeum Pomorza Środkowego. Wzniesiony został w lewobrzeżnym Słupsku obok mostu nad Młynówką, na książęcej posesji około 1310 r. Kamień młyński poruszało koło wodne zainstalowane na kanale przekopanym od Słupi. Ilość wody w kanale była regulowana odpowiednimi stawidłami.
W drugiej połowie XVI w, równocześnie z rozbudową siedziby książęcej, dokonano poważnych zmian, zwłaszcza w wyglądzie zewnętrznym młyna. Zamurowano gotyckie okienka spichlerzowe i przelicowano wszystkie ściany nadając im wystrój renesansowy: elewacja północna ozdobiona została arkadami wspartymi na płaskich pilastrach, a w środkowej arkadzie przebito szeroki portal. Podobne wnęki arkadowe uzyskały ściany zachodnie i częściowo południowe.
Po roku 1925 koło wodne zastąpiono turbiną umieszczoną w specjalnym budyneczku przylegającym do młyna.
W 1965 r. dawny Młyn Zamkowy przejęło Muzeum Pomorza Środkowego, adaptując obiekt na cele muzealne. Od 1968 r. w odbudowanym młynie ma siedzibę Dział Etnograficzny Muzeum.
W ekspozycji uwzględniono kulturę ludności rodzimej (Słowińców, Kaszubów Bytowskich, Krajniaków Złotowskich jak również z podkoszalińskich wsi Jamno i Łabusz), a także kulturę ludową osadników przybyłych na Pomorze Środkowe po ostatniej wojnie.
Brama Młyńska
Nieopodal Młyna Zamkowego znajduje się Brama Młyńska. Zamykała ona wjazd do miasta z kierunku Gdańska i Smołdzina.
Zbudowana w stylu gotyckim w XIV wieku była częścią systemu murów obronnych miasta Słupska. Brama była zwieńczona ozdobnymi szczytami ze sterczynami.
Do południowej elewacji Bramy Młyńskiej przylega krótki odcinek miejskiego muru obronnego. Fragment ten jest najwyższym z zachowanych w Słupsku i ma 8 m wysokości.
W Bramie Młyńskiej mieści się obecnie pracownia konserwatorska Muzeum Pomorza Środkowego.
