Pierwsza wzmianka źródłowa o formującym się u stóp Wzgórza miasteczku pochodzi z 1278. Badania archeologiczne nie potwierdziły istnienia tutaj wcześniejszego osadnictwa. Kiedy po kolejnym powstaniu Prusów w 1275 doszczętnie spalono katedrę w Braniewie, biskup warmiński Henryk Fleming postanowił przenieść kapitułę warmińską i wybudować tu katedrę. Nazwę miasta przyjęto od Najświętszej Marii Panny, patronki katedry. Osadnicy niemieccy nazywali je – Frauenburg, a kanonicy warmińscy w swoich dokumentach pisali Castrum Dominae Nostrae – Gród Naszej Pani.

Powstały w wyniku tego wyboru w ostatniej ćwierci wieku XIII kompleks osadniczy składał się z dwóch, całkowicie od siebie niezależnych, jednostek: zespołu katedralnego na wzgórzu i miasta nad brzegiem Zalewu Wiślanego. Każda z nich posiadała odmienne podstawy prawne. Dopiero w końcu wieku XIX tarasy górny i dolny powiązano w jeden zespół, natomiast w roku 1926 Wzgórze Katedralne i miasto połączone zostały administracyjnie.

Początkowo miasto stanowiło własność biskupów warmińskich, od 1320 należało do kapituły. Zwane było wówczas Civitas Warmiensis (Miasto Warmińskie). Tak też było w istocie, gdyż Frombork był stolicą Warmii. Pierwszą udokumentowaną datą nadania praw miejskich jest rok 1310.

Od czasów założenia życie mieszkańców miasta wiązało się głównie z rybołówstwem i rolnictwem. Z biegiem lat powstawały tutaj warsztaty rzemieślnicze świadczące głównie usługi dla kanoników i służby kościelnej. Już w średniowieczu wymieniano funkcjonowanie we Fromborku cechów krawców, piekarzy, piwowarów oraz gildii rybackiej.

Na mocy pokoju toruńskiego z 1466 miasto wraz całą Warmią weszło w skład Królestwa Polskiego. We Fromborku przebywał Mikołaj Kopernik, który jako kanonik kapituły warmińskiej żył i pracował na Wzgórzu Katedralnym niemal nieprzerwanie od roku 1510 do dnia swojej śmierci w maju 1543 roku. Właśnie tutaj Mikołaj Kopernik opracował "De Revolutionibus", dzieło, które odmieniło dotychczasowe pojęcia o wszechświecie. Zespół katedralny na wzgórzu stał się także miejscem pochówku astronoma.

Po kilkakrotnych zniszczeniach zabudowy miejskiej w czasie wojen szwedzkich rozpoczyna się w drugiej połowie wieku XVII upadek gospodarczy.

W 1772, po pierwszym rozbiorze Rzeczypospolitej, miasto znalazło się w granicach Prus.

Pewne ożywienie daje się zauważyć po 1837, kiedy przeniesiono tutaj siedzibę biskupstwa. Rozwój turystyki, który nastąpił w końcu wieku XIX, spowodowany m.in. uruchomieniem w roku 1899 linii kolejowej, sprzyjał dalszemu rozwojowi miasteczka jako znaczącego już ośrodka turystyczno-wypoczynkowego. Powstało wówczas kilka hoteli, gospód i pensjonatów.

W wyniku drugiej wojny światowej w 1945 Frombork został włączony do Polski. Dotychczasową ludność wysiedlono do Niemiec. Z powodu znacznych zniszczeń i niewielkiej liczby mieszkańców pozbawiono Frombork praw miejskich. Polska nazwa Frombork stanowi fonetyczne przyswojenie formy niemieckiej.

W 1946 podjęto decyzję o zorganizowaniu Muzeum Mikołaja Kopernika. Muzeum to udostępniono zwiedzającym we wrześniu 1948. W 1959 Frombork odzyskał prawa miejskie.

W latach 1966-1973 prowadzono odbudowę Fromborka, w ramach akcji Związku Harcerstwa Polskiego pod kryptonimem "Operacja 1001 Frombork". 2391 instruktorów i harcerzy za swoją nienaganną pracę, trwającą co najmniej trzy turnusy, otrzymało najwyższe wyróżnienie – tytuł Honorowego Obywatela Fromborka (HOF). "Operacja 1001 Frombork" przygotowywała obchody 500. rocznicy urodzin Kopernika.