Drewniana warownia, dwukrotnie zdobywana i niszczona została zastąpiona przez murowany zamek Bartenstein -Kamień w Barcji. "Barte" w języku staroniemieckim i staropolskie słowo "Barta" oznacza topór o szerokim ostrzu. Najprawdopodobniej to zdecydowało, że właśnie topór był elementem różnych wersji herbu miasta. Współczesny herb w czarno-białych barwach nawiązuje bezpośrednio do symboliki heraldyczno-weksykologicznej.Współczesna flaga jest wzorowana na chorągwi zdobytej w bitwie pod Grunwaldem.

Bartoszyce były lokowane dwukrotnie. W 1326 roku Komtur Bałgi Dietrich von Altenburg wydał przywilej lokacyjnyny na założenie miasta po stronie Łyny, w pobliżu zamku nadając mu nazwę Rosenthal - Dolina Róż. 17 lutego 1332 r. miasto dostało nową lokalizację na prawym brzegu rzeki, którą nadał Mistrz Zakonu Krzyżackiego Luter z Brunszwiku. Zmieniono również dotychczasową nazwę na Barteistein.

Korzystne położenie i doskonałe stosunki handlowe zapewniły miastu szybki i pomyślny rozwój. Zaistniała więc konieczność powiększenia pierwotnego planu miasta. Powstawało też wiele wsi w okolicach Bartoszyc. Oprócz kolonistów niemieckich tereny te zamieszkiwali Prusowie, Litwini i Polacy.

Ludność pochodzenia polskiego często przeciwstawiała się polityce Zakonu Krzyżackiego co prowadziło do wielu zatargów. W 1454 roku, w przeddzień wojny trzynastoletniej zbuntowana ludność Bartoszyc zniszczyła zamek krzyżacki.

Złoty okres w rozwoju miasta rozpoczął się w XV wieku i trwał do początku XVIII wieku. W tym okresie Bartoszyce stały sie znaczącym ośrodkiem kultury umysłowej. Przełom XVII i XIX wieku był dla miasta mniej pomyślny, wpłynęły na to społeczno-gospodarcze przemiany w Europie a także dwa wielkie pożary, które strawiły miasto niemał w całości.

W epoce cesarstwa niemieckiego stopniowo rosła zamożność Bartoszyc. W 1902 roku przeniesiono tu stolicę powiatu frydlandzkiego. Miasto zaczęło zmieniać się z rzemieślniczo-kupieckiego w urzędniczo-wojskowe.

W 1945 roku miasto zostało spalone i zrujnowane w 50% głównie w wyniku pożarów wznieconych po przejściu frontu. Jednak odbudowa miasta ze zniszczeń wojennych oraz wspólna praca na rzecz rozwoju regionu zintegrowała szybko społeczeństwo Bartoszyc.