Pierwotny układ urbanistyczny Tucholi to krzyżujące się prostopadle uliczki i duży rynek pośrodku czytelny jest do dnia dzisiejszego. Zabudowa miejska wraz z przylegającym od zachodu zamkiem komturskim wpisana została w owalny pierścień murów miejskich wzniesionych w XIV wieku. Kamienno – ceglany mur wzmocniony był 15 basztami i posiadał trzy bramy: Świecką, Chojnicką oraz Zieloną. Do zamku, który składał się z 3 części: zamku niskiego (podzamcza), zamku średniego (przedzamcza) i zamku wysokiego prowadziła brama i furta zamkowa. Na zachód od zamku zlokalizowane było zamkowe gospodarstwo „Kaltenberg” (Kałdowo). Nad miastem górowała bryła gotyckiej fary pw. Św. Bartłomieja.
W wyniku licznych wojen i wielkiego pożaru miasta w 1781 roku średniowieczna i nowożytna zabudowa uległa znacznemu zniszczeniu. Mieszkańcy rozebrali dawne budynki i mury miejskie, a materiał rozbiórkowy posłużył do wzniesienia nowych domów. Do dzisiaj zachowały się we fragmentach mury miejskie i zamkowe oraz nieliczne piwnice gotyckie.
W nazwach niektórych ulic miejscowa tradycja zachowała ich dawne znaczenie (np. Starofarna, Staromiejska, Rzeźnicka, Studzienna, Rycerska).
