Zamek, rozbudowywany między XIII wiekiem a XVI wiekiem, ochraniał szlak handlowy biegnący wzdłuż Dunajca i komorę celną dla towarów przywożonych z Węgier. Pierwotnie w tym miejscu znajdowała się romańska wieża obronna; w XIV wieku dobudowano wokół niej zamek stanowiący siedzibę starostów czchowskich; uległ on zniszczeniu w XVII wieku. Obecnie zachowała się jedynie XIV-wieczna wieża, częściowo zniszczona (bez górnej kondygnacji), i odsłonięte fundamenty murów.
W drugiej połowie XVIII wieku w zachowanej do dziś wieży mieściło się więzienie; zostało ono zlikwidowane po I rozbiorze Polski.
Ruiny zamku w Czchowie są tematem jednej z litografii Macieja Bogusza Stęczyńskiego i rysunku Adama Gorczyńskiego.
