В начале 12 в., то есть почти сто лет спустя Болеслав III Кривоустый вновь вернул в состав Польского королевства Западное Поморье. В 1124 году сюда для обращения язычников в христианство прибыл Бамбергский, «апостол Померании». В 1181 году местный князь признал себя вассалом Священной Римской империи и немецкое влияние здесь возобладало, Поморье стало Померанией, а Колобжег получил немецкое имя Кольберг.

В 1255 году город получил любекское право. С серередины 17 в. после Севверной войны 1700-21 гг. перешел в состав Бранденбургу (затем Пруссия). Во время Семилетней войны 1756-1763 гг. осажден русскими войсками генерала П. А. Румянцева и 5 (16) декабря 1761 года капитулировал. После окончания войны был возвращен Пруссии.С 1871 года вместе с остальной Пруссией вошел в состав объединенной Германии.

Во время Второй мировой войны город усиленно укреплялся с 1944 года, из-за чего отсюда были выселены многие горожане. В марте 1945 года город после жесточайших боев был взят Красной Армией и Войском Польским, потерпев сильные разрушения. Вместе с остальным Поморьем отошел к Польше по решениям Потсдамской конференции. Оставшееся немецкое население было выселено в Западную Германию.

Центральная часть города восстановлена в «средневековом» виде, наиболее выдающимся зданием является кафедральный собор 14 в. в готическом стиле.