Замок По расположился в самом центре старинной части города. Он возведен на возвышении на берегах реки Гав-де-По – месте, которое было выбрано из стратегических соображений. Приблизительно в XI веке был построен замок, и его название, которое в дальнейшем дало имя и всему городу, вероятнее всего, происходит от слова «pau» — что в переводе с беарнского наречия означало изгородь, частокол, которые окружали замок.
Первоначально замок По являл собой типичную средневековую крепость, имеющую три башни, которые были надстроены в XII веке по приказу Гастона Беарнского. Башни имели названия Мазер, Бийер и Монтозе – по названию местностей в округе По. В XIV веке возникла необходимость в более надежном, дополнительном укреплении замка, что было вызвано началом Столетней войны. Тогда знаменитый Гастон III Феб возвел внушительный донжон, имеющий высоту в 33 метра. На нем выгравировали надпись «Febus me fe» — «Меня сделал Феб». Такая же надпись имеется над входом в замок Монтане – это еще одна крепость, возведенная по приказу Гастона Феба для защиты района По.
В XVI веке после того, как королевство Наварра было присоединено к Франции, замок По стал королевской резиденцией. Одно время здесь даже жил Генрих II Наваррский вместе с Маргаритой Наваррской — своей супругой, которая являлась талантливой писательницей, ее перу принадлежит сборник новелл «Гептамерон», которые были написаны под влиянием «Декамерона» Боккаччо.
Однако, событие, более всего прославившее замок По – то, что здесь родился король Генрих IV. В музее замка до сегодняшнего дня хранится колыбель, которая выполнена из черепашьего панциря, в ней некогда в младенчестве спал будущий король. Даже несмотря на то, что Генрих IV провел здесь только лишь свое раннее детство, замок По теперь навсегда и прочно ассоциируется с его именем.
Именно потому в XIX веке в период Реставрации замка король Луи-Филипп I, который имел прозвище «король-гражданин» за свою несбыточную мечту объединить идеи монархии и Революции, определил замок По в качестве своей резиденции. По его мнению, именно это место символизирует примирение враждующих сторон – так как связано с именем короля, который в свое время положил конец вражде католиков и протестантов. В это время замок был отреставрирован, однако сам Луи-Филипп I так, к сожалению, и не смог посетить замок По, ведь разразилась Февральская революция 1848 года и, отрекшись от престола, король бежал в Англию.
На сегодняшний день замок По является музеем, здесь выставлены многочисленные экспонаты французского изобразительного и декоративно-прикладного искусства, начиная с эпохи Генриха IV. В замке сохранена обширная коллекция гобеленов, которая считается второй по величине во Франции (после той, которая находится в Париже), и коллекция живописи и рисунков. Иногда в музее устраивают тематические выставки, проводят лекции по истории Франции и конференции.