Истоки замка Сомюр лежат в X веке, когда в этом месте возник монастырь и военная крепость, призванная защищать крошечное тогда поселение Сомюр от нападения норманнов. Позже форт перешел во владения графа Анжуйского, который расширил и укрепил его. В XI веке он был включен в состав королевских земель.
Из крепости в замок строение превратилось тогда, когда в 1360 году Людовик I Анжуйский получил его в собственность и стал перестраивать. Золотыми временами для замка были XIV и XV века. Его украшали, достраивали, о нем заботились, как о доме. Сомюр стал последним примером красивых дворцов, которые появились во Франции в период правления династии Валуа.
После смерти короля Рене Анжуйского, в замке был размещен королевский гарнизон. Затем в течение двух веков Сомюр выполнял функции тюрьмы. Содержались в ней, правда, не отпетые преступники, а люди благородных сословий, которым даже позволялось выходить гулять в город. Две недели здесь провел заключенный Маркиз де Сад.
Лишь в 1906 году город Сомюр выкупил замок у Франции, чтобы реставрировать его и превратить в музей.