Вся история существования этого замка фактически связана с одними владельцами – графами Сюлли. Построен он бы в оборонительных целях. Впоследствии его переделывали много раз в соответствии с модными течениями в архитектуре. С XVII века владельцы замка использовали его исключительно в качестве загородного поместья.
Вплоть до 1962 года Сюлли-сюр-Луар принадлежал частному лицу, но государство все-таки выкупило его, чтобы сохранить как исторический памятник. Замок знаменит своими интерьерами, и, в частности, залом Психеи, где размещены чудесные гобелены, рассказывающие историю Психеи, Венеры и Купидона.
Стены замка также помнят период, когда здесь в течение нескольких сезонов жил Вольтер, после того, как написал сатирические тексты, направленные на Филиппа, герцога Орлеанского – регента при малолетнем французском короле Людовике XV. 22-летний Вольтер наслаждался здесь общением с графом Сюлли и писал пьесы.