منذ القرن السابع عشر، جذب سحر هذا القرية، التي أطلق عليها اسم قديس مسلم توفي في عام 1231 والذي لا يزال يُكرم اليوم، الطبقة البرجوازية التونسية وعائلة الباي الحسيني. أصبحت مقراً لبلدية في عام 1835. في عام 1915، صدر مرسوم لحماية القرية، يفرض الألوان الزرقاء والبيضاء المحبوبة لبارون ديرلانجر، رسام وموسيقي وأستاذ دراسات الشرق الفرنسي البريطاني البارز الذي بنى قصرًا بمساحة 2000 متر مربع في حديقة تبلغ مساحتها خمسة هكتارات، والتي أصبحت الآن "المركز والمتحف للموسيقى العربية والمتوسطية". يمنع هذا المرسوم أي بناء فوضوي على الرأس، مما يجعل سيدي بوسعيد أول موقع مصنف في العالم.