Begin jaren vijftig was de Spijtigen Duivel bijna verdwenen, aan zijn lot overgelaten door een zekere Van Loo, toenmalig eigenaar van het pand (?). In feite leek de laatste, die, in tegenstelling tot wat zijn naam doet vermoeden, een authentieke Engelsman te zijn, zeer onwillig om kosten te maken om zijn eigendom te behouden. Ook viel de Spytigen Duivel in puin en hier is de beschrijving die men er in 1950 van zou kunnen geven: “Het is een oud gewoon gebouw met zes sterk uit elkaar geplaatste ramen, die een centrale deur omlijsten, met slechts één verdieping, het geheel. waarschijnlijk daterend uit het begin van de 18e eeuw. De verhoudingen zijn goed, maar de constructie is matig. Alleen de gegoten stenen deur heeft enige stijlwaarde. Deze stijl is bovendien landelijk en de staat van instandhouding slecht. De ramen zijn niet met steen ingelijst; de kroonlijst is vernieuwd; binnen, geen oude schouw of stijlvolle deur; de trap is oud maar waardeloos. Het sloppenwijk-aspect wordt duidelijker als je door de bijgebouwen loopt, die allemaal wankel zijn zonder de minste artistieke hoek te vinden. “Op 17 april 1950 richtte hij zich tot zijn president, prof. Thibaut de Maisière lijkt het doodvonnis voor Spijtigen Duivel te hebben getekend. De afstammelingen van de weduwe Pauwels rekenden inderdaad op een mogelijke classificatie van het gebouw die hun vestiging zou redden, maar het vonnis van de heer de Maisière is definitief: “We geloven niet dat we de classificatie van het gebouw voor artistieke of zelfs folklore. Aan het begin van de jaren vijftig uitte Louis Quiévreux zelf zijn angst om de herberg en het antieke bord, dat net was verwijderd, te zien verdwijnen, maar het was gelukkig slechts een renovatie: de Spaanse bakstenen muren werden opnieuw geverfd, de binnenplaats beplant met eerbiedwaardige lindebomen werd hersteld en het bord werd verjongd door ene M. De Coninck, een van de stamgasten van de plaats. Het noordelijke deel van het gebouw verdween echter in 1954; dit was waarschijnlijk de prijs die moest worden betaald voor het behoud van het etablissement.