Eine bis heute rätselhafte Geschichte: Beim Abriss einer alten Scheune im Jahr 1909 in der Nachbarschaft der Gaststätte „Zur Erholung“ tauchten eine Sandsteinplastik eines Pans (griech. Hirtengott) oder Fauns zusammen mit einigen weiteren Teilen auf.
Ein weiterer Pan war in einer Treppenstufe eingemauert. Schnell sprach sich die Kunde vom „Düwel von Düdinghausen“ herum. Zur Ausstellung in der Wirtschaft reiste der Heimatforscher Wilhelm Wiegmann an. Wiegmann hielt es für wahrscheinlich, dass Pan im nicht weit entfernten Sachsenhäger Schloss verbaut gewesen sein müsse. Der Heimatkundler verglich die Darstellung mit ähnlichen Abbildungen an den Kaminen des Stadthäger Schlosses. Irgendwann zu Beginn der 1920er Jahre war es um die Kostbarkeiten geschehen. Ein Pastor soll die Stücke aufgekauft und zerschlagen haben, um dem „teuflischen Spuk“ ein Ende zu setzen.
Die Geschichte aber lebte weiter: Zum 900-jährigen Bestehen der Grafschaft Schaumburg inszenierte die Schaumburger Landschaft 2010 ein Historienspektakel: Fürst Ernst kehrte in Person des Schauspielers Peter Kaempfe aus dem Jenseits zu einer Reise durch seine Grafschaft zurück. Das Besondere: Als junger Graf hatte er im Sachsenhäger Schloss residiert. Die Gelegenheit, ihn bei seinem Stopp in Düdinghausen bei einer guten Schaumburger Hochzeitssuppe nach der Erlaubnis zu fragen, ob die Pansäule – aus touristischen Gründen – wieder erstehen dürfe. Nicht nur die köstliche Suppe stimmte den Fürsten positiv.