Lokalna legenda pravi, da je dvorec zgradila kraljeva družina dinastije Qing kot cerkev za britanske prebivalce Pekinga. Ko so se leta 1949 komunisti na krilih zmage približevali mestu, je častnik Kuomintang v hiši zapustil ženo. Ta naj bi se v vsej svoji žalosti obesila. Od takrat naj bi njen duh širil nemir po stavbi, le redko kdo pa si upa vstopiti, še posebej ponoči.
Tako naj bi po nekaterih zgodbah med obnovo v sedemdesetih letih prejšnjega stoletja izginilo več delavcev. Patriotska katoliška zveza, lastnik nepremičnine, vse zgodbe zavrača. Nekoč luksuzen dvorec je tako le še senca svoje nekdanje veličine, prekrit z grafiti, ki opozarjajo pred vstopom v zakleto domovanje. Manevrskega prostora je le malo: sloves odganja potencialne kupce, po drugi strani pa je stavba spomeniško zaščitena. Očitno vsi le čakajo, da se podre sama od sebe.
