Nazwa wsi wzięła się od rodziny Wałdowskich, w których posiadaniu wieś była od średniowiecza do XVIII wieku. Najcenniejszym zabytkiem jest gotycko-renesansowy kościół św. Mateusza, zbudowany w 1621 r. z fundacji Anny z Zakrzewskich Wałdowskiej. Wystrój tej ceglanej, przykrytej sklepieniem kolebkowo-krzyżowym budowli jest głównie klasycystyczny, z pierwszej połowy XIX wieku, z licznymi elementami z czasów wcześniejszych. W elewacji na uwagę zasługuje renesansowy portal. Znajdująca się opodal klasycystyczna plebania pochodzi z początku XIX wieku.