Adam Chmielowski, Opuszczona plebania