Costruita a partire dal 1668, là dove si venerava la dea pagana dell'amore Milda, la chiesa di SS. Pietro e Paolo (Sv. Apastalu Petro ir Povilo baznycia) è una delle più belle chiese barocche della capitale. Alla fine del XVII secolo gli scultori italiani Giovanni Pietro Perti e Giovanni Maria Galli vi installarono 2000 statue di stucco bianco, ancora visibili.