Obec sa prvýkrát spomína v obchôdzke chotára Šterús v roku 1262 ako Borey. Neskôr v roku 1263 ako Bory, r. 1773 ako Borovce, maďarsky Vágbory, nemecky Borowitz.
Do roku 1388 bola kráľovským majetkom, potom ich kráľ Žigmund daroval vojvodovi Stiborovi zo Stiboríc, ktorý mal sídlo v Beckove. Stiborovcom patrili do roku 1430. V 16. storočí sa stali zemianskou obcou, patrili rôznym šľachticom. V portálnom súpise z r. 1536 sa uvádzajú Boryovci, Thewrewkovci a Andrej Ruska. Kánonická vizitácia z r. 1560 uvádza majiteľov Pavla, Ľudovíta a Katarínu Bory a Jána Redneky. Neskôr sa objavujú aj zemepáni Očkayovci, Vietorisovci, Bosányiovci a iní. Po roku 1900 vystriedal zemianskych vlastníkov viedenský barón, veľkostatkár Springer, ktorému patrila väčšina chotára. Vo svojom majeri zamestnával chudobných ľudí z Boroviec i sezónnych robotníkov zo severného Slovenska.