Dvorac je sagrađen polovinom XIX veka za nepoznatog vlasnika u neposrednoj blizini železničke stanice. Početkom XX veka zgradu je otkupio Tabori Đula, gde je živeo sa svojim prelepim kćerima. Taborijevi su se bavili ugostiteljstvom, vinogradarstvom, voćarstvom i proizvodnjom i trgovinom žitaricama. U neposrednoj blizini dvorca je bila gostiona porodice Tabori, koja je do nedavno radila pod drugim imenom i u vlasništvu drugog gazde. Porodica Tabori, je zadržala dvorac do 1944. godine kada im je država zaplenila posed. Dvorac poslednjih godina nije imao namenu i bio je u veoma lošem stanju. Danas dvorac je u vlasništvu J.P. "Vrbas Gas" koje je temeljno renoviralo objekat za svoje potrebe.

Postoji legenda koja govori da je u Vrbasu živeo baron koji je bio izuzetno moćan. Pri izgradnji pruge od Subotice do Novog Sada on je poslao jedno pismo u Beč, kako bi mu tadašnje vlasti Austrougarske Monarhije omogućile da kroz njegovo mesto prođe železnica. I danas, kada pogledate kartu Vojvodine, videćete da je železnička pruga kroz Panonsku ravnicu izuzetno prava. Samo kod prilaza Vrbasu, graditelji su napravili jednu veliku krivinu kako bi pruga prošla kroz mesto, a zatim se ponovo ispravlja i nastavlja istim pravcem. Od tada, zbog potreba barona, Vrbas je međunarodna stanica u koju svaki voz staje. (dvorci.info)