Mai formáját a XVIII. században épült barokk kastély kiépítésével az 1826 körüli években nyerte el. Mestere valószínűleg Zofahl Lőrinc, építtetője pedig ifjabb Orczy Lőrinc volt. A monumentális és harmonikus klasszicista stílusú épülethez egykor angolkert tartozott. A két kertkapu oroszlánjait Uhrl Ferenc morva származású, pesti szobrász készítette. Az utcai vaskerítést & a hagyomány szerint & az építtető Orczy Lőrinc által a napoleoni háborúkban zsákmányolt puskacsövekből kovácsolták.
A kastélyhoz díszes gazdasági épületek is csatlakoztak, de ezek egy kivételével már nem állnak.
A kerítés két végénél nyolcszög alaprajzú, emeletes gloriettek állnak. Az északi homlokzaton az erkélyt 14 dór oszlop hordozza. Az angolkertet elkezdték helyreállítani, az eredeti állapot figyelembevételével. 1930-ban a kastélyt Gyöngyös város megvette tulajdonosától, Wildburg Arturnétól. 1945 után iparitanuló-iskola volt, majd 1957-től múzeum.
Az épület nevezetességeihez tartozik, hogy 1814-ben itt szállt meg I.Sándor orosz cár. Valamint a korábbi barokk kastélyban, a jelenlegi épületben 1849. április 1-én Kossuth jelenlétében tartott haditanács után innen indult tavaszi hadjáratára Görgey és pár hónappal később itt szállta meg rövid időre Paskievics orosz tábornagy.
Az egész épületegyüttest, a főépületet, a glorietteket, a parkot a közelmúltban újították fel.
Az épületben működik jelenleg a Mátra Múzeum.
Kossuth Lajos út 40.
