Galéria umelcov Spiša sídli v neskororenesančnom meštianskom dome z 2. pol. 16. storočia, ktorý bol postavený na gotických základoch. Dvojpodlažná budova so súmerným trojpriestorovým členením s renesančnými krížovými hrebienkovými klenbami a v suteréne s valenými klenbami, je pomerne vzácna pre tunajšie meštianske domy.
Pavlač v dvornej časti osadená na renesančných krakorcoch, ústí vzadu loggiou so štyrmi arkádami, podopieranými troma stĺpmi. Za loggiou sa nachádza miestnosť s krížovou klenbou podopretou stredovým stĺpom. Klenby zadného podjazdu sa nachádzajú na renesančných stĺpoch.
Predná časť budovy slúžila ako obytný priestor, ako i na obchodné účely. Zadná časť mala skladovacie a hospodárske využitie.
Budova získala dnešnú podobu začiatkom 17. storočia. V r. 1726 bola barokovo prefásadovaná a na prelome 18. a 19. storočia sa v zadnom trakte a na poschodí urobili menšie úpravy v klasicistickom slohu.
Rekonštrukcia budovy pred otvorením galérie prebiehala v r. 1979 – 1986. Galéria umelcov Spiša bola ako samostatná kultúrna inštitúcia zriadená 1. 1. 1987. Začiatok samotnej prezentačnej činnosti galérie je spojený s jej slávnostným sprístupnením verejnosti 23. 9. 1987 prvou stálou expozíciou Umelci Spiša. Základy zbierkového fondu boli položené pred vznikom galérie ešte na pôde Múzea Spiša v Spišskej Novej Vsi, z ktorého sa vyčlenila.