为顾阿瑛自号玉山，所以就把它叫作“玉山草堂”，这里是主人宴请客人、举办草堂雅集的地方。当时，参加玉山草堂雅集的宾客大多是元末全国第一流的诗人，每一次草堂雅集都是一场文化的盛会，玉山草堂雅集之上的文人墨客，不仅满腹经纶，而且才艺超群，几乎个个都是书画家，此外许多人还会吹拉弹唱的绝活。
其中，以元至正八年（ 1348年）二月十九日的那场草堂雅集影响最大。那日，雅集之上，大画家张渥模仿北宋李公麟笔法即席创作了《玉山雅集图卷》，大文豪杨维桢当场作序，他说，玉山草堂雅集堪与东晋的兰亭、北宋的西园两大雅集媲美。玉山草堂雅集留下了“东南之冠”的美名。