宰相蔡京父子屡欲与之结交，被其拒绝。南宋靖康元年(1126)，钦宗问谁可为相，良贵言何?、唐恪等4人不可用。遂被当权者视为狂妄，黜监信州汭口排岸。高宗即位，召为左司谏，即建议高宗巡幸淮扬，选皇室贤者为山东、河北长官，以此壮国体、养兵威，以图恢复大宋江山。后历任提点荆湖南路刑狱、秘书少监、中书舍人等；又曾出知明州、严州。以徽猷阁待制提举亳州明道宫。归家，十年不出。良贵居官刚正不阿。王黼、张邦昌均欲招为女婿，章惇谋以孙女嫁其，许奁资300万钱，皆予以拒绝。后娶范仲淹后裔一孤女为妻。晚年贫甚。秦桧差人暗示其去求一郡令，亦予拒绝。病卒，无以为葬，高宗赐钱50万。时婺州有“三潘”，即“富潘”、“贵潘”，而良贵号称“清潘”。有杂著15卷，朱熹为之序。清康熙年间，其裔孙掇拾散佚的著作编成《默成文集》8卷刊行。
某伏以清商肇序，阶蓂方五荚之飞；元精生贤，宝历应千龄之运。於赫自天之佑，丕昭维岳之祥。弧矢垂门，冠裳争耀。既托屏幪之芘，敢忘颂咏之私。敬制拙词，仰祝台算。以醉蓬莱寄调，缮写拜呈，伏惟台慈，特赐采览。
渐荷收绿盖，桂吐金英，嫩凉天气。香案仙官，向人间游戏。道貌孤高，灵扃恬淡，有寿星标致。梦得文章，水心谈论，家声相继。
芙蓉上幕，龙藩胜地。剡荐交飞，宸衷简记。行趣朝班，便鸾坡螭陛。赞画堂中，垂弧节届，且举觞一醉。试问庄椿，春秋多少，八千馀岁。
盥漱已云毕，危坐正冠衣。
揽镜忽见我，不识我为谁。
自倚身尚强，不悟年已衰。
举头视嘉木，向人惨无姿。
我欲诉渠老，渠乃怀秋悲。
木悲不解饮，琴瑟声怨咨。
我且呼麴生，细细斟酌之。
我醉不知我，更知春秋为。
