宰相蔡京父子屡欲与之结交，被其拒绝。南宋靖康元年(1126)，钦宗问谁可为相，良贵言何?、唐恪等4人不可用。遂被当权者视为狂妄，黜监信州汭口排岸。高宗即位，召为左司谏，即建议高宗巡幸淮扬，选皇室贤者为山东、河北长官，以此壮国体、养兵威，以图恢复大宋江山。后历任提点荆湖南路刑狱、秘书少监、中书舍人等；又曾出知明州、严州。以徽猷阁待制提举亳州明道宫。归家，十年不出。良贵居官刚正不阿。王黼、张邦昌均欲招为女婿，章惇谋以孙女嫁其，许奁资300万钱，皆予以拒绝。后娶范仲淹后裔一孤女为妻。晚年贫甚。秦桧差人暗示其去求一郡令，亦予拒绝。病卒，无以为葬，高宗赐钱50万。时婺州有“三潘”，即“富潘”、“贵潘”，而良贵号称“清潘”。有杂著15卷，朱熹为之序。清康熙年间，其裔孙掇拾散佚的著作编成《默成文集》8卷刊行。
予自孩幼随先人宦于古沔，女须因嫁焉。中去复来几二十年，岂惟姊弟之爱，沔之父老儿女子亦莫不予爱也。丙午冬，千岩老人约予过苕霅，岁晚乘涛载雪而下，顾念依依，殆不能去。作此曲别郑次臯、辛克清、姚刚中诸君。
衰草愁烟，乱鸦送日，风沙回旋平野。拂雪金鞭，欺寒茸帽，还记章台走马。谁念漂零久，漫赢得幽怀难写。故人清沔相逢，小窗闲共情话。
长恨离多会少，重访问竹西，珠泪盈把。雁碛波平，渔汀人散，老去不堪游冶。无奈苕溪月，又照我扁舟东下。甚日归来，梅花零乱春夜。
共载清秋客船，同瞻皂盖朝天。 ——卢藻
悔使比来相得，如今欲别潸然。 ——卢幼平
渐惊徒驭分散，愁望云山接连。 ——皎然
魏阙驰心日日，吴城挥手年年。 ——陆羽
送远已伤飞雁，裁诗更切嘶蝉。 ——潘述
空怀鄠杜心醉，永望门栏脰捐。 ——李恂
别思无穷无限，还如秋水秋烟。 ——潘述
