王准于绍兴十五年（1145年）考中进士，授临海尉。历任监察御史、右正言、秘书少监兼恭王府直讲、太常少卿、中书舍人。首论劾汤思退罪数十条。曾出知江州、建宁府，以及福建转运副使、两浙西路提刑。

淳熙元年（1174年），任翰林学士、知制诰。

淳熙二年（1175年），任端明殿学士同知枢密院事。

淳熙四年（1177年），任参知政事兼枢密院事。

淳熙八年（1181年），任右丞相兼枢密院事。

淳熙九年（1182年），为左丞相。

淳熙十五年（1188年），授观文殿学士，封鲁国公，判知衢州，力辞，改提举洞霄宫。

淳熙十六年（1189年）卒，赠少师，谥文定。

一生为官40年，职居相位，孝宗称其“不党无私，刚直不阿”。竭力荐举贤才，李焘、朱熹、吕祖谦、辛弃疾、陆游等都曾受其荐举，一时人才济济。在枢密院，力主抗金，建议“择将、备器、简兵、足食”；批评只知“以和为和”，不知“以和为战”。注重赈济遭水旱灾害的饥民，奏请宽刑减赋。言行稳健，善于调和矛盾。朱熹与唐仲友不和，互相攻讦，孝宗问淮，以“秀才争闲气”答之，居间调停息事。