王準于紹興十五年（1145年）考中進士，授臨海尉。歷任監察御史、右正言、秘書少監兼恭王府直講、太常少卿、中書舍人。首論劾湯思退罪數十條。曾出知江州、建寧府，以及福建轉運副使、兩浙西路提刑。

淳熙元年（1174年），任翰林學士、知制誥。

淳熙二年（1175年），任端明殿學士同知樞密院事。

淳熙四年（1177年），任參知政事兼樞密院事。

淳熙八年（1181年），任右丞相兼樞密院事。

淳熙九年（1182年），為左丞相。

淳熙十五年（1188年），授觀文殿學士，封魯國公，判知衢州，力辭，改提舉洞霄宮。

淳熙十六年（1189年）卒，贈少師，謚文定。

一生為官40年，職居相位，孝宗稱其“不黨無私，剛直不阿”。竭力薦舉賢才，李燾、朱熹、呂祖謙、辛棄疾、陸游等都曾受其薦舉，一時人才濟濟。在樞密院，力主抗金，建議“擇將、備器、簡兵、足食”；批評只知“以和為和”，不知“以和為戰”。注重賑濟遭水旱災害的饑民，奏請寬刑減賦。言行穩健，善于調和矛盾。朱熹與唐仲友不和，互相攻訐，孝宗問淮，以“秀才爭閑氣”答之，居間調停息事。