在满清的官场上，李卫向来我行我素，得罪过不少朝廷大员。然而，当这些朝廷大员弹劾李卫时，雍正总是得过且过，放李卫一马。

值得一提的是，李卫在当官之前是典型的“富二代”，没有读过几天书，肚子里没有半点墨水。由于不认字，所以李卫在阅读公文时都要请师爷代劳，连写奏章时都要找人代笔。不过，这并不能说明李卫没有本事，每当他请人执笔时，总会让人读给他听，有写得不好的地方，李卫总能一语中的，切中要害。所以虽然他门下有许多略通文墨的幕僚，但所有人都很佩服李卫的思维能力。

虽说李卫是个粗人，但他却对文人和文化事业极其重视。根据史料的记载，他每年都会给进京赶考的读书人一笔捐助，还曾自掏腰包修了一座书院，让更多的寒门子弟有机会读书。同时期的浙江通志，亦是李卫出资编撰的。平日里，李卫最喜欢的消遣就是听人说书。每逢听到说书先生讲到忠良遭到陷害，李卫就会无比愤怒，甚至会暴跳如雷，从这里就能看出他骨子里是个忠义之士。

李卫与年羹尧一样，都是备受雍正宠信的得力大臣。不过，二人的境遇却迥然不同，年羹尧因为太过嚣张跋扈，未能善终。李卫却很懂得分寸，所以他在官场上虽时刻处于风口浪尖，但仍能明哲保身。雍正驾崩后，虽然乾隆不太待见这位耿直的大臣，但也颇为重用。乾隆三年十月二十二日，李卫因病去世，年五十一，谥敏达，以总督的规格将其厚葬。