天嘉年间，世南的父亲虞荔去世，当时世南还年幼，他因悲哀过度瘦损得几乎受不住丧服。陈文帝知道虞荔的两个儿子博学，常从宫廷中派出使者到他们家里去扶助卫护他们。世南居丧期满，被召为建安王法曹参军。他的叔父虞寄被陈宝应捕获，在闽、越一带，世南虽然已除去丧服，却还是布衣蔬食。到太建末年（582），陈宝应战败，虞寄得以生还，才令世南脱去布衣吃肉食。至德初年（583），除西阳王友。陈朝灭亡，世南与世基一起到京都长安，兄弟二人都名重一时，当时的人把他们比作西晋的陆机与其弟陆云。那时隋炀帝在做晋王，听到他们的名声，隋炀帝与秦王俊征召的文书一起送到，世南以母亲年老为借口，坚决推辞了，晋王命令使者去追他们。大业初年（605），世南接连被授为秘书郎，升迁为起居舍人。那时世基在当朝非常显贵，妻子穿衣都模仿王者，世南虽然同他们住在一起，却清贫节俭，不改变自己的性情。等到隋朝灭亡，宇文化及反叛杀君，世基任内史侍郎，也将被杀，世南抱持着世基痛号悲泣，请求让自己替兄受死，化及不接受他的请求，世南因此悲哀得瘦损异常，形销骨立，当时的人都称赞他的行为。世南随化及到聊城，又被窦建德抓获，伪授黄门侍郎。
太宗灭了窦建德后，世南被授为秦府参军，不久转任记室参军，授弘文馆学士，与房玄龄共同掌管诏告文翰。太宗曾令世南写《列女传》用来装屏风，当时没有底本，世南默记刻写它没有错一个字。太宗正式封为太子后，升任世南为太子中舍人。到太宗即位，世南转任著作郎，兼弘文馆学士。当时世南年已衰老，上表请求辞官，太宗下诏不许他辞官，升任他为太子右庶子，世南坚决推辞不受职，被授任为秘书少监。世南上《圣德论》，文字多无记载。贞观七年（633），世南转任秘书监，赐爵永兴县子。太宗器重他的博识，常常在处理军政大事的间隙，召世南在一起谈经论史。世南虽然容貌柔弱得像是受不了衣衫，但志性却刚烈，每每谈到古时先代帝王为政的得失，必定诚心以正言相劝诫，对当时的政事多所补益。太宗曾对侍臣说“：朕借闲暇的时间与世南商讨古今政事，有一个字的差错，未尝不惆怅恼恨，他恳切诚挚到这种程度，朕用他用得好啊。群臣都像世南这样，天下还愁有什么不能治理。”
贞观八年（634），陇右山崩，大蛇多次出现，山东及江淮多次遭大水。太宗以这事问世南，世南回答说：“春秋时梁山崩，晋侯召伯宗问这件事，伯宗回答说‘：国家主宰山川，所以山崩川竭，君王因此不奏乐，穿素服，乘坐没有花纹的车、撤去音乐、出宫住宿、太祝陈献币帛用来祭祀神灵。’梁山，属晋国主宰，晋侯听从了伯宗的话，所以没有受到危害。汉文帝元年（前179），齐、楚一带二十九座山同一天崩裂，洪水大肆泛滥，汉文帝命令郡国不要来进贡，对天下广施恩惠，远近欢乐和谐，也没有成灾。后汉灵帝时，青蛇出现在御座上。晋惠帝时，大蛇长三百步，出现在齐地，经过市区进入朝廷。蛇应当在草野之中，但它进入市区朝廷，所以可以认为是怪异的。如今蛇在山泽出现，深山大泽自然有龙蛇，也不足为怪。再说山东多雨，虽然合乎常规，然而阴雨连绵过久，恐怕有冤狱，应当审断关押的囚犯，或许可以符合天意。况且妖邪不能制服道德，只有遵循道德可以削减突发的事故。”太宗认为他说得对，因此派使者救济饥民，审理官司辨断冤案，多有赦免宽恕。
后来有一颗彗星出现于虚、危宿之间，经过氏宿，一百多天才消失。太宗对群臣说：“天上出现彗星，是什么妖邪呢？”世南说：“过去齐景公时有彗星出现，景公问晏婴，晏婴回答说‘：凿池沼怕它不深，兴建台榭怕它不高，施用刑罚怕刑罚不重，因此天上出现彗星来警诫您。’景公害怕而遵循道德，过了十六天彗星消失了。我听说：‘天时不如地利，地利不如人和’，如果不遵循道德义理，即使获得麟凤，终究是于事无补，但政事没有过失，即使有灾星，也于时无损。希望陛下不要因功高而自以为了不起，不要因太平久了而骄傲松懈，始终如一，即使出现彗星，也不足为它忧虑。”太宗神情严肃地对他说：“我治理国家，确实没有齐景公那样的过失。但我才二十岁就发动义兵，二十四岁平定天下，不到三十岁就居于帝位，自认为夏、商、周以来，治理乱世的君主，没有人达到这样的。再拿薛举的骁勇，宋金刚的凶猛，窦建德横跨河北，王世充占据洛阳来说，在那个时候，够得上是劲敌，都被我擒获。到遭逢家难，又决定安定社稷，于是登上帝位，降服北方的异族，我颇有些自傲的意向，以此轻视天下之士，这是我的罪过。上天出现变故，确实是为这吗？秦始皇平定六国，隋炀帝富达四海，骄奢淫逸，一个早上就灭亡了，我又怎么能够自骄呢？想到这里，不觉由此警惕震惊。”四月，康国献来狮子，太宗诏令世南为之做赋，在东观编撰，文字多无记载。
后来高祖去世，太宗诏令高祖的坟墓依照汉长陵的先例，务必要隆重丰厚，安葬期限已经迫近，建筑工程繁劳艰难。世南上密封的奏章规劝说：“我听说古代圣明的帝王所以薄葬的，并不是不想要高贵光耀、准备珍宝物器来厚葬自己的亲人。可是认真想一想，高坟厚垅，珍物齐备，这恰恰会成为亲人的累赘，而不是孝。因此深思远虑，安于菲薄，是为长久万代去考虑，割舍人之常情而决定的。从前汉成帝造延、昌二陵，制度非常优厚，工程费用很多。谏议大夫刘向上书，他的话深刻恳切，都合乎事理，上书大致是说：‘孝文帝在霸陵，凄怆悲怀，看着群臣说：“啊！以北山做棺椁，把麻絮斩断排列涂漆在它的间隙里，难道还可以动它吗？”张释之走上前说：“假若墓中有可贪欲的东西，即使用铜铁铸塞南山也有缝隙，假若墓中没有可贪欲的.东西，即使没有石椁，又有什么愁的呢！”死去的人没有终极，然而国家有废兴，释之所说的话是为长久打算。孝文帝领悟了其中的意思，于是对汉成帝施行薄葬。’再说汉朝的制度，君主在位，把天下的赋税分为三份，拿一份纳入帝王的坟墓。武帝经历的年代长久，等到入葬时，陵墓中不能再容纳物品，霍光不识大体，奢侈过度。那以后到更始战败，赤眉贼入长安，毁坏汉武帝陵墓茂陵，掠取宝物，还拿不完。无故搜刮百姓，被强盗取用，是很没有意义的。