刘之遴，字思贞，南阳涅阳人也。父虯，齐国子博士，谥文范先生。之遴八岁能属文，十五举茂才对策，沈约、任昉见□异之。起家宁朔主簿。吏部尚书王瞻尝候任昉，值之遴在坐，昉谓瞻曰：“此南阳刘之遴，学优未仕，水镜所宜甄擢。”瞻即辟为太学博士。时张稷新除尚书仆射，托昉为让表，昉令之遴代作，操笔立成。昉曰：“荆南秀气，果有异才，后仕必当过仆。”御史中丞乐蔼，即之遴舅，宪台奏弹，皆之遴草焉。迁平南行参军，尚书起部郎，延陵令，荆州治中。太宗临荆州，仍迁宣惠记室。之遴笃学明审，博览群籍。时刘显、韦棱并强记，每与之讨论，咸不能过也。
还除通直散骑侍郎，兼中书通事舍人。迁正员郎，尚书右丞，荆州大中正。累迁中书侍郎，鸿胪卿，复兼中书舍人。出为征西鄱阳王长史、南郡太守，高祖谓曰：“卿母年德并高，故令卿衣锦还乡，尽荣养之理。”后转为西中郎湘东王长史，太守如故。初，之遴在荆府，尝寄居南郡廨，忽梦前太守袁彖谓曰：“卿后当为折臂太守，即居此中。”之遴后果损臂，遂临此郡。丁母忧，服阕，征秘书监，领步兵校尉。出为郢州行事，之遴意不愿出，固辞，高祖手敕曰：“朕闻妻子具孝衰于亲爵禄具忠衰于君卿既内足理忘奉公之节”遂为有司□奏免。久之，为太府卿，都官尚书，太常卿。
之遴好属文，多学古体，与河东裴子野、沛国刘显常共讨论书籍，因为交好。是时《周易》、《尚书》、《礼记》、《毛诗》并有高祖义疏，惟《左氏传》尚阙。之遴□著《春秋大意》十科，《左氏》十科，《三传同异》十科，合三十事以上之。高祖大悦。
太清二年，侯景乱，之遴避难还乡，未至，卒于夏口，时年七十二。前后文集五十卷，行于世。