因为洁癖的缘故，倪瓒甚至很少亲近女色，总是害怕人不干净。后来他好不容易看中了一位姓赵的美貌歌姬，将人带回家中。回到家中，就让歌姬去洗澡。等洗完回来，边摸边闻。老是觉得不干净，于是又让人下去洗了一次。等洗完又闻了闻，还是不放心，又让人取洗澡。洗了又洗，反反复复，最后什么事儿都没干成，天就亮了。夜里光让人洗澡了，天亮了也无法继续，最终此事作罢。
倪瓒后来因为牵扯到一些事儿，最后被捉拿下狱。在监狱里的时候，倪瓒感觉生不如死。有一次到吃饭的时候，却让狱卒把碗举到眉毛那样高，狱卒问他为什么，他说：“怕你的唾沫喷到饭里。”他这一说，引得狱卒大怒，最后直接将他锁到马桶边，还是有人求情才得以释放。
倪瓒有个清秘阁，旁人不让进。后来他的母亲生病了，求葛仙翁看病。葛仙翁事后在清秘阁乱翻一气，到处吐痰。倪瓒原本最爱在清秘阁中读书，此事过后再也没有进去过了。
这样的事情其实还挺多的，比如说家里的梧桐树要求仆人每日都要擦干净。用过的画笔，有专人洗净打点。甚至还有传言，他之所以离世，是因为患病身体污秽，直接把他呕死的。还有就是说，朱元璋为了报复他，将他丢进了茅坑里。无论事情真假，出现这样的故事，都是因为他洁癖。
倪瓒因为家庭环境和自幼受到的教育的缘故，为人清高自傲，洁身自好。“吴王”张士诚的弟弟张士信曾经千金请他作画，倪瓒不仅没有感到荣耀，反而觉得屈辱。他大骂张士信，怒斥说自己绝不做王门画师，直接将画布给失了。
倪瓒喜欢饮茶，特制“清泉白石茶”，赵行恕慕名而来，倪用此等好茶来招待他。赵行恕却觉得此茶不怎样。倪生气道：“吾以子为王孙，故出此品，乃略不知风味，真俗物也。”此后与赵行恕绝交。 倪瓒是书画大家，同时也擅长诗文。在绘画方面，倪瓒是影响后世最大的元代画家，他简约、疏淡的山水画风是明清大师们追逐的对象，如董其昌、石涛等巨匠均引其为鼻祖
在诗词方面，因为他后期的坎坷路途，带有浓厚的避世思想，有种愁苦清淡的的特点。