柳宗元的祖上迁居河东以后，一度是当地的望族。在北朝，柳氏是著名的门阀士族，柳、薛、裴被并称为“河东三著姓”(元稹《赠左散骑常侍薛公神道碑》)。柳宗元也自豪地说：“柳氏之分，在北为高。充于史氏，世相重侯”(《故大理评事柳君墓志》)。由此可以看出，柳宗元把柳(姓)河东(氏)当作一份珍贵的遗产来对待。隋末农民战争虽然沉重地打击了士族地主，但柳宗元的家乡河东属于大贵族李渊、李世民为首的所谓“关陇集团”地区，战火涉及较少。李渊父子建立唐王朝以后，柳氏作为“关陇集团”一个有势力的家族，在新王朝中又取得了显赫的地位。
柳宗元的高祖柳子夏，唐初任徐州长史;柳楷的兄弟柳亨，隋末附于李密，密败归唐，累授驾部郎中，受到李渊的爱重，娶李渊的外孙女为妻，三迁至左卫中郎将，后拜太常卿，检校歧州刺史。唐太宗李世民曾对柳亨说过“与卿旧亲，情素兼宿”(《旧唐书·柳亨传》)。柳子夏的叔伯兄弟柳奭，贞观中为中书舍人，高宗李治朝做过宰相。他的外甥女王氏，就是李治的皇后。当时的柳氏一族，是与皇族有着亲密关系的权臣贵戚。仅高宗一朝，柳氏家族同时居官尚书省的就达二十多人。然而，高宗一朝恰恰是封建王朝宫闱内廷之纷争前无古人、后无来者的特殊年代。由于高宗王皇后无子，柳奭与元老重臣褚遂良、韩瑗、长孙无忌、于志宁等多方设法为王皇后固位，最终还是让武则天得宠，王皇后被疏忌至废。武则天一经立为皇后，便严厉打击政敌，柳奭与诸位元老重臣均遭贬黜，柳氏一族损失惨重。
“人或言吾宗宜硕大，有积德焉。在高宗朝，并居尚书省二十二人。遭诸武，以故衰耗。武氏败，犹不能兴。为尚书吏者，间十数岁乃一人”(柳宗元《送澥序》)。自此之后，柳氏一族中道衰落，从皇亲国戚的特权地位降到普通士族官僚阶层。柳宗元的曾祖父柳从裕、祖父柳察躬，都只做过一般的县令。其父柳镇，虽然是明经及第，颇有政能文才，因没有门荫特权的倚杖，只能由府县僚佐这样的低级官吏地位逐步迁升，到晚年才靠军功到长安受任正七品京衔。
因此，柳宗元经常带着自豪而惋惜的心情，去追诉河东柳氏的陈年往事，赞美为“士林盛族”。这种强烈的宗族观念和光耀门庭意识，也成为他奋发有为的重要动机。人们之所以将其称为“柳河东”，无论是从广义的姓氏文化的根源，还是从他个人的心理机质的倾向，都有着十分充足的理由。
“柳柳州”之说，最早见于刘禹锡在衡阳与柳宗元分手时写的赠别诗的诗题：“再授连州至衡州酬柳柳州赠别”。此事发生在唐宪宗元和十年(815)。当时，为人正直、为官清廉的韦贯之出任了宰相，柳宗元年轻时的好友裴度等人已在朝廷逐渐得势，并与韦贯之较接近，加之中央朝廷与藩镇割据势力的矛盾日益增大，唐宪宗为了缓和事态，维护朝廷内部团结，居然解除了对“八司马”不准量移之禁，发出了召回柳宗元等五人(凌准、韦执谊已去世，程异已调用)的诏令。柳宗元等人兴冲冲地回到阔别十年的京城，以为终于在朝中又有了出头之日。
不料，二月到京，三月十四日就被宣布五人全部出任远州刺史。据说，韦贯之本想安排他们在朝廷任职，只因不安分的刘禹锡的一首诗惹出了麻烦。刘禹锡《戏赠送看花诸君子》一诗有云，“玄都观里花千树，尽是刘郎去后栽”。诗中强调桃树新栽，意在讥讽那些反对永贞革新而飞黄腾达的骄横新贵。他们才高名重，一贬十年，一伙人一下子都回到京城，自然倍受关注。他们诗酒唱和，得意忘形，并无向权贵乞怜告悔之意。
这就不能不引起政坛宿敌们的激烈反对，乘机将此诗拿去作了告御状的本钱。唐宪宗本来就对当年皇帝耿耿于怀，便很快作出了将王叔文余党们改放远州的决定。柳宗元他们再一次失去了效力中央朝廷的机会，经历了喜从悲来、悲从喜来的大起大落，在这关键时刻，很值得一提的是柳、刘二人的友情。这次改放远州剌史，柳宗元到柳州，韩泰到漳州，韩晔到汀州，陈谏到封州，刘禹锡到播州(今贵州省尊义市)。