天宝五年(746年)初春，李白写了《送裴十八图南归嵩山》后不久，自己也被放逐归山，离开了翰林院。
陷帝位之争被流放
李白最终陷入落魄，要从安史之乱说起。公元755年，安史之乱爆发时，李白避居庐山。这场唐朝的内乱原本没李白什么事儿，但怪就怪他的名气太大了。唐玄宗在马嵬坡遭到兵变，被逼无奈杀了杨国忠与杨贵妃。此后，唐玄宗与太子李亨分道扬镳。玄宗入蜀，李亨则在灵武自即帝位，是为唐肃宗，遥尊玄宗为太上皇。
要说这李亨登基也不合法，但玄宗先遭安禄山叛乱，又在马嵬坡被逼杀掉贵妃，已经是心灰意冷，对自己突然被太子尊为太上皇，也就没说啥。但他的儿子可就不这么想了。玄宗第十六子永王李璘打着靖难的旗号，招兵买马，挥师东下，其实是趁机扩大地盘，想借乱世当皇帝。
杨采华分析说，唐玄宗在奔西蜀途中发了诏书，下放军国大权至诸亲王及地方军政一把手，让其招兵买马、扩充军队平息叛军。太子李亨却不听玄宗诏令，拥兵陇西，僭登帝位抢班夺权。而永王李璘出师东巡之时，得知李白隐居庐山，遂数次下达聘书，李白几经犹豫，终于决定下山入其幕府。在永王东巡时，李白写下《永王东巡歌》十一首。永王不久即败北，李白也因之被捕入狱。
李白被下狱后，在一首诗中说空名适自误，迫胁上楼船，意指自己是被永王胁迫的。杨采华认为，李白从军永王说不上是内心的妥协，这是他顺着中丞宋若思、右相崔涣两位大臣给他搭的梯子走下台阶的举措。这首诗作于李白服刑中，他只能按着宋、崔两人的启发继续把假话说下去。否则，新的牢狱之灾又将等待着他。李白在《致贾少公书》说：王命崇重，大总元戎。辟书三至，人轻礼重。由此可见，李白从军永王时，很享受三顾茅庐的待遇，并不存在胁迫一说。