几年后，匈奴杀辽西太守，击败韩安国将军。武帝重新起用李广为右北平太守。匈奴闻“飞将军”镇守右北平，数年不敢来犯。
一次，李广外出打猎，看见草中大石，以为是虎而一箭射去。待他近看时，方知射中的是大石，而那枝箭却深深地射入了石中。他张弓对石再射，却始终不能再将箭射入石中了。
公元前120年，李广率四千骑兵出右北平。配合张骞出征匈奴。兵进数百里，突然被匈奴左贤王率四万骑兵包围，汉兵死伤过半，箭矢也快用完了。李广令士兵们引弓不发，他自己以大黄弓连续射杀匈奴裨将多人。匈奴兵将大为惊恐，纷纷被李广的神勇所镇住而不敢妄动，直到第二日，汉军主力赶到，李广军得以解出重围。
公元前119年，大将军卫青率军出击匈奴，李广以60多岁的高龄任前将军职。出塞后，卫青从俘虏口中得知了单于的驻地。他想甩开李广独得大功，便令李广的前锋部队并入右翼出东道，他自带中军去追单于。李广力争无果，遂引军与右将军赵食其合军出东道，由于道路难走又无响导，终于迷失了路。此时卫青与单于接战，单于逃走，卫青只得徒劳而返，在回军的路上才与右翼部队会合。卫青差亲信带着酒肉来慰问李广，向他询问右翼部队迷路的经过。卫青好向天子上报，把走失单于的责任推给右将军赵食其。李广一身正直，自然不答应。他把责任揽在自己身上，拔出配剑引颈自刎。
汉初的边境战争是一场特殊的战争，其自然和人文特点决定了这场战争的异常艰苦和残酷。远离后方的长途奔袭，急风暴雨般的仓卒遭遇，以及众寡悬殊的孤军奋战，成为经常作战的方式。李广无疑是适应于这些作战特点的杰出将领。非凡的勇敢、决断和应变能力、忠信正直的磊落襟怀，以及有别于传统的治军方法，使他成为受部下拥戴、敌军闻之丧胆的一代名将。