秦少游五岁随祖父从江西回故乡，到三十七岁进入仕途离开故乡，其间30多年，除了短去浙江吴兴任孙觉的幕府外，基本上住高邮。有时与友赴扬州、金山、惠山以及安徽、浙江等地游历，有时去扬州、彭城、湖州谒师友苏轼，而较多的时间在高邮杜门读书，以文史自娱，写下了大量的诗、词、赋和策论。
他的著作中不乏高邮的方言俗语，如《品令》用到 “ 织 ” 一词。 “ 胳织 ” 即今 “ 胳肢 ” ，至今高邮人还有用手触人的胳肢窝(即腋窝)而使人发笑的习惯。难怪李调元的《雨林夜话》中也说： “ 秦少游《品令》 ‘ 掉又臞，天然个品格 ’ ，此正秦邮土音，用个字作语助，今秦邮人皆然也。” 事隔900余年，人们读他的著作，仍旧感到亲切，引起深深的激动，激起强烈的美感享受。
好友苏辙、黄山谷来邮，他热情接待，相从游览，相互唱和。值得一提的是，秦少游在高邮两次接待了苏轼。一次是元丰二年(1079)苏轼从徐州任湖州，途经高邮，少游与他同行，过无锡、游惠山，中途遇参寥子，三人同游历了江浙的名山古刹。又一次在元丰七年(1084)。这一年，少游自编《淮海闲居集》十卷，凡217篇。也就在这一年，苏轼自黄州迁汝州，游润州(今江苏镇江)，少游从高邮前去。苏轼致书王安石，并附少游诗文数十篇，极力推荐：“ 行义修饬，才敏过人。” 王安厂赞少游诗“清新妩丽，与鲍谢似之” 。苏轼并为少游三十六岁小像题赞，说他“其行方”，“其言文”，“其神昌” 。十一月中旬，苏轼来高邮看望少游。同时邀集了孙觉、王巩，雅集文游台，载酒论文，这就是千古流传的 “四贤”聚会。年底，少游送苏轼渡淮水，相与饮淮上，苏轼作《虞美人》，依依惜别。词的末两句写道：“谁教风鉴在尘埃，造一场烦恼送人来。” 后来苏轼守徐州，少游虽秋试在即，仍去徐州访苏轼，在《别子瞻》中写道：“我独不愿万户侯，惟愿一识苏徐州。”二人真是情深谊笃。