西汉宣帝刘病已（后改名刘询）即位后，看到渤海（河北南皮县）周围相邻的各郡，每当遇到荒年，人民凯瑾时，总是盗偷并起，社会秩序混乱，连太守这一级官员也不能控制。刘病已便召集大臣们商议，物色贤能的人，去主持渤海郡政务。宰相和御史都认为故昌邑国郎中令龚遂可担当此任。
原来，山阳（山东金乡县）人龚遂在昌邑国任郎中令时，忠厚刚毅，做人做事一向坚持原则，对内不断规劝狂暴放荡的昌邑王刘贺（汉武帝刘彻的孙子），对外要求封国宰相和昌邑王的老师加强辅导。他常常引经据典，向刘贺分析祸福。有时流泪涕泣，当面指出刘贺的过失，以致刘贺大不耐烦，每次都掩耳逃掉，说：“龚遂专门揭人疮疤。”
刘贺喜爱跟他的侍从、奴仆以及厨师挤在一起大吃大喝，做各种游戏，赏赐没有限度。龚遂便屈身下跪，用双膝走到刘贺面前，哭泣规劝。后来汉昭帝病逝，因没有儿子，便立刘贺为皇帝。刘贺即位二十七天，就做了一千一百二十七件不该做的事。为此，皇太后又下诏把他废了。他从昌邑带来的二百多人被诛杀。龚遂因忠心规劝，免除死刑，罚做苦工。
汉宣帝得知龚遂是个忠贞正直的人，即任命他当渤海郡太守。并召见他问道：“你将用什么方法去治理地方，消灭贼盗？”龚遂回答说：“海滨遥远，没有教化，人民被饥寒驱使，而官吏又行为凶暴，不知道怜悯。不知陛下是要我镇压他们，还是要我抚他们？”汉宣帝说：“当然是用和平手段，使秩序恢复。”龚遂又说：“治理乱民，跟治理乱绳一样，不能操之过急。只有先使紧张的形势缓和下来，然后才能谈到治理。我请求不要用严格的法令限制我，准许我相机行事。”汉宣帝批准，并增加赏赐的金额。
龚遂乘坐驿马车去上任，走到渤海郡边界时，遇到郡府派出的武装部队来迎接。龚遂拒绝武装保护，叫他们回去。
当时，龚遂就下了一道命令：撤销所有负责捕捉盗贼的治安官员。指出：凡是携带锄头镰刀的，都是善良的农民，官员不准打扰；只有携带武器的，才算盗贼。各县盗贼帮派听到新任太守的命令，纷纷解散，抛弃武器，拿起锄头镰刀，于是盗贼消失。
龚遂还下令打开粮仓，把粮食借贷给贫民。又选用品德能力优良的小吏跟治安官去办理人民关心的事情，鼓励人民畜牧养马。
龚遂发现齐地（渤海郡地跨河北省与山东省）风俗喜爱经营工商，不喜爱耕田种桑，就亲自去耕种，又到人民中去，规劝务农养蚕。他还鼓励人民都来种树和饲养家畜。按各家人口多少，规定必须种植多少树，豢养多少家畜，于是农村绿树成林，六畜兴旺。
对百姓中仍旧携刀带剑的，龚遂就亲自去劝导，说：“你为什么把壮牛佩到身上，把小牛带到腰际？”教他们把刀剑卖掉买牛。由于龚遂辛苦劝勉，提倡生产，不时巡查，百姓们都有了积蓄，刑狱案件稀少，社会秩序安定，人民安居乐业。
西汉宣帝地节四年（公元前66年），龚遂擢升到朝廷当水衡都尉。