郡中官吏听说新太守到来，派兵迎接，龚遂将护送迎接的人全都打发回去，移送文书嘱咐属县彻底废黜追捕盗贼的官吏，说所有手持锄镰等农具的人都是善良的百姓，官吏不得过问，而手执兵器的人则是盗贼。龚遂单车一人到达郡府，郡中安定，盗贼也都自灭。渤海郡又有许多抢劫掳掠的事件发生，他们听到龚遂的命令之后，马上解散，放弃兵器弓箭而持锄镰。盗贼于是完全平息，百姓安居乐业。龚遂于是打开粮仓将粮食分给贫民，选拔起用有德行的官吏，在那里安抚管理百姓。
几年后，汉宣帝派遣使者征召龚遂，议曹王生希望同去，功曹认为王生一向喜欢喝酒，没有节度，不能派去。龚遂不敢违背汉宣帝旨意，跟随使者到达京城，王生每天喝酒，不看望太守。正当龚遂被带引入宫的时候，王生喝醉酒，便从后面呼喊，说：“龚遂暂且停一下，有点事我想让您知道。”龚遂返回询问其究竟，王生说：“如果皇上询问您凭什么治理渤海郡的，您不能随便陈对，应该说‘都是圣主的恩德，并不是我的能力’。”龚遂采纳他的话。
到汉宣帝面前后，汉宣帝果然询问治理渤海的情况，龚遂像王生所说的那样回答，汉宣帝很高兴他有谦让的美德，笑着说：“您从哪来得到谨厚长者的话来说呢？”龚遂把先前来时的情况告诉汉宣帝说：“我不知道这些，是臣子议曹王生告诉教诫我的。”
汉宣帝认为龚遂年纪大，不便担任公卿，升任他为水衡都尉，议曹王生为水衡丞，以此褒扬龚遂。水衡主管上林禁苑，为离宫别馆供应设置各种器物，为宗庙捕取祭祀用的牲口，官职与汉宣帝亲密接近，汉宣帝特别器重他，龚遂最终老死在官位上。