第二年，京城的西面有盗案，杀了守令，富弼推荐希亮是可用之才，起任房州的知县。房州一向没有官兵的防备，人们被摧残的都快过不下去了，希亮将城中的人组织起来，得到了百人的军队。日夜操练，喊声直穿过山南，人们因此感到了安全保障。当时大盗党军子正嚣张，转运使派遣供奉官崔德赟抓捕他。崔德赟没有抓到党军子，就围攻了竹山上盗贼曾经住过的人家向氏，杀父子三人，把他们的头挂在南阳市城门。说：“这就是党军子。”陈希亮察明了向氏的冤情，将崔德赟打入监狱，崔德赟不服。后来在商州抓到了党军子，皇上下令赐给向家布帛，恢复了他家的名声，把崔德赟流放到通州。有人说华阴人张元跑到夏州，做了赵元昊的谋臣。皇上下令流放他的一百多族人到房县，稽查人员出入，饥寒将死。陈希亮说：“张元的事情真假难辨，假使他果真有这样的事情，为国家做事的人终究是不顾家庭的，只要坚持他一人做贼就是了。这些人又都是他的远亲，没有罪。”于是秘密上书给皇上，皇上下令释放了那些人。老幼族人在陈希亮庭前哭告说：“我们今天要回到自己的故乡了，然而怎么能忍心离开像父母一样的你呢？”于是画了陈希亮的画像供奉。
皇祐元年，移职滑州。到殿上奏事，仁宗慰劳他说：“我知道你所痛恨的事情，不再惩罚有关沈氏的事情。”还没出发，下令提举河北便籴。都转运使魏瓘弹劾陈希亮擅自增损物价。不久魏瓘升值为龙图阁学士、任职开封府，希亮请求当庭对辩。对辩之后，仁宗认为希亮是对的，剥夺魏瓘职位到越州做知县，并且想任用希亮。希亮言：“我与转运使不和，不能说自己没有罪过。”坚决请求回到滑州。正赶上河溢池堤，将要决口，希亮召集全部河上使者，发动正规军守卫。在将要决口的地方住着，吏卒百姓哭着再三劝说，希亮坚卧不动，水也下去了，人们把他比作汉代王尊。 这一年，宛句有了盗贼，白天抢劫了张郭镇，抓走了濮州通判井渊。仁宗因此担忧，询问执政是否有可以任用的人。还没等执政回答，仁宗说：“我有了人选了。”于是任用希亮为曹州。不过一个月，就抓获了全部贼党。
希亮为人心地清净，欲念淡薄，不会对人和颜悦色，从王公贵族都敬畏他。见到正义的事情勇于去做，不计较祸福后果。他到的地方，狡猾的人和奸诈的官吏都会改变思想和行为，不改的人一定会受到惩罚。但是他有仁慈之心，所以他是严厉但不残忍。少时曾与同乡宋辅一起游学，后来，宋辅在京城身亡，他母亲老迈，儿子宋端平幼小，希亮赡养宋母一直到老，还将自己的女儿许配给宋端平，让他和自己的儿子一起学习，最终考中进士。