光緒二十一年后，先后任湖廣道監察御史，代理陜西道監察御史、刑科給事中、吏部掌印給事中等職。他以言官職便奏請保護華僑、懲處任意敲詐勒索華僑的官吏。他也主張把臺灣暫租給西方列強，以避免落入日本之手。光緒二十二年三月，奉命管理街道事務。六月回閩奔喪，見福建船政局造船業不景氣，曾三次奏請整頓船政，提出“開自然之利”的改革方案，力主開采侯官縣穆源鐵礦，利用船政局現有的機械設備進行冶煉，產品供船政局使用，并由船政局鑄造洋錢流通市場，以增加財政收入。他還建議利用現有船政局閑置船只，發展客、貨運輸；利用船廠機器設備優勢，兼營民用產品，并奏請朝廷委派大臣整頓廠風。他的主張先后被采納施行，對促進福建船政局資本主義經營方式的發展起重要作用。光緒二十三年，他主講鳳池書院，增設時務、論策等講習新內容，使“閩中學風為之一變”。同時，他還創建蒼霞精舍，授以英文、算學新課程，是福建創辦近代學堂的先聲。次年，受命在籍創辦地方團練，并赴建寧黎山試開煤礦。

　　光緒二十五年，陳璧回京銷假，調任山西道監察御史。次年，奉旨在京辦理團練，力主對義和團運動加以鎮壓，曾率團勇打死義和團10余名。七月二十日，慈禧太后出逃西安，陳璧留守北京。八國聯軍侵占北京期間，他主持總理公所，所出告示均列“大清年號”。他還聯合在京的33名官員，電請李鴻章回京主持“和局”，因此，得到清政府賞識。

　　光緒二十七年七月，陳璧升任太仆寺少卿兼順天府尹，受命會辦五城事宜，主持修建東西陵工程。此期間，他重視教育和實業的發展，先后創辦京師工藝局、順天中學堂、金臺校士館及五城中學。在順天中學堂開設英文、日文、法文等新學科。工藝局是一所半工半讀的新型學校，招收少年游民編織景泰藍、刻字、制作木器、織布等，并教以物理、化學、算學、機械學、繪圖學等專業知識，還設有專利權，鼓勵學員的創造性和積極性。同年六月，他在工藝局中騰出地方創辦農務學堂，聘用日本農業專家教授農、桑、水利、飼養的新方法，另在南苑建立農業科學試驗場，還計劃在遷安縣(今屬河北省)試驗科學養蠶。光緒二十九年八月，清政府新設商部，陳璧任右侍郎，參與定官制、訂商律、興商會、保僑民以及制訂土貨等章程。十月，卸順天府尹任，十二月轉商部左侍郎。

　　光緒三十一年九月，他任戶部右侍郎，補授度支部右侍郎，參與開辦天津造幣廠及大清銀行。十一月，奉命到南方各省考察造幣廠，先后到開封、武昌、南京、清江浦、廣州、福州、安慶等地的鑄幣廠考察，認為各廠貪污風行，廠務廢弛，急需整頓。他揭發福建銅元局馬景融貪污集團，全國22個銀元局核定留辦7局，其他各局責令停止。為杜絕流弊，他制定善后辦法，如規定銀元成色，限制各廠鑄幣數額，統一鑄模等，為幣制統一奠定基礎。

　　光緒三十二年，清政府成立郵傳部，作為管理全國郵電、輪船、鐵路的重要行政權力機構。次年四月，陳璧升任郵傳部尚書兼參預政務大臣。他力行改革，嚴禁官吏挪用公款，貪污腐敗等行為，廢除官吏乘火車、運貨免價特權，實行存款保密等一系列措施。五月間，他在《整頓幣制以維圜法》的奏折里，提出金融改革計劃，頒布《幣制則例》，規定以銀元為本位制。七月，陳璧奏請清政府鋪設鐵路四大主干線及支線，建議以北京為中心，南由京漢路接粵漢路；北由京張路至庫倫、哈克圖；東由京奉鐵路至綏芬；西從正太路接至伊犁。他還積極爭取將列強在中國的路權逐步收歸國有。年底，他奏準創立交通銀行，作為籌集路政、郵電資金的金融機構。清政府批準在全國試行他提出的印花稅法。

　　光緒三十四年，他根據中比借款合同規定，提前將借款全部還清，收回京漢鐵路經營權，改訂滬寧路章程，收回用人權。同時，他奏準由郵傳部以優惠價收回靠近邊境的商辦電線。經他努力，“路已成八千里而遠，電報所達六萬里有奇，郵政則在都會郡城大半設立，航業則長江內海漸次推行，雖發達未敢驟言，規模實已粗具”。他在任內十分重視科學研究，設立交通研究所，獎勵學者、科技人員對郵電、水陸交通進行研究、改革。為籌措興辦郵、電、輪、路的大額資金，他提出借外債和內債的主張，他認為借外債必須力杜“債東干涉事權”，“方足取益防損”。按此原則，他先后向英國匯豐銀行借款500萬英磅，分30年還清。此款除作為還清京漢鐵路的借款外，余額充作籌辦實業之用。他推行國內第一期公債，總額1000萬元，規定年息7厘，12年期，可以自由買賣。他對此頗有信心，曾宣稱：“將來各項振興實業需要，皆可取給于此”。把發行公債作為發展實業籌措資金的主要財源。

　　陳璧為官清正，他推行興利除弊的改革措施，觸犯一些滿洲貴族官僚的利益，遭到激烈反對。光緒三十五年，御史謝遠涵劾奏陳璧“濫用私人，糜費公款”等罪名，命大學士那同、孫家鼐查辦，復奏：“該尚書才優于德，辦事操切，不恤人言”，交部議，革職罷官。

　　陳璧被罷官后，寓居蘇州。宣統三年(1911年)，移居天津。民國元年(1912年)，由津遷滬，翌年移居北京，于西城筑“蘇園”寓居，日以“種花蒔蔬”自娛。晚年，他不忘鄉梓教育，曾寫信建議蘇坂學堂改革課程，增設學科，使“里中子弟益得向學之途”。還修刊族譜，捐產立義莊贍養本族孤寡。民國十一年再由北京遷天津，民國十七年3月26日病逝。著有《望巖堂奏稿》。