難楊堅駕馭臣下充滿矛盾性，於是在開皇和仁壽年間，當官成了一件相當危險的事情。
對於清廉自守、政績出色的官員，楊堅不吝重獎。開皇十一年（591），臨潁縣令劉曠考績為天下第一，馬上被擢升為莒州刺史。五年後，汴州刺史令狐熙考績第一，楊堅賞給他帛三百匹，布告天下，把他樹立為學習典型。按照慣例，京城內外長官都有公廨錢，用來放債牟利。開皇十四年（594），楊堅下詔公卿以下各官按品級分給職田，增加百官的收入，同時停止放債擾民。
重獎的另一麵是重罰，剝奪官員的地位、財富乃至生命。相比重賞，楊堅使用懲罰的次數更多。楊堅年紀越大，對待臣下越嚴，一旦發現罪狀，必責不貸。他還經常派人偵察朝野百官，監督臣下都按照自己的要求做事。《隋書》說：“上性猜忌……明察臨下，恒令左右覘視內外，有過失則加以重罪。”
開皇初年，楊堅讓高熲等人修訂了《開皇律》，廢除了亂世特有的許多嚴刑峻法。但是楊堅在他的統治過程中又不斷地增加了許多新的嚴刑峻法，有的簡直就是酷刑。比如規定：凡是偷盜邊關軍糧一升以上者，斬，家人沒入官府為奴；凡盜竊一文錢以上者，斬；四人共盜一桶、三人共偷一瓜，全部問斬。過去有些嚴刑峻法是放在那裏威懾百姓的，楊堅則將這些酷刑不折不扣地執行了。
一次早朝，有一名武官未將寶劍佩帶整齊，而禦史沒有及時提醒糾正。楊堅知道後將禦史斬首了。
一日，蕃客館（外賓招待所）的幾個下人在庭院的地毯上玩耍，而不去清理一旁的馬屎。楊堅知道後，將在場的所有人和蕃客館的主管官員全部斬首。
楊堅為了考驗官員的“抗腐拒貪”的決心和能力，往往安排人私底下拿著錢帛“賄賂”官員。如果有人拿了，立斬……