北周建德四年(575年)七月，周武帝率军攻北齐，杨素请求率其父旧部为先锋，为父报仇。杨素攻克北齐河阴(今河南洛阳东北)。
北周建德五年(576年)十月，杨素灭北齐。
北周建德七年(578年)二月，杨素于彭城(今江苏徐州)。大破陈军，俘主将吴明彻。同年击溃陈将樊毅于泗口。
北周大象元年(579年)，其中杨素率军攻克盱眙(今江苏盱眙东北)、钟离(今安徽凤阳东北)。
七月十曰，率军讨伐尉迟迥。击破之。
开皇八年(588年)十二月上旬，杨素出三峡，夜破狼尾滩。
开皇九年(589年)正月，杨素火烧栏江铁索阵。
同月杨素以“五牙”战舰4艘，用舰上拍竿击碎陈战船10余艘，俘2000余人，再次大破吕忠肃军。长江上游的战争完胜。
同年，杨素率军由杨子津(今江苏扬州南)渡江，
首先击破叛军朱莫问(自称南徐州刺史)于京口(今江苏镇江)。
继而击败晋陵(今江苏常州)顾世兴，顾世兴率其都督鲍迁等再战，杨素击破之，俘鲍迁以下3000余人。
又进击无锡叶略，平之。
时沈玄侩、沈杰等等正围攻苏州，刺史皇甫绩屡战不利，杨素军赶到将其击败，沈玄侩逃至南沙人陆孟孙处，杨素进击陆孟孙于松江，大破之，生擒陆孟孙、沈玄侩。
黟、歙叛军沈雪、沈能据栅自守，又攻拔之。