对于已经摇摇欲坠的大清帝国的统治，人民为了生活铤而走险，一时之间盗贼四起。

张作霖建立的这支保境安民的"民团"，开始建立自己武装的步伐。既然是民团性质的柳子，人吃马喂地也要许多物资供养着，他就主要依靠“剿匪”得到这些供养，当然他的手下也会有些鸡鸣狗盗的事情发生，但总体上还是不那么明显。清政府官员对于当时东北的社会乱象也是束手无策，于是，他便有了值得利用的价值，得到了清朝当地官员的赏识，由一个没有任何职位的胡子头成为了一名中级军官，他的民团摇身一变成了正规军。开始时，他的队伍人员不多，朝廷也不负责发薪水。张作霖仍然只能依靠剿匪来解决燃眉之急，这也正中腐败的清政府官员的下怀，但同时也是自己的队伍越来越壮大。

1901年，春节前夕遭金寿山勾结俄兵偷袭，逃往八角台与张景惠合股，被推为团练长。在途中，赵氏在马车上生下了一个男孩，即张学良。1902年，于新民受抚，先任马队帮带（副营长）后升管带（营长）。1904年，日俄战争爆发，先为俄军效力后为日军效力。1907年，东三省改建省制，徐世昌首任总督，计擒杜立山有功升为奉天巡访营前路统领。1908年，奉徐世昌命驻防郑家屯、洮南，追缴陶克陶胡叛匪。1909年，奉锡良总督之命追缴蒙匪牙什、白音大赉等。

到了辛亥革命爆发以前，张作霖手下已经有1万多人马。

这个时候的辽西锦州地面上的各种势力都变成了老嘎达的了。