在光绪十九岁那年，老嘎达十四岁；这一年光绪发愁怎么亲政治理大清天下，老嘎达却在发愁如何填报肚子；这时的老嘎达是“活着才是硬道理”支撑着他，小小年纪四处奔波混口饭吃，做小买卖（卖包子、做货郎、给财主家放猪）、耍钱、学木匠、在营口学当兽医（主要是马医）、大车店当小伙计、给财主家放马，因把财主家马放丢了，被揍个要死丢之荒野，又被人所救，伤好之后，靠兽医医马为生计，后来纠集道上人土匪“钻天燕”洗劫财主又火烧财主大院，此后走上“胡子”之道。胡子和土匪是有点区别的，这个以后再详细说明。

在当时，那一带老嘎达的医马医术还小有名气，凭借兽医医马之术不仅交下了“钻天燕”成了土匪，

1892年（清光绪十八年）张作霖18岁时，随母亲王氏来到姥姥家所住的黑山县二道沟寄居。  一天，老嘎达赌输了钱却又无钱可还，被人用绳子绑缚毒打，当时赵占元（黑山县赵家庙村农民，后来成为老嘎达的岳父）恰好从门前经过，看见张老嘎达被绑在大树上毒打，却依然破口大骂，赵占元心中对张作霖赞佩，觉得这后生久后必成大器便救下他。 这

这老嘎达感恩戴德上前跪倒，便认下赵占元为义父。

十九岁的老嘎达上了甲午年，也就是光绪二十年这年，甲午战争爆发时，他浪迹于辽西一带，常为宋庆的部队医马，以此投入军旅，在马玉崀门下，当了一名骑兵。清军将领宋庆负责东北地区的防御工作，张作霖因为会医马也应征入伍，进入了骑兵营，成了专门医马的骑兵。

1895年中日甲午战争爆发，二十岁的老嘎达升任哨长（相当于排长）之职。于是，他决心回二道沟赵家庙去向赵家提亲。娶了赵家二姑娘赵春桂为妻。

甲午战争失败后，他也失业了。老嘎达回到赵家庙，在赵占元支持下，建立的“民团”，不到半年，手下已扩充到四、五十人之多。

另一匪首金寿山，势力比张老嘎达大，想把他的一帮招收归己，但老嘎达不干。金寿山便突袭了民团，老嘎达狼狈逃往八角台，八角台的匪首张景惠接纳了他，因赏识他的才干，不久，老嘎达与另一匪首汤玉麟结成绿林伙伴，势力不断扩充，成了辽西一霸。

1902年，清朝奉天（今沈阳）将军增祺（满人）家眷路过八角台回奉天，老嘎达使用“劫掠护送”之计赢得增祺好感并被招安漂白了身份成了增祺将军的军中一员。

本来就是辽西一带的胡子，这时又有了官军的身份，辽西一带更逐渐变成了他的势力范围了。

土匪是无恶不作，烧杀抢掠奸淫狗盗的；胡子讲义气，据守一方百姓安全，吃大户是有的，因为他们也要吃喝穿用的，但基本上不会欺压当地的普通老百姓。

小时候听老人们说，那时候经常听见一对马队骑马飞奔而过放一阵枪就走了，老百姓躲在家里就成了，这些人不伤害普通老百姓的。