张少宜出生于1903年，山西永济人，早年时期，他主要在家乡一带求学，曾进入运城第二师范附属高小以及山西第一中学读书。读书期间，张少宜广泛阅读各种进步书籍，并通过刻苦学习考入了清华大学，成为那个年代少有的高级知识分子。
1923年，在清华大学就读两年后，张少宜决定投笔从戎，加入了冯玉祥的陆军检阅署学兵团工兵连，成为一名学兵。因为表现优秀，他很快就升任班长、排长。1925年，张少宜再次得到重用，被调到张家口西北干部学校，担任了区队长一职。
不久后，张少宜被派送到日本，进入东京陆军士官学校工兵科学习，他也深知机会来之不易，所以加倍努力学习。另外，张少宜除了认真学习之外，还积极关注国内动态，1928年，日军炮轰济南，张少宜得知后便组织同学一起罢课，抵制日本侵略者。罢课后不久，他返回国内，进入冯玉祥部开封军官学校，担任了工兵科长兼工兵队长。
此后张少宜主要在冯玉祥的西北军任职，担任了手枪旅第三团团长等职务。1930年，中原大战之后，冯玉祥的部队被收编，并被改编为26路军。张少宜也加入26路军，担任了149团团长。1931年，26路军被派到江西进攻红军，张少宜随部前往江西。
在江西作战期间，26路军战事不顺，屡遭挫折，再加上九一八事变后，抗日救国成为社会主流。在这种背景下，26路军的很多进步官兵也不愿再把枪口对准自己人。1931年12月，在季振同、董振堂等人的领导下，26路军的很多官兵在江西宁都弃暗投明，加入了红军，并被改编为红五军团。
红五军团下辖十三军、十四军与十五军三个军，张少宜也随部加入了红军，并代表自己过去所在的26路军75旅，担任了红十五军副军长。在这之后，他跟随中央红军参加了中央根据地的反“围剿”作战，参与指挥了赣州战役、漳州战役，为建设与巩固中央根据地贡献了一份力量。
张少宜接受过正规的军事教育，而且又有文化，他到中央苏区后非常受重用。而且当时中央苏区因为国民党封锁的原因，不仅经济遭遇困难，而且也缺少正规的军事教官，因此，一段时间后，张少宜被调到瑞金红军学校，担任了总教官一职，致力于为工农革命队伍培养优秀的人才。
不过，在加入红军后半年，也就是1932年5月，因为“左倾”错误的影响，张少宜被以“企图叛变”的罪名被捕，并被关押起来，甚至一度被判死刑。毛主席得知这件事后，认为张少宜有功，不应该被判死刑，此后经过重新审判，张少宜被判刑八年。
当时“左倾”错误影响非常严重，张少宜被迫蒙受不白之冤。也因为“左倾”错误的影响，1934年10月，第五次反“围剿”以失败告终，中央红军的主力部队也被迫离开根据地，准备踏上长征之路。在长征开始前，31岁的张少宜被错误杀害。
在张少宜被错杀47年之后，也就是1981年，相关部门为他平冤昭雪，恢复了他的一切名誉，这位革命的功臣，从此之后也得到了应有的缅怀。