林伯民出生于1886年，广东梅县人，出生于一个将门家庭，父亲名叫林绍斐，曾担任广西北伐军总司令部参谋长等职务。少年时期，林伯民跟随父亲移居广西，进入广西边防陆军讲武堂学习，毕业后进入广西新军，担任了马队队官、管带等职务。
1912年2月，林伯民进入广西陆军小学，担任了学堂监督（校长），他的学生中有两人后来成就很高，这两人也成为桂系军阀的代表，分别是李宗仁与白崇禧。3月，林伯民又兼任了广西都督府的上校副官，成为“广西王”陆荣廷身边的副官。
在这之后，林伯民晋升很快，1913年，他担任了广西陆军第1师炮兵第1团上校团长，一年后，他调任广西陆军将校讲习所上校所长，并被授予陆军少将军衔。1917年，林伯民改任广东督军府少将高参，此后他主要在广东任职，三年之后，桂系在广东战败，林伯民返回家乡，以赋闲为主。
在林伯民赋闲的时间里，桂系军阀的势力开始重新划分，尤其是以李宗仁为代表的新桂系推翻了旧桂系，掌握了广西的大权。1931年，在李宗仁的邀请下，林伯民重新返回广西，担任了第4集团军少将高参。
在这之后，林伯民长期在新桂系任职，担任少将高参等职务，是李宗仁身边的重要助手之一。李宗仁也格外尊重林伯民，很多重要战事以及重大问题都会征询林伯民的意见。作为一名高级参谋，林伯民也充分发挥自己的所学，为李宗仁提供了很多有用的建议与意见，在一定程度上促进了新桂系的发展壮大。
1937年，全面抗战爆发，林伯民继续在李宗仁身边担任少将高参，并协助李宗仁指挥了台儿庄战役等大型作战，尤其是台儿庄战役是中国军队第一次在正面战场击败日本侵略者，对抗战信心起了巨大的提升作用，在这背后，林伯民也贡献了一份力量。
1941年，林伯民改任第四战区荣誉军人管理处中将处长，他也继续在后方为抗战做工作，抗日战争胜利后，林伯民被授予陆军中将军衔，他也选择从国民党部队退役，返回家乡，主要以赋闲为主。
返回家乡后，林伯民居住在梅县区南口镇，那段时期，他反对内战，支持和平，并多次利用自己的影响力掩护我党的地下党员与游击队，做了大量有利于和平的工作。1949年，渡江战役之后，国民党兵败如山倒，逃兵在南下过程中，军纪涣散，给当地老百姓造成了不小的困扰。
林伯民也注意到这种现象，他再次利用自己的影响力，想方设法保护南口乡民的人身与财产安全，使得他们免遭兵乱之苦，他也因此深得周围的群众敬仰与爱戴。新中国成立后，林伯民继续以赋闲为主，不过，当时国民党的残余部队却不甘心失败，他们多次组织匪特骚扰沿海地区，群众的生活也受到了影响。
在这种背景下，“镇反”运动开始，在“镇反”期间，曾在国民党部队任职的林伯民也被关押起来，并在1952年被处决。在林伯民被处决后三十四年，也就是1986年，梅县市法院宣布对林伯民属错杀，并对林伯民平反，恢复了他的名誉。