原名元德，字祥谦，以字行，闽县（今闽侯县）尚干乡人。17岁，进马尾造船厂当学徒。清宣统三年（1911年），到汉口进京汉铁路江岸机器厂当钳工。民国10年（1921年）冬，积极参与筹组江岸工人俱乐部。翌年，俱乐部成立，祥谦当选为干事，领导工人向路局进行交涉和斗争，取消对工人任意罚款等规定。同年夏，祥谦加入中国共产党。10月，江岸京汉铁路工会成立，被选为工会委员；不久，当选为江岸分工会委员长。民国12年2月1日，京汉铁路总工会在郑州隆重举行成立大会，郑州警察局派出大批军警强行拦阻，林祥谦等率队冲入会场，京汉铁路总工会宣告正式成立。当天下午，反动军警占领总工会会所，包围和监视代表们的住处。当晚，总工会召集各分会负责人秘密会议，决定实行全路总同盟罢工，一切公开活动由江岸分工会出面，祥谦被推为江岸地区罢工总负责人。2日，江岸分工会召开会员大会，揭露军阀迫害代表、破坏总工会成立的罪行。4日上午9时，祥谦接到总工会指示，立即下达罢工令。5日，湖北督军萧耀南指派参谋长张厚生带军警来到江岸，抓走司机和纠察团员5人，强迫升火开车，祥谦带领两千多名工人赶往营救。7日，张厚生约总工会的全权代表在工会会所等候谈判，企图把工会领导人一网打尽。祥谦请总工会负责人避开，由他和工人纠察团副团长曾玉良出面对付。结果曾玉良和三十多名铁路工人壮烈牺牲，祥谦和六十余名工人被捕。当晚，敌人把祥谦捆绑在站台的灯柱上。张厚生提着马灯走到祥谦面前，说：“你现在惟一出路是下令工人赶快上工。”祥谦横眉怒视，不予置理。张命刽子手向祥谦左肩上砍了一刀，问：“到底上不上工?”祥谦说：“上工要总工会下命令，我头可断，血可流，工不可复!”张命刽子手再砍一刀。祥谦血流如注，晕厥过去，醒来时使尽全身力气，高声痛骂敌人。张恼羞成怒，下令杀害祥谦。民国17年，祥谦妻子陈桂贞携儿带女护送烈士遗骨返乡安葬。中华人民共和国成立后，人民政府将烈士遗骸迁葬于尚干乡枕峰山下。1958年，兴建祥谦陵园，现列为国家级文物保护单位。