玉山铁二出生于日本京都府城阳市，他自幼热爱运动，中学时代一直是学校田径队的主力成员。在临近中考那年，他沉迷于TBS电视台的电视剧《未成年》，而无心学习，最后没能考上理想的高中。玉山铁二高中就读于京都府立西城阳高中，期间参加了平面模特选拔，并成为了《CHECKMATE》等时尚杂志的专属模特
1999年，出演个人首部电视剧《麻辣女教师》，从而正式进入演艺圈。2001年，在特摄剧《百兽战队牙吠连者》中饰演银狼战士大神月磨。2002年10月10日，其参演的伦理剧《蔷薇的十字架》首播。
2004年6月5日，其参演的爱情电影《天堂书屋：恋火》上映；同年，首次担任主演，在运动电影《功夫棒球》中饰演向着逆境挑战且不断奋斗的主人公不屈斗志，该片于2005年7月2日在日本上映；此外，他还在职业剧《离婚女律师》中饰演了菜鸟大学生本多大介。
2005年9月3日，改编自同名漫画的剧情电影《NANA》上映，玉山铁二在片中饰演TRAPNEST乐队的队长兼贝斯手一之濑巧；同年，在家庭剧《比特兄弟》中饰演樱井家长子樱井达也。
2006年11月3日，由山田孝之主演的剧情电影《信》上映，玉山铁二在片中饰演男主角武岛直贵的哥哥武岛刚志；12月9日，其参演的爱情电影《情人钥匙》上映，在片中饰演摄影师森本博明；此外，他还参演了爱情电影《NANA2》。
2007年7月3日，其主演的青春励志剧《向牛牛许愿》首播，在剧中担纲男主角，饰演背负着父亲和整个村落的厚望的高清水高志；同年，主演SP剧《午夜进行曲》，在剧中饰演经营活动策划公司的横山健司。
2008年1月12日，由瑛太主演的剧情电影《银色季节》首映，玉山铁二在片中饰演退役的职业滑雪选手、在镇上滑雪场打零工的小鸠祐治；1月14日，由香取慎吾主演的现代剧《没有玫瑰的花店》播出，玉山铁二在剧中饰演冷酷无情的外科医生神山舜，这也是他首次在影视作品中挑战反派角色。
2009年1月4日，其参演的大河剧《天地人》播出，在剧中饰演上杉谦信的养子上杉景虎，与阿部宽饰演一对父子；2月28日，其主演的爱情电影《等待幸福》上映，在片中饰演淳朴善良的男主角友寄明青；4月16日，由天海佑希主演的刑侦剧《BOSS》首播，玉山铁二在剧中饰演警视厅搜查一课特别犯罪对策室刑警片桐琢磨；6月6日，其参演的剧情电影《秃鹫》上映，在片中饰演中国籍收购经理人刘一华，这是他首次在影视作品中尝试中国人的角色，并凭借该片获得第33届日本电影学院赏最佳男配角奖。
2010年6月5日，其参演的喜剧电影《海边旅店》上映；10月9日，其出演的犯罪悬疑电影《死刑台的电梯》上映，在片中饰演松本美加代的男朋友赤城邦卫；12月11日，改编自村上春树同名小说的剧情电影《挪威的森林》首映，玉山铁二在片中饰演花花公子永泽。
2011年6月10日，由西田敏行主演的剧情电影《星守之犬》上映，玉山铁二在片中饰演不善与人交往、喜欢沉浸在书本之中的奥津京介；11月27日，其参演的悬疑剧《造花之蜜》首播。
2012年4月12日，其出演的励志剧《青蛙公主》播出，在剧中饰演兴和制作所的工人乾一希；11月23日，其参演的喜剧电影《八个拔河女》上映，在片中饰演年轻帅气但却与周围格格不入的农家子弟熊田公雄。
2013年1月6日，其参演的大河剧《八重之樱》首播；10月12日，其参演的爱情电影《向阳处的她》首映，在片中饰演倾慕渡来真绪的会社前辈新藤春树。
2014年8月30日，由小栗旬主演的犯罪电影《鲁邦三世：埃及艳后的项链》上映，玉山铁二在片中饰演枪法很准的职业枪手次元大介；9月29日，与夏绿蒂·凯特·福克斯搭档主演的励志剧《阿政》播出，在剧中饰演身为酿酒世家传人的男主角龟山政春，并为了角色减重12公斤，该剧平均收视率21.1%，成为2015年日本收视最高且唯一一部平均收视率超过20点的剧集。
2015年10月2日，其参演的特别剧《以我为名的变奏曲》播出；11月22日，改编自堂场瞬一同名小说的社会剧《误断》首播，玉山铁二在剧中担纲男主角，饰演制药公司宣传部员槙田高弘。
2016年，获得第40届黄金飞翔奖新人奖；7月17日，由藤原龙也主演的悬疑剧《遗失身份》首播，玉山铁二在剧中饰演藤堂新一大学时代同一研究会的伙伴小山内保。
2017年3月17日，改编自久住昌之同名漫画的美食剧《野武士的美食》播出，玉山铁二在剧中饰演胆小鬼香住武想象出来的人物野武士；9月16日，与佐佐木希搭档主演的都市爱情网络剧《下雨时你的温柔》首播，在剧中担纲男主角，饰演工作忙碌的杂志副主编立木信夫；9月30日，改编自樱井画门同名漫画的奇幻动作电影《亚人》上映，玉山铁二在片中饰演厚生劳动省亚人管理委员会的重要干部户崎优。
2018年6月30日，出演《傻爸爸比笨爸爸》饰赤冢不二夫。在谐星明石家秋刀鱼担任编剧、制作人的Netflix日剧《Jimmy~二货般的真实故事~》中饰演明石家秋刀鱼。
2009年，玉山铁二因拍摄电影《秃鹫》而与女演员栗山千明相恋；11月，两人的恋情被曝光。2010年，玉山铁二与栗山千明分手。
2012年2月14日，玉山铁二在官网上宣布婚讯，妻子是圈外人，并且已经怀孕；8月8日，玉山铁二的长子诞生。
日本电影学院赏
黄金飞翔奖
玉山铁二外表冷酷，内心纯朴，颇具演技。玉山铁二是一个拥有精悍美貌的正统派帅哥演员，他演技当中有着各种意外性，这也和他的外表稍微有些不同。在《秃鹫》、《死刑台的电梯》等影视作品中，玉山铁二总给观众展现了他的不同面。他是一个让人“想更多的了解他”的男人，冷静且客观的演技深处，是无法隐藏的表现者热情。虽然他在电影《NANA》中的镜头不多，但精湛的演技却让不少观众为之惊艳。不管作为普通人还是作为演员，玉山铁二总是给人带来安心感与稳重感。
