1923年1月20日三国连太郎出生于群马县太田市一个工人家庭。原名佐藤政雄。小时候常被欺负，上中学时离家出走偷渡到中国青岛，后又辗转到韩国釜山，在车站卖过盒饭。返回大阪后到处打工，当过油漆工、电影院招牌画师等

1943年二十岁时接到了征兵令，为逃兵役他偷偷跳上了货运火车再次离家出逃，逃跑途中由于给母亲写了信，致使行踪暴露，被特高课抓回后强征入伍。所在的部队于当年12月被派遣到中国汉口，他为了活下去，曾在战事中藏在粪桶中一晚避难。

1946年6月，返回日本后在鸟取县农会工作，1950年只身进京，与朋友无照经商。同年12月被木下惠介的副导演小林正树选中，加入松竹公司的大船制片厂。1951年出演人生第一部影片《善魔》，于片中饰演报社记者三国连太郎，并大获成功。其后便以三国连太郎作为艺名，同年与田中绢代合演稻垣浩导演的《闪电书册》，获当年蓝绶带新人奖。次年在涩谷实导演的《本日停诊》中，再次显露出其喜剧天才。继又主演稲垣浩导演的《战国无赖》、《宫本武藏》，久松静儿导演的《警察日记》，市川昆导演的《缅甸的竖琴》。

1957年与田中绢代合作演出家城巳代治导演的《异母兄弟》，由于他准确地表现了男主人公独特的性格特征和复杂的心理状态﹐使之成为日本著名明星，该片获《电影旬报》评选的当年十佳影片之一。1959年主演的《遥远的旅程》是他的演技进入成熟阶段的代表作﹐获得“兰绶带奖”和日本广播协会电影奖的男演员奖。此后他在《饲育》（1961）﹑《饥饿海峡》（1964）﹑《日本小偷的故事》（1965）﹑《褴褛的旗》（1974）﹑《复仇在我》（1979）﹑《啊﹐野麦岭》（1979）等著名影片中扮演各类角色。

《饲育》获《每日新闻》电影奖的男配角奖﹔《饥饿海峡》和《褴褛的旗》获《每日电影》男主角奖﹔《日本小偷的故事》获《电影旬报》和《每日电影》电影奖的男主角奖﹔并获巴西“彩带奖”（即最佳男主角奖）；《复仇在我》和《啊﹐野麦岭》获《电影旬报》的男配角奖。1982年他在中日合拍的第一部电影《一盘没有下完的棋》中和孙道临联袂出演主要角色，该片由佐藤纯弥执导（《追捕》导演），获得了日本最佳电影奖，蒙特利尔国际电影节大奖。

三国连太郎善于扮演各种类型﹑各种生活经历的角色。他塑造的人物真实可信并具有强烈的性格特征。因在《儿子》一片中的出色表演，获1991年度《电影旬报》最佳男演员奖。他已演出了约150部影片，主要作品还有：《板车之歌》（1959）、《处刑的岛》（1966）﹑《诸神的欲望》（1968）﹑《八甲田山》（1977）﹑等。另著有长篇历史小说《白色的道路》等书，这本书1987年被改编为电影，他本人在片中担任重要角色。

为了加入电影公司，他曾谎称毕业于名校，后来才公开真相。另外，三国连太郎看起来很能喝酒，其实他为了身体滴酒不沾，香烟也在十几年前戒掉了。

三国连太郎是个戏痴。1957年时年三十三岁的他在影片《异母兄弟》中扮演田中绢代的老伴，因为田中绢代比他大十多岁，三国竟然拔掉了自己上下十颗牙齿。由于演戏过于投入，和他配戏的演员对他都有一种恐惧感。曾经不按剧本即兴把口水狠狠啐在绪形拳的脸上，两人为此打了起来。还有，本来是做个样子的暴力镜头，他竟然玩真的，用拐杖把西田敏行打了个半死。

不光对男演员如此，对女演员他也毫不留情，曾把有马稻子打昏了过去。甚至在拍激情戏时他居然扯掉自己的兜裆布意欲假戏真做，从而激怒了配戏的女演员。即使在病床上，三国连太郎也从未忘记过电影表演事业，在病房的桌子抽屉里有一张他在病中写下的字条：“所谓不可复制的演技，就是经历本身。“我从艺50年才领悟到这一点，太晚了。”

在私生活中，有着让人吃惊的婚姻经历，以及对金钱视若无睹。他一生结婚四次，其中第一任妻子是假结婚，佐藤浩市是他和第三任妻子所生（两人1972年离异），他把房产钱财都给了前妻，曾经有段时间只带着他养的狗在公寓生活。除了婚姻，他还曾先后与小他20岁的太地喜和子和小他37岁的石田惠理等女星恋爱过。