克莱因出生于1928年的纽约，他的父亲曾拥有一家服装店，在他出生的第二年，因为经济不景气而破产，自此克莱因的父亲就靠销售保险给有钱的亲戚维生。
克莱因从小就面对富有的亲戚，过着极度穷苦的日子，孩提时代就充满被摒弃的感觉，也因为这样养成自我放逐的性格。
十四岁的时候，极度聪明的克莱因成绩优异，提早三年从中学毕业，进入纽约市立大学。在毕业的前一年，他决定放弃学位而加入陆军。这是他自我放逐性格的首次显露，他很高兴自己的选择：
那是一段好日子，有生以来第一次能远离家庭，不必和女孩子约会，我享受这种生活。
1948年，他刚满二十岁就离开美国，把自己放逐在巴黎，过着艺术家的流浪生活。
克莱因先是在巴黎的Sorbonne学习绘画，并拿到学位，娶了同年龄的法国女子为妻。当时对他日后的事业最有影响的，是他跟随莱热习画的一段时间。他说：
从莱热身上，我学到一种对机械旋律的品位，和任何事情都可行的观念。
克莱因从莱热身上所受到的影响并不是画风，他的画没有半点莱热的社会意识和工业时代的机械美感，他一开始就画硬边抽象，才出道就颇被看好。如果他在绘画上继续发展的话，很可能现在是个不可等闲视之的重要角色。
No.1 纽约，1955
No.2 舞，1955
No.3 莫斯科基辅火车站，1959
克莱因走上摄影之路是很偶然的事。1952年，他的油画作品在米兰展出，当时克莱因正迷恋于线条、形体的变化，以几何图案做大幅壁画。意大利的名建筑师Margiaroffi正好看到他的展出，建议他将这一张张大画摆成可以移动的隔板，拼成走道房间，创造出更多组合的可能。
当克莱因的“建筑绘画”摆出来之后，他为了留念而拍了几张照片，就这样蹒跚走入了摄影。其实这也是他的自我放逐性格所造成的，因为他觉得他在绘画上的表现已经跨出了一步，就不再搞下去了，宁可把自己丢在新的浪涛中，随波逐流。