1924년 10월 29일, 지금은 우크라이나에 속해 있는 르부프에서 태어났다. 고등학교에 다니던 1939년, 독일과 소비에트 연방이 폴란드를 침공·점령하자 지하조직이 만든 교육기관에서 고등학교 과정을 마쳤다. 당시 레지스탕스로 활동하던 헤르베르트는 역시 지하 교육기관이었던 얀 카르미에시 대학에 진학해 폴란드 문학을 공부했다.
1944년 봄 르부프를 떠나 크라쿠프로 이주하고 난 뒤, 르부프의 폴란드 사람들은 쫓겨나고 이 지역은 우크라이나로 편입되었다. 이때의 고향 상실, 뿌리 뽑힘은 후일 헤르베르트 작품의 주요한 모티프로 작용한다. 헤르베르트는 이후 크라쿠프 대학에서 경제학을, 니콜라우스 코페르니쿠스 대학교에서 법학과 철학을 공부했다. 그는 생계를 위해 시, 음악 비평, 연극 비평 등을 발표했지만, 사회주의 리얼리즘 스타일을 따르지 않고 정치 선전물을 쓰지 않았기에 그다지 성공적이지 못했고 그 결과 변변치 않은 일자리들을 전전해야만 했다.
17세부터 시를 쓰기 시작한 헤르베르트는 1956년 폴란드가 스탈린 체제에서 벗어나고 문학의 유일 양식이었던 사회주의 리얼리즘이 폐기되자, 정식으로 시단에 나와 활동하기 시작했다. 첫 시집을 펴내고 주로 해외에서 지내던 중 1968년 3월 29일 카타지나 지에두쥬카와 프랑스의 폴란드 영사관에서 결혼했다. 그해 『헤르베르트 시 선집』이 영어로 번역·출간되었고, 영미권에 그의 이름이 알려지기 시작했다. 그는 지금까지도 가장 많이 번역된 폴란드 작가로 손꼽히고 있다.
첫 시집 『빛의 심금』(1956)을 시작으로 『헤르메스, 개와 별』(1957), 『사물 연구』(1961), 『명銘』(1969), 『코기토 씨』(1974), 『포위 공격받는 도시에서 온 소식』(1983), 『떠나보낸 비가』(1990), 『로비고 지방』(1992), 『폭풍의 에필로그』(1998) 등 다수의 시집을 펴냈다. 나치와 스탈린 체제의 폭정과 검열에 항거해 작품을 쓰지 않거나 발표하지 않았던 기간이 길었음에도, 그는 생전에 시집과 함께 희곡집 『철학자들의 동굴』(1956), 에세이집 『정원 속의 야만인』(1962) 등 이십여 권의 작품을 펴냈다.
시인이자 에세이스트, 희곡작가, 모럴리스트였던 그는 코시젤스키 재단 문학상(1963), 레나우 문학상(1965), 헤르더 문학상(1973), 페트라르카-프레이스 문학상(1979), 브루노 슐츠 문학상(1988), 예루살렘 문학상(1991) 등 다수의 문학상을 수상했다.