1926년 서울에서 태어나 계성보통학교를 졸업한 후 해방 전까지 독학했다. 1945년 정한모와 함께 문예 동인지 《백맥》을 창간하면서 문학의 길로 들어섰다. 1952년 김춘수와 함께 《시와 시론》을 창간했고, 《사상계》, 《현대문학》 등에 작품을 발표했다.
1969년 한국문인협회 상임이사를 거쳐 1981년 대한민국예술원 회원이 됐다. 연합신문과 경향신문에서 기자 생활을 하기도 했다.
시집으로 《바다가 보이는 산길》, 《예감》, 《애가》, 《자화상》, 《돌의 계절》, 《돌아가는 길》, 《깨어나지 않는 꿈》, 《저녁노을》, 《아무 일도 없는 하루》 등이 있고, 시선집에 《김윤성 시선》, 《바다와 나무와 돌》, 《그냥 그대로》가 있다.
제1회 한국문학가협회상, 월탄문학상, 대한민국예술원상, 대한민국문화예술상, 민족문학상 본상, 청마문학상 등을 받았다.
2017년 1월 13일 별세했다.