본관은 나주이며 1496년(연산군 2년) 9월에 부사 오세훈의 아들로 태어났다. 어려서부터 영민하여 그 장래가 촉망되더니 서봉유우를 스승으로 글을 배워 1523년(중종 27년)에 과거에 들어 헌납, 장령 남원부사 등을 지냈다.
1547년(명종 2년)에 전라도 관찰사(지금의 도지사)가 되어 어진 정치를 베풀었고 그 사실이 조정에 알려져서 1550년(명종 5년)에 금양군에 봉해졌다.
그 뒤로 경주부윤, 한성부 좌윤을 거쳐 1557년(명종 12년)에 호조참판이 되고 그 3년 후에는 예조판서에 올랐으며 이조, 병조, 호조의 판서를 두루 지내고 대사헌 지경연사 등 중요한 벼슬을 지냈다.
1564년(명종 19년)에 우찬성에 올랐다가 이듬해 69세의 노령으로 관직에서 물러나기를 원했으나 허락되지 않았고 오히려 궤장(국가에 공이 많은 늙은 대신에게 내려주는 궤와 지팡이)을 하사 받았다. 그 뒤로도 1571년(선조 4년)에 좌찬성으로 되어 명종실록의 편찬에 참여하고 그해 우의정에 올랐으나 노병을 이유로 사양하고 고향에 돌아와 조용히 여생을 지내다가 1582년(선조 15년)87세로 세상을 뜨니 정간이라는 시호가 내려졌다. 공은 천성이 온화하여 모든 일에 신중하여 실수한 일이 없고 명종 선조의 세 임금을 섬겨 높은 자리에 있었으나 한 번도 남의 입에 오르내린 적이 없었다.
그리고 선악을 판단하여 결정하는데도 마치 물이 흐르듯 막힌 데가 없었다고 한다. 평생 동안 남의 잘못을 들추어내지 않고 권력에 아부하지 않아 간신 윤원형 일파의 미움을 사서 누차 모함을 받았으나 그들도 공을 어찌할 수가 없었다고 한다. 율곡 선생은 공의 행적을 말하기를 “청백한 절조 있는 분이었으며 세상 사람들로 부터는 존경받는 인격자”라고 극구 찬양하였다.