Олег Румянцев в 1990–1993 годах являлся народным депутатом, членом Верховного совета Российской Федерации, секретарем (с ноября 1991-го – ответственным секретарем) Конституционной комиссии Съезда народных депутатов Российской Федерации. Руководил разработкой проекта Конституции России, официально опубликованного для всенародного обсуждения и одобренного Верховным советом в 1993 году. В 1994 году – советник президента Республики Крым; в 1995–1996 годах – консультант аппарата Комитета Государственной Думы по законодательству; в 1996–1998 годах – заместитель ответственного секретаря Парламентского собрания Союза Беларуси и России.