Potemkin no quiso transigir; Zavadovski tenía que irse. El verano de 1777, antes de cumplirse los dieciocho meses como favorito, Zavadovski se marchó, resentido y desconsolado, llevándose el regalo de despedida de la emperatriz —ochenta mil rublos y una pensión anual de cinco mil rublos—, y se encerró en su hacienda de Ucrania. Ese otoño, Catalina efectuó un esfuerzo poco entusiasta para que regresase, pero 1777 fue un año de crisis políticas; para entonces Potemkin gobernaba como virrey sobre el imperio meridional de Catalina, y su respaldo era demasiado importante para comprometerlo creando agitación en su vida privada. Zavadovski permaneció alejado de la corte durante tres años y regresó a San Petersburgo en 1780, cuando le nombraron consejero privado. En 1781, pasó a ser el director del banco estatal, que se fundó según un plan que él mismo había presentado. Posteriormente, ocupó el cargo de senador y acabó su carrera como ministro de Educación para el nieto mayor de Catalina, Alejandro I.

La nueva relación negociada entre la emperatriz y Potemkin había dado a cada uno de ellos libertad para elegir otros compañeros sexuales, en tanto que preservaba el afecto y la estrecha colaboración política entre ambos. Catalina le echaba en falta a menudo. «Ardo de impaciencia por volveros a ver; me da la impresión de que no os he visto en un año. Os beso, amigo mío. Regresad feliz y en buena salud y nos amaremos el uno al otro... Os beso y deseo tanto veros porque os amo con todo mi corazón.» En sus cartas, siempre se preocupaba de informarle de que su nuevo favorito —quienquiera que fuera en aquel momento— le enviaba su afecto o respeto. Hacía que sus amantes le escribieran directamente, en su mayoría declaraciones lisonjeras de lo mucho que también ellos le echaban de menos, admiraban o incluso veneraban. Los jóvenes lo hacían porque sabían que, en comparación con la influencia de Potemkin, la suya propia era inexistente.

Mientras tanto, Potemkin seguía amando a Catalina a su modo. Su pasión física por ella se había desvanecido, pero su afecto y lealtad permanecían. Entretanto, transfería sus tentativas sexuales de una joven a otra. Entre estas había tres de sus cinco sobrinas, Alexandra, Varvara y Yekaterina, las hijas de su hermana María Engelhardt.

Varvara (Bárbara) fue la primera en atraer a su tío. Con una cabellera dorada, coqueta y exigente, sabía a los veinte años cómo controlar al príncipe, que entonces contaba treinta y siete. Él realizaba esfuerzos dignos del mismísimo Hércules para complacerla. Las cartas que le mandaba eran ardientes, mucho más que cualquiera de las destinadas a Catalina.