В 1799 году Роберт Кольдер был произведен в чин контр-адмирала; а в 1804 году, в чине вице-адмирала, был послан с небольшой эскадрой в погоню за французским флотом под командованием адмирала
[Для просмотра данной ссылки нужно зарегистрироваться], который должен был доставить припасы французской армии в Египет. Погоня окончилась неудачей и Кольдер был вынужден вернуться обратно.
В войнах третьей коалиции (1805—1806) Роберт Кольдер командовал эскадрами, блокирующими порты Рошфор и Ферроль, в которых оснащались корабли для обеспечения вторжения в Англию Английской Армии
Наполеона.
Когда стало известно, что эскадра
[Для просмотра данной ссылки нужно зарегистрироваться] идет к Бресту, Адмиралтейство приказало контр-адмиралу
Чарльз Стерлингу присоединиться к эскадре Колдера, блокирующей Ферроль и перехватить франко-испанский флот во время его перехода к Бресту. Маневры противника была скрыты туманом, и только утром 22 июля 1805 года Кольдер смог разглядеть флот Вильнева. Франко-испанская эскадра превосходила англичан по силе, но Кольдер приказал флоту вступить в бой. Последовавшее за этим сражение получило название Боя Кольдера или Сражения у мыса Финистерре: в нём 15 британских кораблей атаковали 14 французских и 6 испанских кораблей и захватили два из них. Британские потери составили 39 человек погибших и 159 раненых; союзники потеряли 158 человек погибших и 320 раненых. Через четыре часа, с наступлением сумерек, Кольдер приказал прекратить сражение. В течение следующих двух дней флоты остались в пределах видимости друг к другу, но не вступали в бой. Кольдер решил защитить свои недавно захваченные призы, а французский адмирал Вильнев отказался атаковать англичан. Вильнев покинул этот район 24 июля и двинулся в Ферроль, а оттуда в Кадис, вместо того, чтобы возобновить своё плавание в Брест. Так как Вильнев не соединился с флотом в Бресте, Наполеон был вынужден отказаться от вторжения в Англию.
Из-за критики в свой адрес Крльдер потребовал военно-полевого суда.
[Для просмотра данной ссылки нужно зарегистрироваться] было приказано отправить Кольдера домой, и позволить ему забрать свой флагман — 98-пушечный корабль
Prince of Wales, хотя битва с французами и была неизбежна. Кольдер отплыл в Англию в начале октября 1805 года и пропустил
[Для просмотра данной ссылки нужно зарегистрироваться]. Трибунал был проведен 23 декабря 1805 года и адмирал, хотя и вполне освобожденный от обвинения в трусости или нерадивости, тем не менее был признан не сделавшим всего, что от него зависело для возобновления сражения и для взятия или уничтожения какого-то количества неприятельских судов. Его поведение было признано достойным чрезвычайного осуждения, и он был приговорен к строгому выговору.
Впоследствии Роберт Кольдер никогда больше не служил в море, но продолжал продвижение по службе и был произведен в адмиралы 31 июля 1810 года. В качестве дани уважения к его заслугам он был
награждён орденом Бани 2 января 1815 года. Он был назначен главнокомандующим военно-морской базы в Плимуте в 1810 году.
Роберт Кольдер умер в Холте, в графстве Хэмпшир 1 сентября 1818 года.