Николай Ковалев возглавлял Федеральную службу безопасности России с 1996 по 1998 год, а в Государственную думу был впервые избран в декабре 1999 года.
В декабре 2007 года был избран по спискам Всероссийской политической партии «Единая Россия» депутатом Государственной Думы Федерального Собрания Российской Федерации пятого созыва от Орловской области.
В декабре 2011 года Николай Дмитриевич был избран депутатом Госдумы по списку кандидатов, выдвинутому Всероссийской политической партией «Единая Россия» (Орловская область).
Будучи депутатом Николай Дмитриевич стал автором ряда основополагающих проектов о внесении изменений в Уголовный кодекс Российской Федерации, в Федеральный конституционный закон «О Правительстве Российской Федерации», федеральные законы «О ветеранах», «Об оперативно-розыскной деятельности», «О защите прав юридических лиц и индивидуальных предпринимателей при осуществлении государственного контроля (надзора) и муниципального контроля» и других.
За большой вклад в законотворческую и общественную деятельность Николай Дмитриевич награждён орденами «За заслуги перед Отечеством» III и IV степеней, орденом «За военные заслуги», орденом Почёта, орденом Красной Звезды, медалями, Почётной грамотой Президента Российской Федерации.
В августе 2014 года за выдающиеся заслуги перед Орловской областью Постановлением Орловского областного Совета народных депутатов Н.Д. Ковалёву присвоено звание «Почётный гражданин Орловской области».
Спикер Госдумы РФ Вячеслав Володин отметил, что Николай Ковалев внес значительный вклад в развитие антитеррористического законодательства, работая в комитете по безопасности, возглавляя комитет по делам ветеранов.
Губернатор Орловской области Андрей Клычков выразил соболезнования в связи со смертью Николая Дмитриевича:
«Николай Дмитриевич Ковалёв был настоящим патриотом, который сделал многое для развития России и Орловской области. Он достойно служил своей стране и народу в самые непростые годы. В Государственной Думе он стоял у истоков законопроекта, препятствующего оттоку капитала заграницу, боролся с коррупцией и фальсификацией исторических фактов. Орловцы запомнят его навсегда открытым, честным и готовым помочь в любой сложной ситуации. На него равнялись современные политики.
Смерть Николая Дмитриевича - невосполнимая утрата для Орловской области и всей страны. Добрая память о нём навсегда сохранится в наших сердцах.
Выражаю слова соболезнования семье и близким Николая Дмитриевича».