Bueno, en este caso concreto la expresión, que seguramente viene de la inglesa que suena mucho mejor "Forgive but never forget" creo que se refiere a perdonar la afrenta pero no olvidar a los que fueron víctimas de la misma. Es decir, no perdonar a fulanito pero tenerlo siempre en la mira, sino perdonar a fulanito y recordar a aquellos a los que fulanito les hizo la puñeta, porque no por perdonar nos vamos a olvidar de todo el asunto y sus consecuencias.
Puede que esté equivocado, pero yo siempre lo he entendido así.