¿Puede la conexión a internet hacer lenta la red interna?

Tengo una inquietud pues no he logrado encontrar respuesta, tengo un servidor CentOS 6.9 con las dos tarjetas de red configuradas, una para la red interna y la otra para la internet, sucede que cuando activo la salida por internet mediante una IP pública o fija, la red interna se pone extremadamente lenta, pero si la quito, la velocidad es excelente.

¿Qué puede ser, que puedo revisar?