Uno consiste en modificar una entrada en los parámetros de configuración del navegador. Abres la dirección about:config y … Te dejo en manos de un post de Raúl Ochoa, donde están explicados todos los pasos (cinco en total) con toda claridad.

Otro, más simple, se limita a tres (LifeHacker):
1. Abrir Gmail en Firefox
2. Teclear en la barra esta dirección

y Enter
3. Autorizar la asociación. Clic sobre el botón Añadir aplicación que se muestra a la derecha de la pregunta ¿Deseas añadir Gmail (mail.google.com) como una aplicación para los enlaces del tipo mailto? que aparece en la parte superior del navegador

Ahora, cuando pinches sobre un enlace de email se abrirá una ventana como esta:

Si activas la opción Recordar mi elección, el navegador ya no repetirá la consulta y no se abrirá más la ventana