Tabela de Conteúdos
e-mail@FEUP
Maio 2009, E.T. Porto Linux
by Nuno Dantas
Dimensão
- Cerca de 26 000 contas activas
- + de 3 milhões de mensagens por dia recebidas
- 20G+ dia
- + de 200 000 mensagens por dia enviadas
- 700+ ligações IMAP concorrentes
- 300+ logins/minuto POP3
- 10 000+ logins/dia no webmail
- ~4T storage
Vou falar de...
- Outgoing, Incoming, Entrega, Armazenamento
- A(s) Máquina(s)
- SPAM
- Listas de distribuição
- Webmail
- Gestão, integração e estatísticas
- LB, HA e DR
- Perspectivas futuras
Outgoing
- 2 servidores(recuperados) com Debian
- Postfix
- virtualusertable (destinos, alias, distribuição)
- SMTP auth
- SSL por hardware
- Anti-virus
- mailq: 100< Requests <200
20:48:19 up 215 days, 5:36, 2 users, load average: 0.00, 0.00, 0.00
Incoming
- 2 servidores(gordos) com Debian
- Postfix
- virtualusertable (destinos, alias, distribuição)
- Anti-SPAM
- Anti-virus
- Os RFC´s são nossos amigos
- Cache only DNS
- mailq: < 10 Requests
20:51:10 up 197 days, 6:21, 2 users, load average: 1.66, 1.58, 1.22
Entrega
- Dois grupos diferentes: Alunos e Staff
- 3 servidores por grupo, com SLES9
- Debian + Postfix
- 1 storage por grupo
- Acessos concorrentes à FS
- POP e IMAP (dovecot + sieve + antisapm)
- (áreas pessoais via NFS)
Armazenamento
- SAN
- Rede FC completamente redundante
- Dois “storage”, Alunos e Staff
- Discos FC 10k e 15K rpm
- HP Polyserve
The BIG picture
A(s) Máquina(s)
- Incoming :2 DELL x quad core E5335@2.0GHz, 8G RAM
- Outgoing : 2 DELL x dual xeon 3.0G, 6G RAM
- Webmail : 3 DELL x dual xeon 2.8G, 4G RAM
- Staff : 3 HP x dual xeon 3.4G, 6G RAM ; HP EVA 4000
- Alunos : 3 DELL x dual xeon 3.0G, 6G RAM ; EMC CX500
- Listas : virtual 2G RAM, 4 CPU
- LB : 2 alteon
SPAM e AV - 1/4
- amavis-ng
- clamav
- spamassassim
- SPF
- Razor2
- DCC
- Network tests (DNSBL, RBL, URIBL)
- Bayes global
- white/black lists globais
SPAM e AV - 2/4
smtpd_helo_required = yes strict_rfc821_envelopes = yes
smtpd_recipient_restrictions = permit_mynetworks, check_helo_access hash:/etc/postfix/helo_checks, check_sender_access hash:/etc/postfix/sender_checks, check_client_access hash:/etc/postfix/client_checks, reject_invalid_hostname, reject_non_fqdn_hostname, reject_non_fqdn_sender, reject_unknown_sender_domain, reject_unknown_recipient_domain, reject_unauth_destination
describe FROM_FEUP Domain fe.up.pt header FROM_FEUP From =~ /\@fe\.up\.pt/i score FROM_FEUP 1
SPAM e AV - 3/4
- score >10 → Blocked SPAM
- 5<score<10 → Passed SPAMMY
- score <5 → Passed CLEAN
- Os vírus ficam em quarentena, envio de DSN
- Ensinar os filtros - dovecot antispam
- O SPAM não sai …para fora!
- score's ajustados (hard work)
SPAM e AV - 4/4
Listas de distribuição
- 1 máquina virtual com Debian
- Sympa + Postfix
- Listas dinâmicas, via Oracle (Sigarra)
- Listas mistas
- Cenários (spam, permissões, etc)
- (mail dinâmico via Sigarra)
Webmail - 1/2
- 3 servidores com Debian
- A base de dados está numa máquina “emprestada”
- Horde/IMP/DIMP
- Duas versões…para uma transição mais suave.
- Apache2 tunning (já falei aqui sobre isso)
- eAccelerator
- Perdition
- Já se pensou substituir o hardware… já lá vão mais de 4 anos
Webmail - 2/2
Gestão e integração - user
- Comportamento filtro SPAM
- Aliases
- Forward
- Ausência de serviço
- SPAM/Ham trainning
- Visualização e alteração(hdesk) de quotas
Gestão e integração - serviço
Os gráficos - incoming
Os gráficos - outgoing
Os gráficos - entrega
Os gráficos - POP/IMAP
LB, HA e DR
- LB em harware - 2 alteon
- (quase)Todos os serviços são redundantes
- SAN tolerante a falhas de hardware
- 2 geradores + UPS
- Backups diários em fita
- Fitas em cofres em 2 edifícios
- (Documentação)
Perspectivas futuras
- Como combater o spam se continuar a crescer.
- Piloto Anubis Networks
- Aumento de quotas → +1G
- Abandono do polyserv
- Uso de unified storage
- dbox no dovecot
- LB's “linux based”
- Tudo virtual
As perguntas dos twitarecos
- que diferencas há entre o mail dos alunos e dos outros… ou já não há diferencas @storrao
- estísticas, soft e hardware usado e perspectivas futuras para (ou cm seria possivel) melhorar o serviço e combater spam @tiagoboldt
- a password root @alcides
- pq é que existe uma versão antiga e uma nova? ao mesmo tempo… no mesmo sítio… :) @storrao
- pq é q não temos google apps para email. o horde sucka grandemente. @paulozoom
- qual a arquitectura de servidores implementada ? filtros de spam? blacklists!? … @drjunior
- gostava de ficar c/ 1 ideia da solução física de suporte ao mail (hardware, como está “montado”, medidas Rec. Aft. Disaster, etc.) @marcopinheiro