그냥 재미로 10기가비트 홈 네트워크를 구성해보기로 했습니다. 가능한 저렴하게 말이죠. 장비부터 골라보는데 평소 homelab subreddit을 자주 눈팅하고 있었던지라 장비 선정에는 큰 어려움이 없었습니다.

이 덕질을 할 수 있게 도와주신 슬랙 주식(WORK)과 이더리움(ETH)에 깊은 감사를 표합니다. (__)

Router: Ubiquiti UniFi Dream Machine Pro

UDM Pro는 원래 라우터 용도로만 나온 제품은 아니고 security gateway & network appliance 용으로 나온 제품입니다. 미화 $379에 10G SFP+ WAN 포트 1개, 10G SFP+ LAN 포트 1개, 1G LAN 포트 8개를 제공하며 Ubiquiti 생태계에서 이미 제공하고 있던 여러 부가기능(UniFi Protect 등)을 함께 지원합니다.

사실 이 제품을 고른 가장 큰 이유는 이미 Ubiquiti 생태계 제품(EdgeRouter)을 사용하고 있었기도 했고 기존 제품군을 사용하면서 느꼈던 경험이 너무나도 만족스러웠기 때문이었습니다. 꾸준한 소프트웨어 업데이트는 물론, 버벅임이 있거나 딜레이가 있지도 않았고 커뮤니티에 다양한 유즈케이스에 맞추어 KB가 준비되어 있었던 것이 굉장히 마음에 들었습니다.

흔히 10G 망을 구성할 때 가장 많이 찾는 장비가 Mikrotik 사의 CRS(Cloud Router Switch) 제품군인데요. Mikrotik 사는 하드웨어로 네트워크 트래픽을 처리하는 대신 99% 소프트웨어로 네트워크 트래픽을 처리하기 때문에 실제 다양한 설정을 했을 때 다른 제품에 비해 전력 소모가 높고 성능이 떨어지는 경우가 있어 Mikrotik 제품군은 배제하기로 했습니다. UI/UX, 클라우드 연동(ubiquiti는 ui.com을 무료로 제공), 커뮤니티 지원 등에서 상대적으로 밀리는 것처럼 보이기도 했고요. (참고: UniFi 제품군 또한 SDN 기반이지만 일부 하드웨어 가속을 사용하기도 합니다.) – 동급 제품 비교는 아니긴 하지만 Mikrotik 제품이 Ubiquiti 제품 대비 전력 소모량이 보통 1.2~2배 정도 더 많습니다.

UDM Pro의 경우 iPerf3 측정 기준, DPI(Deep Packet Inspection)를 사용했을 때의 Downlink Throughput이 8Gbps, IDS/IPS를 사용했을 때 3.5Gbps, IPSecVPN의 경우 800Mbps를 제공합니다. 방화벽 기능을 켜고 사용했을 때 Throughput 감소가 있긴 하지만 '이 가격대'에서 이렇게 높은 Throughput이 나오는 제품이 사실상 없는 관계로 다른 선택지를 고를 수가 없었습니다. 😃

...만 사실 100번에 전화해서 물어보니 집 근처 KT 전화국(KT 강남지사)에 10G-EPON OLT 장비가 들어오지 않아 현재 거주 중인 강남구 역삼동에서는 10G급(1G 초과 상품) 상품을 아직 이용할 수 없다는 이야기를 듣게 되었습니다. 장비가 들어오는 대로 연락을 받기로 했지만 언제 들어올지는 (...)

UDM Pro에 전원을 넣고 UniFi Network 앱을 켜는 순간 어디서 많이 본 듯한 이런 화면을 마주치게 됩니다.

UDM Pro로 라우터 셋업을 마치고 가장 만족스러운 부분은 바로 '무료'로 사용할 수 있는 이 클라우드 서비스입니다. EdgeRouter 때부터 이미 UNMS로 제공되던 기능인데 자사 제품군인 UniFi 제품군을 확장시키면서 점점 UI/UX 적인 부분에서 완성도를 높여가고 있는 모습이 정말 라우터계의 애플이라 불러도 될 정도로 너무 쓰기 편하고 깔끔합니다. 물론 advanced한 설정을 하고 싶다면 CLI를 이용해야 하긴 하지만요. :)

설정이나 웹 UI나 이런 거 다 제치고.. 신기한 기능이 너무 많습니다. UniFi Network 앱에서 제공하는 AR 기능이라든가..

전면부에 있는 터치 가능한 작은 스크린이라든가..

터치스크린을 조작하여 라이브 network throughput을 본다거나 시스템을 재부팅한다거나 할 수 있습니다.

기존 고전(..) 네트워크 회사들이 만든 수천만원이 넘어가는 제품에서도 제공되지 않는 기능 & 사용자 경험을 제공함에도 저렴한 가격으로 이런 좋은 장비를 쓸 수 있다는 게 믿기지가 않습니다. (주의: Early Access라고 Open Beta 과정을 거치기는 하지만 애플처럼 펌웨어 안정화까지 최소 1년이 걸리는 편입니다. SOHO를 넘어서는 Enterprise용으로 쓰기에는 risky합니다.)

참고: Ubiquiti Early Access Store에 $299의 금액으로 구입할 수 있는 10G 지원(SFP+ 2-Port, 10GBase-T 8-Port) 라우터가 올라와 있습니다. 아직 Early Access 제품이라 Beta Product긴 하지만 더 저렴하게 10G NAT Throughput을 보장하는 제품을 구하고 싶으신 경우 이쪽을 알아보시는 것도 좋습니다.

Switch: QNAP QSW-M408S

10G SFP+ 포트 4개, 1GBe 포트 8개가 달린 '팬 없는' 네트워크 스위치입니다. 마찬가지로 Mikrotik에서도 10G SFP+ 포트 4개가 달린 네트워크 스위치를 판매하고 있으나 이왕이면 포트 더 많이 달린 놈이 좋아서 (...) + QNAP 제품 가격이 Mikrotik과 비교해서 40불 정도만 더 주면 살 수 있어서 QNAP 제품으로 구입했습니다. (아마존 판매가 기준 CRS305-1G-4S+IN $138.43, M408S $179)

이 스위치는 약 80Gbps의 스위치 용량을 제공하고 아래와 같은 웹 인터페이스로 VLAN, LAG(LACP), RSTP, ACL 등의 설정을 제공합니다.

실제 성능을 테스트해봤었는데요. 10G 포트에 10G SFP+ RJ45 Transceiver를 끼워 X550 네트워크 어댑터에 cat.5e 랜 케이블을 연결하여 측정한 결과는 다음과 같습니다.

사실 스펙으로는 cat.5e 케이블로는 1Gbps까지 사용할 수 있는 것이 맞는데 비공식적으로 cat.5e UTP(unshielded twisted pair) 케이블은 근거리에서 10G까지 속도를 내는데 아무런 문제가 없습니다.

뭐 이 과정을 통해 cat5e 케이블로도 10G throughput을 내는 것이 가능하다는 결과를 얻긴 했지만 혹시 모르니(...) cat6 케이블로 교체해두었습니다. 일단 한국 일반 가정집에서 10G 내부망을 만들기 위해 굳이 포설된 선로를 cat6 이상으로 올릴 필요는 없어 보입니다.

사용 중인 NAS에는 803.ad Link Aggregation (LACP)를 구성해 2Gbps의 대역폭을 만들었고 다중 커넥션에서 2Gbps 대역으로 통신이 가능한 것을 확인했습니다. (주의: 흔히 말하는 본딩/티밍 등의 기능은 최대 대역폭을 늘리고 fault-tolerance & link에 대한 availability를 늘리는 용도이기 때문에 일반적인 구성에서 단일 커넥션의 속도는 늘어나지 않습니다.)

FYI: 10G는 RJ45로 구성하지 마세요

10GBase-T의 경우 전기도 더 많이 먹고 (micros라 무의미하긴 하지만) 레이턴시도 더 길며 전송거리도 더 짧습니다.

SFP+10GBase-T Transceiver (Copper)를 사용하며 느낀 점은 10G는 무조건 광지빅 또는 DAC/AOC 케이블을 사용해야 한다는 부분입니다. 일단 RJ45 규격의 10GBase-T는 전력 소모량이 네이티브(?)에 비해 훨씬 많은 3~5W 정도를 소모하며, 전력 소모량이 많다는 것은 발열 또한 많다는 것을 의미하기 때문에 에너지 효율 측면에서 굉장히 비효율적일뿐더러 잘못하다가 손 화상 입는 수가 있습니다. (...)

열화상카메라로 직접 찍어본 RJ45 Transceiver의 온도, 52도입니다.

10G RJ45 Transceiver 뿐만 아니라 PCIe 칩으로 달리는 NIC 또한 RJ45 형태는 발열이 굉장히 심합니다. 인텔 X550 어댑터의 경우 10G throughput으로 30분 통신 시 온도가 60도까지 올라가는 것을 확인할 수 있었고 다른 어댑터에서도 비슷하다는 이야기가 인터넷에 굉장히 많이 나와 있습니다.

인터넷에서 저렴하게 10G DAC 케이블을 구할 수 있기도 하고 어차피 10GBase-T 스위치의 경우 나와있는 제품이 사실상 없으니 굳이 랜선 재활용하겠다고 10G RJ45 Transceiver 구입하지 마시고 DAC 케이블 + SFP+ PCIe NIC를 구입하는 것을 강력히 추천드립니다. SFP+ DAC 케이블의 경우 케이블이 뻣뻣하다는 면을 제외하고는 가장 완벽하게(?) 10G 환경을 구축할 수 있는 수단입니다. (TMI: 뻣뻣함이 싫다면 광 패치 케이블 기반의 AOC 케이블을 구하셔도 됩니다. 꺾이는 거만 조심한다면요..)

10G Thunderbolt Adapter: QNAP QNA-T310G1S

다른 제품은 죄다 못생겼고 부피도 크고 RJ45 기반이라 SFP+ 기반인 녀석을 찾다 보니 이 제품을 발견하게 되었습니다. 200불 언더로 구입할 수 있고 SFP+ 기반이다 보니 발열이 적은 부분도 상당히 매력적입니다. RJ45를 끼울 수 있는 QNA-T310G1T 제품도 나와있는데 이 제품의 경우 쿨러 소리(?)가 들린다는 보고도 있고 발열이 굉장히 심하다는 상품평이 많아 선택지에서 과감히 제외했습니다.

Aquantia AQC107-B1 칩을 사용했고 이 칩의 드라이버는 맥에 내장되어 있습니다.
Speed는 10Gbase-T로 :)
맥 - 라우터간 통신속도 테스트 (iperf3)

마무리

Ubiquiti 제품 초창기부터 내려오던 전통(?)이 그대로 이어져오고 있어 일부 기능이 제대로 동작하지 않는다거나(현재 Jumbo Frame을 설정해도 MTU가 1500으로 고정되는 문제가 있습니다) 몇 기능은 아예 사용자가 직접 만드는 등 일반적인 Enterprise 급 제품으로 생각하면 다소 부족한 면이 있지만 Home Networking 측면에서 상대적으로 저렴한 가격으로 10G 환경을 구성할 수 있는 부분은 상당히 매력적이라 생각합니다. 빨리 지역 KT 전화국에 10G-EPON OLT 장비가 들어와 외부망도 1G 초과급으로 연결해서 사용해보고 싶습니다. :)

요약

10G 네트워크를 구성하려는 경우 다음 내용을 꼭 명심하세요:

  • 10G 장비는 1G 장비 대비 처리량이 단순 계산으로도 10배 수준이기 때문에 당연히 1G 장비 대비 전기도 더 많이 먹고 (= 발열도 더 많고) 가격도 더 비쌉니다. Reasonable한 가격의 일반 사용자용 10G 장비가 나오려면 앞으로 최소한 4-5년은 더 있어야 하지 않을까 생각합니다.
  • 10GBase-T 기반의 10G 네트워크 구성 대신 SFP+ 모듈 기반(DAC/AOC/10GBase-SR/10GBase-LR 등) 장비를 사용하세요. 10GBase-T는 버리는 편이 전기 요금에도, 발열에도, 건강에도(?) 좋습니다.
  • 어쩔 수 없이 10GBase-T를 사용해야 한다고 하더라도 cat.6 이상으로 케이블을 바꾸실 필요 없습니다. 30m 정도 short distance는 cat.5e로도 10Gbps 속도를 내는데 문제가 없습니다. (손실 등의 문제가 있다는 이야기가 있는데 UTP 구조라 그런 것이지 cat.5e라 생기는 건 아닙니다. cat.6 이상의 케이블도 UTP, unshielded로 사용한다면 동일한 문제가 생길 수 있습니다. 애초에 TCP는 손실이 생겨도 parity check/retransmission을 하기 때문에 실제 주고받는 데이터가 손실되는 경우는 거의 없습니다.)
  • 1G 포트를 몇 개를 묶던 단일 커넥션에서는 1G 초과로 나오게 구성하기는 매우 어렵습니다. Full throughput을 뽑고 싶은 경우 NAS 연결 시 SMB Multichannel 기능을 사용하셔야 하고 iSCSI 등의 기능을 사용해야만 Bond 성능을 제대로 낼 수 있습니다. 포트 Bond는 여러 기기에서 하나의 서버에 접속할 때 부하/트래픽을 분산하는 용도로 많이 사용됩니다.
  • 1G 장비처럼 발열 적고 장비 하나로 NAT + L2까지 HW로 모두 처리하면서 가격 저렴한 녀석은 없습니다. L2/L3+는 분리하는 편이 정신건강에도 성능에도 좋습니다.
  • L3 (흔히 말하는 라우터, 더 흔히 말하는 용어로 공유기) 장비는 반드시 L3 전용으로 나온 녀석으로 구입하시고 구입 전 NAT throughput이 어떤 상황에서 얼마나 나오는지 꼭 체크하세요.
  • L2 (흔히 말하는 스위치) 장비 구입 시 MTU에 따른 Switching capacity(backplane bandwidth)를 꼭 확인하세요. FD(Full Duplex) 기준으로 확인하셔야 하며 예를 들어 10G 포트가 4개 있는 경우 Switching capacity가 10G x 4(ports) x 2(FD)  = 80Gbps는 나와야 모든 포트 로드 시 속도 저하 없이 사용할 수 있습니다.
  • 10G 내부망이 필요하다면 구성해도 좋지만 10G 외부망을 쓰고 싶으신 경우 지역 네트워크 제공 사업자에 꼭 미리 연락해 확인 후 장비를 구입하시기를..
  • 10G 외부망 회선을 사용해도 단일 커넥션/클라이언트 대상으로 10G bandwidth를 확보 해주는 서버가 사실상 없으니 참고하시면 좋겠습니다.
그동안 여러 변태 같은 네트워크 설정 덕질을 받아주느라 고생한 EdgeRouter X SFP는 이제 안녕
-

+ AP를 원래 Linksys 802.11ax 제품으로 쓰고 있었는데 UDM Pro에 UniFi Controller가 통합되어 있어 이번에 나온 WiFi 6 (802.11ax) 지원 AP도 구입해봤습니다. 빨리 와서 셋업 해보고 싶네요. :)

이 회사를 처음 알게 되었을 때가 2016년 말쯤이었는데 저 때 EdgeRouter 장비를 사며 덕질을 할 게 아니라 주식을 샀어야 했습니다. (...)