Kısa Kısa NSX-T Datacenter Tasarım, Kurulum, Ortamın Hazırlanması

Öncelikle bu makaleyi okurken eğer takıldığınız bişey olur ise bir önceki makaleye bir göz atmanızı tavsiye ederim.

Bu makalenin sonunda NSX-T için gerekli olan ortamı hazırlamış ve bir sonraki adıma geçmek için yani T0 Router, T1 Router, Provider ile BGP, Distributed veya Edge FW, Load Balancer , Logical Switch , PKS , vCD testlerine hazır hale geleceksiniz.

Hemen başlayalım ….

Fiziksel alt yapıdan başlarsak, “underlay” bağımsız sadece çalışır ip bağlantısı ve doğru mtu değerleri ile (ki yanlış MTU değerlerindede çalışıyor 😀 ) hatta başka bir SDN yapısı üzerine bile NSX-T kurulup çalıştırabilirsiniz.

Underlay olarak dizayn bağımsız bir şekilde en son networkcülerin hayali Layer 3 (Leaf and Spine) veya eski yöntemlerle Layer 2 tabanlı MLAG veya Cisco ACI üzerinde bile koşabilir. Okumak isterseniz Layer 2/3 ve NSX on Cisco ACI dökümanına ilgili linklerden ulaşabilirsiniz.

Sanal alt yapında devam edersek, Management Cluster, Shared/Non-Shared Edge Cluster ve Compute Clusterlardan bahsedebiliriz, bunları biraz daha açtığımızda ….

Management Cluster derken vCenter , NSX Manager, vCloud Director, vRealize Operations, OpenStack gibi CMP bileşenleri içersinde barındıran bir yapıyı.

Edge Cluster derken, daha çok kuzey ve güney trafiğini etkileyen firewall, load balancer gibi servisler ve external routing gerekisinimlerini destekleyen yükleri barındıran bir yapıyı.

Compute Cluster derken, daha çok web,app,database ve diğer iş yüklerini barından bir yapıdan bahsediyoruz.

NSX-T bazında belli başlı bileşenlere baktığımızda ;

NSX-T Manager : Merkezi yönetim, sorgulama, API erişimleri, flow analizi, istatistik ve trace işlemleri bu bileşende toplanıyor.

NSX-T Controller : Üzerinden veri geçmeyen, multicast free overlay network yaratmak için üzerinde MAC / TEP-veya-vTEP / ARP ve dağıtık routing bilgilerini içeren bileşen. Yedeklilik için üç adet kullanılan dağıtık bir K/V store (Apache ZooKeeper).

NSX-T Edge Node : Üzerinde Service Router (SR) dediğimiz merkezileştiremeyeceğimiz (NAT, DHCP, Metatadata, Edge Firewall, Load Balancer) servislerin koştuğu , haliyle tüm kuzey güney trafiğini yöneten instance’larını üzerinde barındıran konteynerler.

Not: NSX-T Edge Node konusu başlı başına bir konu, kendisini tamamen yalın bir şekilde anlatmak ve örneklemek gerekli.

NSX-T bileşenlerini yerleştireceğimiz lokasyona göre sanal alt yapıda dizayn farklılıkları oluşuyor.

  • Management , Edge ve Compute clusterlarını ayırmak. Bu yerine göre her birine bakan ayrı vCenter ve ESXi sunucular olabileceği gibi bir vCenter üzerinde üç farklı Cluster ve ESXi sunucular anlamına gelebilir. Bu en rahat dizaynlardan biri tamamen birbirinden izole üç adacık yaratmış oluyorsunuz. NSX-T bileşenlerinin yedeklilik ve yüksek erişebilirlik için özellikle NSX-T Controllerların farkı ESXi sunucularda çalıştığına emin olun ve kaynak rezervasyonlarına dikkat edin. Zengin modu 🙂
  • Management ve Edge Clusterlarını birleştirip buna ek Compute clusterlarınız olabilir. Bu daha az sayıda ESXi sunucu ve cluster ile uğraşmak için tercih edilebilir. NSX-T bileşenlerinin yedeklilik ve yüksek erişebilirlik için özellikle NSX-T Controllerların farkı ESXi sunucularda çalıştığına emin olun ve kaynak rezervasyonlarına dikkat edin. Tutumlu modu 🙂
  • Dökümanlarda kabin dizaynları çokça olduğundan kuzey ve güney trafiği için trafik illa bir diğer kabindeki Edge Cluster’a gidip oradan dışarı çıkmasın diye bu yolu optimize edebilmek için Compute ve Edge Cluster’ı birleştiği , Management Cluster’ın tek kaldığı bir dizayn.
  • Ve tek bir cluster içersinde hem Management hem Edge hemde compute iş yüklerini barındırabileceğiniz dördüncü dizayn.

Fiziksel ve Sanal Network Kartı , Switch ve Network Gereksinimleri

Klasik olarak ihtiyacımız olan şeyler, management, vMotion, FT(opsiyonel), vSAN(opsiyonel) trafikleri buna overlay trafiği ve edge için (2) gerekli networkleride ekleyince yaklaşık 7 ayrı network’e ihtiyacımız var. NSX-V’de tüm bu trafikleri vDS üzerinden geçirebiliyorduk. NSX-T ile beraber artık overlay için GENEVE protokolü kullanılıyor ve artık yeni bir virtual switch olan N-VDS olması gerekiyor.

N-VDS üzerindende ilgili yukarıda belirttiğim tüm trafikleri geçirebiliyoruz, aynı zamanda desteklenen dizaynlar arasında vSS/vDS kullanımıda mevcut.

Aşağıda sırası ile N-VDS ve N-VDS + vSS/vDS kullanımları mevcut.

İlk resimde iki port’lu bir sunucu örneği var ki günümüzde 25 ve 50 Gbit network kartı seçimlerini yaptığımızıda NIOC ile bu farklı network tiplerini çok güzel konsolide edebiliriz.

İkinci resimde ise 4 port’lu bir sunucu örneği var, burada iki port’u bilindik yükleri ve VLAN tabanlı Transport Zone’ları vSS/vDS üzerinde, overlay networkünü ise diğer iki port üzerinde N-VDS ile taşıyoruz.

NSX-T Ortamını Kurmak ve Ayağa Kaldırmak İçin Takip Edilecek Sıralama

NSX-T artık vCenter’dan bağımsız kendisinin ayrı bir varlık yönetimi var. Haliyle iletişimde olacağı tüm varlıkların kendisine kayıt edilmesi gerekiyor. Diyelim bir KVM node’u üzerinde N-VDS mi koşturacaksınız, ilgili node’u kayıt ediyorsunuz, aynı şey vSphere ve vCenter içinde geçerli keza NSX-T Controller’ları bile kurulumundan sonra kayıt etmeniz gerekiyor. Bu sayede gerekli NSX bileşenlerini, Edge VM’leri NSX Manager üzerinden kurup, konfigre edip, yönetebiliyorsunuz.

Aşağıda en hızlı kurulum yapabileceğiniz şekilde bir sıralama ve ilgili dökümantasyonlarını paylaşlatım. Otomatik kurulumların yanında el tutan daha yavaş olan manuel kurulumlarıda birinide belirtmeye çalıştım ki arka tarafta aslında neler oluyoru görebilelim diye.

Ortamımda toplam beş adet sunucu her biri tek soket 32 ile 64 gb ram arası (her seferinde Nested ESXi olayına bakıcam diyorum ama işte …), makineler üzerinde diskler (paylaşımlı bir disk ortamı yok), her bir sunucu 4 adet 1 Gbit’lik ethernet kartlarına sahip, iki ethernet kartı vSS/vDS , diğer ikisi ise N-VDS için kullanacak şekilde ayarlanmış durumda. N-VDS üzerinde sadece overlay network’ü koşacak, vSS/vDS üzerinde diğer VMware kemikleşmiş servisleri ve T0 Router’ın dış dünya yedekli eBGP konfigürasyonu için iki adet VLAN tabanlı Transport Zone geçiyor olacak.

NSX-T ortamı için gerekli bileşen ve kaynak gereksinimleri orta düzey bir kurulum için aşağıda görebilirsiniz. Sırasıyla vCenter, NSX Manager, 3 Controller ve 2 Edge Node.

Başlayalım ….

  • NSX-T Manager Kurulumu
    • Kurulum adımlarını buradan takip edebilirsiniz.
    • Kurulumda göreceksiniz 2.3.1 versiyonu kuruldu, ben bu makaleyi yazmaya başladığımda 2.4.x versionu çıkmıştı fakat upgrade denemesi yapmak için bu şekilde ilerlemek istedim.
  • NSX-T Manager’a “Compute Managers” Tanıtılması
    • Aslında NSX-T Manager’i kurduktan sonra ilk yapmamız gereken NSX-T Controller’ları tanıtmak gibi duruyor fakat biz bu işi GUI üzerinden rahatça yapabilmek için öncelikle elimizdeki Compute, Edge ve Management vCenter’larını NSX-T Manager’a kayıt ediyoruz.
    • vCenter’ı kayıt etme adımlarını buradan takip edebilirisiniz.
  • NSX-T Manager Controller Kurulması
    • NSX-T Manager aracılığı ile hızlıca kurmak için buradan.
      • Manuel kurulumda olduğu gibi ayrı ayrı üç tane OVF kurup her birini NSX-T Manager’a Join edip daha sonra Zookeeper clusterını başlatma işlemlerini direkt yapabileceğiz.
    • OVF template ile manuel kurmak için buradan takip edebilirsiniz.
    • NSX-T 2.4 ile beraber NSX-T Manager ile Controller birleştirildi.
  • TEP IP Pool , Overlay Transport Zone , Uplink Profile Oluşturulması
    • Eğer yanlışım yok ise artık NSX-T ile beraber vTEP değil ,TEP diyoruz bizim overlay endpoint’lere. Bu endpoint’lere vereceğimiz ip adreslerini istersek DHCP istersek elle dağıtabiliyoruz bunu için bir IP Havuz tanımı yapacağız.
    • NSX-T ile beraber soyutlamanın üst düzeye çıktığını ver her bir yeni versionda bunun daha çok hissedeceğimizi artık herseyi lego paçası gibi yerine koyarak hızlı bir şekilde ortamları konfigre edebileceğimizi daha önce belirtmiştim işte Uplink Profile bunlardan biri.
    • Uplink Profile bizim için N-VDS’in fiziksel dünyaya nasıl bağlanacağını belirten bir şablon olarak karşımıza çıkıyor.
    • Neden hızlı çünkü NSX-T ile beraber daha önceden hazırlanmış Profile’lar mevcut ve değiştirmeye bile gerek kalmadan veya yeni yarattığınız şablonları uygulayabilirsiniz, örneğin ben iki adet ethernetimi overlay için ayıracağımı söylemiştim, “nsx-default-uplink-hostswitch-profile” harika, Teaming Policy olarak Failover mode’da (yani birinci ethernet aktif diğeri ise ona bişey olur ise devreye girecek), MTU 1600 ayarlı ve Transport VLAN 0 yani unttaged olarak ayarlı ki ethernet port’larım fiziksel switch’lerde access olarak ayarlı idi zaten Link Aggregartion’da yapmayacaktım, bana sadece bu profile’ı seçip kullanmam dışında birşey kalmıyor.
    • Transport Zone ise oluşturulmuş Logical Switch’lerin etki alanını belirliyor, Transport Zone’a üye olan vSphere veya KVM node’lar üzerindeki sanal sunucular bu ilgili Logical Switch’lere bağlanabiliyor olacaklar.
    • Transport Zone (TZ) yaratırken aynı zamanda TZ’e üye olacak veya atanacak vSphere veya KVM node’ların üzerinde yaratılacak N-VDS adını ve DPDK isteyip istemediğimizi (Standard veya Enchanced Datapath-DPDK-) ve ne tip trafik için ilgili TZ’i kullanacağımızı (Overlay veya VLAN) belirtiyor olacağız.
    • Tüm anlattıklarım için birkaç örneğe buradan erişebilirsiniz.
  • vSphere Host’ların NSX-T İçin Hazırlanması
    • Evet, herşeyi yaptık artık sadece ve sadece bunları uyarlamak kalıyor bize.
    • Daha önceki test kurulumumda elle ilgili vib’leri kurmuştum, bunun için buradan bakabilirsiniz.
  • Edge Node ve Edge Cluster Yaratılması
    • T0 Router yaratmadan önce elimizde bir Edge Cluster’ın hazır olması gerekiyor. Edge Cluster’da aslında mantıksal bir klasör içersinde Edge Node’ları içeriyor.
    • Edge Node’lar NSX-V’deki ESG’den farklı, evet ESG gibi ilgili servisleri sağlıyor fakat burada daha çok birer boş konteyner gibi ihtiyaç olan servis’lere göre çeşitli T1 ve T0 SR instance’ları koşuyor üzerinde. Bakınız Resim 1
    • T1 ve T0 SR instance olarak gelmesinin, Edge ve Edge Cluster şeklinde bir yapının olmasının şöyle bir güzelliği var, isterseniz sadece LB işin yapacak bir Edge Cluster , Sadece Edge FW olarak çalışacak bir cluster yaratabilir veya bir veya daha fazla cluster’da birçok T1 ve T0 SR instance koşturmanızı ve konsolide etmenize yarıyor. Bakınız Resim 2 ve Resim 3
    • Edge Node’lar içersinde N-VDS varsayılı olarak geliyor, aynı zamanda DPDK’da varsayılı olarak geliyor ki performans konusunda sıkıntı yaşanmasın.
    • Edge Node kurmadan önce elinizde iki adet VLAN Transport Zone olmalı veya havasız şekli ile iki ayrı vlan, aslında bunları NSX-T Edge’in dış dünyaya yedekli bir şekilde bağlantısı anlamına geliyor, bunu şöyle düşünebilirsiniz elinizde bir FW var, bir in bir out port’u var, out portundan iki ayrı router’a iki farklı network’den eBGP bağlantısı yapmışınız gibi biri gider ise diğerinden yola devam şeklinde.
    • Edge Node kurulumunda eğer sanal ise dört adet vNIC’e çıkacak karşımıza biri konfigürasyon için Management network’ü, diğer ikisi yukarıda anlattığım VLAN Transport Zone ve Overlay network’e bağlanabilmesi için ilgili Overlay Transport Zone’a bağlanacak. Eğer olur ya tek bir VLAN Transport Zone kullanmak isterseniz bu durumda ilgili vNIC disable etmeniz öneriliyor.
    • Edge Node iki tipte geliyor, biri VM diğer ise BareMetal. BM > 10 Gbit üstü trafikler ve BGP fast convergence için öneriliyor.
    • Edge Node kurulumlarını bitirdikten sonra bunlarıda TN’a çevirmeniz gerekiyor.
    • Son olarak Edge Node ve Edge Cluster oluşturulması için buradan devam edebilirsiniz.

Evet, şimdik hazırız üzerinde oynamaya ….

Güncelleme 12/06/2019 – NSX-T 2.4 ile beraber artık ayrı bir NSX-T Manager olmasına gerek kalmadı, controller ile manager tek bir form’da birleşti.

Advertisements

Posted on 30/04/2019, in NSX-T and tagged , , , , , , , , , , , , , , , , , . Bookmark the permalink. Leave a comment.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s

%d bloggers like this: