Category Archives: VMware

vcsa 6.5 installer error – There is no ovftool :)

When tried to install vcsa 6.5 from my mac , i got an error like below , i guess each time install everybody will be faced with it

Copy “vcsa” folder inside the iso to related folder in the installer log ūüôā

/private/var/folders/sl/dfqvsnj548g7wsq94wrmn3tm0000gn/T/AppTranslocation/

Then get back and click next again , also in vcsa folder you will see the vcsa.ova file too !

VM

Parted util failed with message: Error: The primary GPT table states that the backup GPT is located beyond the end of disk

Bu hatayi ilk kez vSphere 6.5 ile VSAN testi yapmak istedigimde daha onceden tanimli olan bir RAID0 konfigrasyonunu sifirladigimda karsilastim.

Haliyle akla gelen LiveCD ile acmak , Hiren’s.BootCD kullanmak veya daha otesi Windows makineye diskleri baglayip diskleri sifirlamak gibi seyler …

Daha enteresan olan ise vmware’in vSAN kurulumlarinda ilgili diskleri sisteme ekleme durumlarinda problemle karsilasildiginda (uzerinde partition var ise) onedigi partedUtil

Ne yalan soyliyim daha once kurulum sirasinda Alt+F1 ile konsola dusup hic default username/password ne diye aklima gelememisti, kendileri root ve enter ile bos gecin oluyorlar.

Sonrasi daha guzel diskler nerede ?

ls /vmfs/devices/disks/

Diskleri naa.xxxxxx.xxxxx , partitionlari :1  , :2 olarak goreceksiniz.

partedUtil ile yapilan fix , delete gibi gereksiz denemeler hic bir ise yaramdi , hep silmeye konsantre oldugumdan uzerine yazabilecegim aklima bile gelmemisti. Ilgili diski kullanarak bir msdos partition yaratalim.

partedUtil setptbl /vmfs/devices/disks/naa.600508b1001ce940a7831ba05a5475d3 msdos

Simdi tekrar ls cekin ve partitionlar nasil gitmis gorun

Gerekli diger disklerdeki problemleri giderdikten sonra Alt+F2 ile yola devam ..

VM

VisorFSObj: 1954: Cannot create file /var/lib/vmware/hostd/journal/1462853708.8163 for process hostd-worker because the inode table of its ramdisk (root) is full.

Problem : No vMotion , No possibility to start VM

in vmware.log on ESXi host is like below

VisorFSObj: 1954: Cannot create file /var/lib/vmware/hostd/journal/1462853708.8163 for process hostd-worker because the inode table of its ramdisk (root) is full.

All articles talking about snmpd but snmpd was not working for us but inodes table is still full .

Command to see inode usage is : esxcli system visorfs ramdisk list

To Solve the problem ;

You can use any way to handle it until find out this article but better solution is try to stop unused services like if its HP you can stop some of it like ams or stop CIM services , vm or something like that to free up inodes and then try to move vms on that server to go !

I know its not good solution but this is the last thing we can do to solve the problem before find better solution ūüėČ

VM

What will happen undeletable/unused vVOLs when you kick the ass of IBM Spectrum Control

Hello All

Actually all of them are my fault , sure %100

For to do a test vVOLs on IBM XIV IBM Spectrum Control installed , XIV added to it and related configurations done by it.

I dont know how but i made some mistakes about Service creation via IBM Spectrum Control and also after all test over destroyed all vCenter environment without clear something on IBM Spectrum Control and XIV but i know that i will be back (Terminator)

When i back and try to remove group pool from new installed IBM Spectrum Control, i faced an issue like below !

Screen Shot 2016-01-15 at 09.46.28

After long conversation with IBM support also find out another effect like in this link

To solve the problem the way is ;

First list the volumes from XIV (under root domain or new created domain)

vol_list managed=yes

Then delete such volumes in the error or you can delete whole vols which belong to same group pool if you will delete the group pool later

After all this i believe the instruction in link can be fallow but also another way

Login to IBM Spectrum Control , actually i restarted service of IBM Spectrum Control but i guess its no mandatory but like how Obi-Wan you should learn patience 

Then from IBM Spectrum Control remove the group pool

VM

NSX 6.2 Kurulumu

Baslamadan once ;

  • Bir vCenter Server a sadece bir adet NSX Manager tanitilabilir (1:1)
  • Her bir ESXi host icin bir adet Guest Introspection olabilir (DLP, Activity Monitoring ve diger 3th party servisler icin )
  • Datacenter basina birden fazla NSX Edge olabilir (ESXi host basi max 250)
  • Eger ortaminizdaki her bir bileseni (vCenter,ESXi Host,PSC) FQDN kullanarak kurduysaniz reverse name cozumlemesine dikkat
  • NTP ayarlarina dikkat
  • NSX Manager ile ESX host , vCenter Server ve kurulacak diger NSX cihazlarin 443 uzerinden haberlesebildiklerini dogrulayin.
  • Port gereksinimleri icin ilgili adresi kontrol edin http://pubs.vmware.com/NSX-62/index.jsp?topic=%2Fcom.vmware.nsx.install.doc%2FGUID-E7C4E61C-1F36-457C-ACC5-EAF955C46E8B.html
  • Kurulum sirasinda ve erisimlerde kullanacaginiz vCenter Server kullanicisinin yeni sanal makine yaratma ve calistirabilme , datastore a erisme ve kopyalam haklarinin olmasi lazim
  • IPv4 ve/veya IP6 mi kullanicaksiniz onun kararini verin

Bu makelede kullanilacak bazi terimler ve aciklamalar ;

NSX Domain : NSX etki alani, Microsoft AD gibi , NSX Domain diyince aklimiza register oldugu vCenter Server , NSX Manager , NSX Controller ve hypervisor lar uzerinde kosan NSX vSwitch lerin tamami gelmeli.

NSX vSwitch : vSphere distributed switch (vDS) , distributed firewall ,  router ve logical switch aklimiza gelmeli. Hypervisor da kosan bir yazilim, amaci fiziksel dunya ile sanal dunya arasinda bir gecis noktasi veya bir ayrim noktasi yaratabilmek.

ToR : Top-of-rack , Veri merkezlerinde her bir sunucu kabininin uzerine koyulan L2 ve L2/L3 destegi saglayan bildigimiz fiziksel switchler.

Donanim Gereksinimi ;

Screen Shot 2015-10-16 at 17.40.40

256 Hypervisor uzeri 8vCPU ve 24 GB Ram oneriliyor , eger daha fazla hypervisor desteklenecek ise VMware Support a erismeniz oneriliyor ūüôā

Yazilim Gereksinimi ;

Screen Shot 2015-10-16 at 17.43.21

Benim kurulumumda ESXi version 6.0 update 1 , VCSA 6.0 update 1 , NSX 6.2 kullanildi.

Universal Logical Switch, DLR ve Firewall testleri icin daha oncesinden cross-vCenter NSX icin gerekli olan asagidaki yapi hali hazirda kurulmustur

Cross vCenter vMotion

Yukardaki yapiyi aciklamak gerekir ise ;

  • Uc adet cluster var (Mng&Edge , Compute Cluster A ve Compute Cluster C)
  • Her cluster da iki adet fiziksel node
  • Her node da iki adet 10 Gbit lik ethernet arabirimi
  • Her bir cluster da bir adet vDS , ilgili fiziksel node lar bu vDS e eklenmis ve ikiser 10 Gbit lik ethernet arabirimleri Uplink portlari olarak eklenmistir
  • Yapi uzerinde hicbir vSS mevcut degil , vSphere kurulum asamasinda yaratilan yonetim vSS switch vDS e migrate edilmistir ve yonetim vmkernel portu ilgili vDS altindaki ilgili portgroup altina tasinmistir (Bu adim icin bir zorunlulugunuz yok)
  • Ilgili tum trafik tipleri icin farkli distributed port grouplar yaratilmistir (Management,vMotion,Internet Access)
  • Izolasyon saglamak icin tum trafik tipleri icin farkli VLAN lar set edilmistir
  • Uplink Portlari Trunk olarak ayarlanmistir
  • Henuz VTEP/VXLAN icin bir ayarlama yapilmamsitir, kurulum sirasinda islemler otomatik olarak yapilacaktir

Asagidak Clusterlarin vDS , port group ve Uplink gorunumleri mevcut

Screen Shot 2015-10-19 at 11.53.11

Komut satirindan bu islemleri gormek icin ;

Var olan vDS leri ve port group lari gormek icin –>

[root@compute1:~] esxcli network vswitch dvs vmware list
IST-COMPUTE-DS
Name: IST-COMPUTE-DS
VDS ID: 23 a4 15 50 8d c7 47 58-07 e5 a8 b5 aa a1 58 e4
Class: etherswitch
Num Ports: 2222
Used Ports: 7
Configured Ports: 512
MTU: 9000
CDP Status: listen
Beacon Timeout: -1
Uplinks: vmnic1, vmnic0
VMware Branded: true
DVPort:
Client: vmnic0
DVPortgroup ID: dvportgroup-79
In Use: true
Port ID: 16

Client: vmnic1
DVPortgroup ID: dvportgroup-79
In Use: true
Port ID: 17

Client: vmk0
DVPortgroup ID: dvportgroup-80
In Use: true
Port ID: 0

Client: vmk1
DVPortgroup ID: dvportgroup-81
In Use: true
Port ID: 13

NSX Kurulumu Icin Izleyecegimiz Islem Sirasi

Screen Shot 2015-10-19 at 13.41.57

Once NSX Manager i kuracagiz , bunu yapmadan once NSX Manager in tum ESXi node larin yonetim arabirimlerinden erisilebilir oldugunu dogrulayin. Ardindan NSX Manager i vCenter Server a link leyecegiz ki NSX Controller lari yukleyebilelim. NSX Controller larda NSX Manager gibi sanal makineler uzerinde kosacak. Daha sonra vSwitch e ek bilesenleri yukleyerekten dagitik swithing , routing ve firewalling ozelliklerini aktive edecegiz. Ardindan yeni VLAN araligimizi ki buna su andan itibaren Virtual Network Interface (VNI) diyecegiz , transparent zone ayarlarini yapip NSX platformunu test edebiliyor olacagiz. Ek olarak cross-vCenter NSX kurulumunuda bundan sonraki makalede anlatilacak.

NSX Manager

NSX Manager bize yapiyi merkezi olarak yonetmek icin bir arayuz, islemleri otomatize edebilmek icin REST API ve ek olarak NSX bilesenlerinin monitor edebilmemizi saglar. VMware tarafindan bir OVF sablon olarak gelir, ek bir uygulama kurulumuna ihtiyac duymaz.

NSX Manager in kurulacagi yer HA & DRS in aktif oldugu bir ESXi Cluster olacak, genelde onerilen workload lari olusturacak cluster in disinda bir cluster a yuklenmesi ve uygulama bazinda HA saglayacak bir yapisi yok.

NSX Manager sanal makinesi uzerinde VMware Tools kurulu olarak gelecektir, diger VM ler uzerine kurulan VMware Tools aksine NSX Manager sanal makinesine ait VMware Tools u upgrade etmeye , kaldirmaya veya yeniden kurmayi denemeyin.

Kuruluma Baslayalim

Oncelike NSX for vSphere 6.2.0 ova dosyasini indirin

Screen Shot 2015-09-12 at 22.18.17

Kurulumu “Edge_Cluster” uzerine yapiyorum

Screen Shot 2015-10-19 at 17.36.04

Download ettiginiz ova dosyasini gosterin

Screen Shot 2015-10-19 at 17.36.46

“Accept extra configuration options” secip Next

Screen Shot 2015-10-19 at 17.38.02

Accept

Screen Shot 2015-10-19 at 17.38.13

NSX Manager in kurulacagi “Datacenter” secildi

Screen Shot 2015-10-19 at 17.38.36

Ilgili DataStore u seciyorum kurulum icin, ek olarak “Thin” diye guncelledim yer sikintintisi olabilir diye

Screen Shot 2015-10-19 at 17.42.15

NSX Manager in kullanacagi network un port grubunu secin

Screen Shot 2015-10-19 at 17.42.45

Sirayla once NSX Manager in CLI ve GUI admin ve Privilege Mode sifre bilgilerini set edin

Screen Shot 2015-10-19 at 17.47.38

Simdi NSX Manager sanal makinesin bir hostname ve ip adresini verelim

Screen Shot 2015-10-19 at 17.51.27

DNS ve NTP ayarlari ek olarak bu sanal makineye SSH ile erismek istiyor ise ki isteyecegiz ūüôā ilgili kutucugu dolduralim

Screen Shot 2015-10-19 at 17.52.08

Herseyin ozeti, kisa bir kontrol

Screen Shot 2015-10-19 at 17.52.33

Kurulum basladi ve bitti ūüôā

Screen Shot 2015-10-19 at 18.18.31

NSX Manager a login olup “show interface” ve “ping” ile test edelim

Screen Shot 2015-10-19 at 18.20.38

Web uzerinden eriselim , login olup “View Summary” dugmesine tiklayin

Screen Shot 2015-10-19 at 18.23.24

vPostgres, RabbitMQ and NSX Manager Servislerin calismasi gerekiyor

Screen Shot 2015-10-19 at 18.29.18

Simdi NSX Manager i vCenter Server ile iliskilendirelim ;

Daha onceden NSX Manager in tek bir vCenter Server ile iliskilendirilebilecegini belirtmistim. Ilgili islemi yapmak icin elimizde “administrator” role une sahip bir kullaniciya ihtiyac olacak ve bu kullanicinin sadece ASCII karakterlerden olusan bir sifresinin olmasi gerekecek.

Burada enteresan bir not dusmek istiyorum, diyelim vCenter Server 1 ile NSX Manager 1 iliskilendirildi , oldu ya arkasindan NSX Manager 2 yine ayni vCenter Server 1 ile iliskilendirdi bu durumda vCenter Server 1 -> NSX Manager 1 kaldirip iliskisini NSX Manager 2 ile kurar fakat NSX Manager 1 e login oldugunuzda hala vCenter Server 1 ile iliskili oldugunu gorecektir.

Bunu yapmadan once NSX imizi syslog server a tanitalim.¬†NSX Manager arayuzune login olup “Manage Appliance Settings” e basin

Screen Shot 2015-10-20 at 10.20.22

Ardindan Syslog Server kismini “Edit” leyip asagidaki degerleri set edebiliriz

Screen Shot 2015-10-20 at 10.20.08

Gerekli syslog bilgilerini girin lutfen

Screen Shot 2015-10-20 at 10.19.44

Simdi vCenter Server a kayit olalim¬†“Manage vCenter Registeration” kismini tiklayin

Screen Shot 2015-10-20 at 10.35.02

vCenter Server kismini “Edit” leyelim

Screen Shot 2015-10-20 at 10.35.41

vCenter bilgilerini verelim , bir kez daha dikkat “admin” role une sahip bir kullanici kullanmayi unutmayin

Screen Shot 2015-10-20 at 10.39.24

Sertifika Sertifika Sertifika

Screen Shot 2015-10-20 at 10.39.34

Sync oldugunu gorelim ve vCenter Server i kontrol edelim

Screen Shot 2015-10-20 at 10.40.22

Eger halihazirda vCenter Web Client uzerinden login durumdaysaniz¬†lutfen cikip tekrar girin , Networking & Security ikonunu goruyorsaniz problem yok ūüôā devam

Screen Shot 2015-10-20 at 10.48.35

Isterseniz¬†“Lookup Service” ini¬†de ayarlayabilirsiniz, aslinda zorunlu bir adim degil direkt gecebiliresiniz. vSphere 5.1 ile beraber vCenter Single Sign On (SSO) servisi tanitildi, bu servis sayesinde VMware vSphere yazilimlarinin aralarinda bir token bircok bilesen icin ayri ayri kullanici dogrulama yapmadan daha guvenli ve hizli¬†bir sekilde iletisime gecemleri saglandi. Bunla beraber NSX Manager i¬†“Lookup Service” ile entegre ettiginizde AD , NIS , LDAP tabanli vCenter kullanilarininda NSX tarafindan dogrulanabilmesini saglarsiniz.

Lisans konusunda su andaki kurulumda deneme lisansi kullaniliyor, normalde yukardaki islemden sonra NSX lisansini eklemelisiniz.

NSX Controller Kurulumu

NSX Controller kurulumuna gecemeden once bir iki konu var ;

  • NSX Controller lar tum “control plane” dedigimiz yapiyi tutmak icin¬†Apache ZooKeeper adli yazilim kullaniyor,¬†sistem dagitik ve hizli bir disk yapisinda kosmasi gerekiyor
  • NSX Controller lari kurarken veya oncesinde Controller larin olacagi network den ip verebilmek icin IP Pool yaratabilirsiniz
  • Ilk Controller kurulumunda bize kullanici bilgileri sorulacak , bu kullanici bilgisi controller a login olabilimek icin kullanacagiz, bir sonraki controller kurulumlarinda ayni kullanici adi ve sifre kullanilacak
  • Controller lara verilen isimlendirme otomatik yapilmaktadir , mudahale edemesiniz ve/veya siralamyi degtiremezdiniz. Mesela controller-1,¬†controller-2,¬†controller-3 diye kurulum yaptiniz daha sonra¬†¬†controller-1 i sildiniz bir tane daha yaratmak istediniz yeni isimlendirme¬†¬†controller-4 olacaktir,¬†¬†controller-1 ismi asla geri gelmeyecek

Evet baslayalim , “Networking & Security” tab indan “Installation” sekmesini tiklayin

Screen Shot 2015-10-20 at 18.31.06

NSX Controller in bagli olacagi NSX Manager , Datacenter , uzerinde kosacagi cluster , ilgili controller sanal sunucusunun vNIC inin bagli olacagi port group

Screen Shot 2015-10-20 at 18.38.41

Daha onceden belirtmistim , controller sanal makineler atanacak ip adres araligi

Screen Shot 2015-10-20 at 18.48.33

Yarattiginiz IP Pool u secin

Screen Shot 2015-10-20 at 18.49.27

Sadece ilk controller kurulumunda size sorulacak olan ssh sifre bilgisini girin

Screen Shot 2015-10-20 at 18.49.43

Kurulum baslasin

Screen Shot 2015-10-20 at 18.50.31

Kurulumu bitsin ve bir kontrol yapalim

Screen Shot 2015-10-20 at 18.59.00

SSH ile ilk controller node a baglanip “show control-cluster status” komutunu calistirin, tum rollerin aktif olduguna ve Join ve Majority durumlarinin “join complete” ve “cluster majority e connected” oldugunu gorun.

 

Linux nsx-controller 3.2.39-server-nn23 #1 SMP Mon Sep 23 16:01:54 PDT 2013 x86_64

VMware NSX Controller 4.0.6 (Build 44780)

nsx-controller # show control-cluster status

Type                Status                                       Since

——————————————————————————–

Join status:        Join complete                                10/20 18:51:31

Majority status:    Connected to cluster majority                10/20 18:51:16

Restart status:     This controller can be safely restarted      10/20 18:51:27

Cluster ID:         44ebde67-67a7-450e-948a-9c30289bb2c9

Node UUID:          44ebde67-67a7-450e-948a-9c30289bb2c9

Role                Configured status   Active status

——————————————————————————–

api_provider        enabled             activated

persistence_server  enabled             activated

switch_manager      enabled             activated

logical_manager     enabled             activated

directory_server    enabled             activated

Ardindan “show control-cluster roles” komutunu calistirin , ilk kurdugumuz controller node haliyle tum role lerin sahibi

nsx-controller # show control-cluster roles

Listen-IP  Master?    Last-Changed  Count

api_provider         Not configured      Yes  10/20 18:51:31      2

persistence_server              N/A      Yes  10/20 18:51:31      1

switch_manager            127.0.0.1      Yes  10/20 18:51:31      2

logical_manager                 N/A      Yes  10/20 18:51:31      2

directory_server                N/A      Yes  10/20 18:51:31      2

Simdi yukarda yaptigimiz islemi tekrarlayip controller-2 ve controller-3 u kuralim daha sonra asagidaki komutlari calistirip kontrol edelim

nsx-controller # show control-cluster startup-nodes

10.111.34.210, 10.111.34.211, 10.111.34.212

Uc controller da sistemde gozukuyor

nsx-controller # show control-cluster connections

role                port            listening open conns

——————————————————–

api_provider        api/443         Y         6

——————————————————–

persistence_server  server/2878     Y         2

client/2888     Y         0

election/3888   Y         0

——————————————————–

switch_manager      ovsmgmt/6632    Y         0

openflow/6633   Y         0

——————————————————–

system              cluster/7777    Y         0

Controller cluster node lari arasindaki kominikasyonu yukardaki komut ile gorebilirsiniz. Ufak bir anektot “persistence_server¬† server/2878 ¬† ¬† Y ¬† ¬† ¬† ¬† 2″ ¬† ¬†Y degerini gordugunuz cluster node u -cluster majority leader- olanidir.

Birde cluster node unun history sini gormek guzel birsey , ne zaman up oldu cluster a katildi katilmadi , role durumlari hepsini adim adim gosteriyor.

nsx-controller # show control-cluster history 

===================================

Host nsx-controller

Node b77e5677-83f6-4407-a8f4-e84dfa1e0263 (10.111.34.211, nicira-nvp-controller.4.0.6.44780)

  10/21 08:34:42: Node started for the first time

  10/21 08:34:46: Joining cluster via node 10.111.34.210

  10/21 08:34:46: Waiting to join cluster

  10/21 08:34:46: Role api_provider configured

  10/21 08:34:46: Role directory_server configured

  10/21 08:34:46: Role switch_manager configured

  10/21 08:34:46: Role logical_manager configured

  10/21 08:34:46: Role persistence_server configured

  10/21 08:34:47: Joined cluster; initializing local components

  10/21 08:34:47: Disconnected from cluster majority

  10/21 08:34:47: Connected to cluster majority

  10/21 08:34:47: Initializing data contact with cluster

  10/21 08:34:48: Interrupted connection to cluster majority

  10/21 08:34:56: Fetching initial configuration data

  10/21 08:34:58: Connected to cluster majority

  10/21 08:34:58: Role persistence_server activated

  10/21 08:35:03: Join complete

  10/21 08:35:03: Role api_provider activated

  10/21 08:35:03: Role directory_server activated

  10/21 08:35:03: Role logical_manager activated

  10/21 08:35:03: Role switch_manager activated

  10/21 08:38:42: Interrupted connection to cluster majority

  10/21 08:38:52: Connected to cluster majority

Devam etmeden once basit ama controller larin uzerinde kostugu cluster da VM startup/shutdown ayarlarini mutlaka yapin.

NSX platform u sadece logical switch ve routing degil ayni zamanda bize firewall serviside saglayacak fakat kurallari yazarken goruceksiniz kuralin uygulanacagi etki alanlari olacak mesela yazdigimiz kurali tum “datacenter” a belki bir “cluster” a belkide bir “resource group” a bu durumda dikkat etmemiz gereken bir takim onemli sanal makinelere firewall kurallarinin etkimemesini isteyecegiz, kimdir bunlar ;

  • vCenter Server
  • PSC (Eger ayri bir makineye kurulmus ise)
  • SQL Server¬†(Eger Windows tabanli¬†bir makineye kurulmus ise)
  • vCenter Web Server (Eger ayri bir makineye kurulmus ise)
  • Ucuncu parti servislerin kostugu NSX partner sanal makineleri

NSX Manager, NSX Controller ve NSX Edge makineleri otomatik olarak bu korumanin disinda tutulmaktdir.

Dikkat edilmesi gereken husus DFW (Distributed Firewall) vNIC bazinda uygulandigindan eger “Exclude List” e eklediginiz sanal makinelere yeni vNIC eklenmis ise bu durumda ilgili vNIC icin kurallara uygulanmaya baslanacaktir, bu problem gidermek icin asagidaki iki yolu denemelisiniz ;

  • Ilgili sanal makineyi sanal makineyi¬†“Exclude List” den cikartip tekrar eklemek
  • Sanal makineyi “power off” yapip sonra tekrardan “power on” yapmak.

Asagida sirasi ile yapilanlari gorebilirsiniz ;

Screen Shot 2015-10-21 at 09.46.06

Screen Shot 2015-10-21 at 09.54.43

Screen Shot 2015-10-21 at 09.55.18

Screen Shot 2015-10-21 at 10.03.28

Host Cluster i NSX Icin Hazirlamak

Artik sira ESXi node larinda NSX den haberdar olmasina , logical switch (VXLAN Bridging) / routing ve firewall fonksiyonlarini desteklemek icin ilgili modullerin kurulmasina geldi.

Dokumanlarda eger ESX i stateless mode kurduysaniz diye bir ibare var yani eger vCenter Server “Auto Deploy” kullanarak ESXi disk uzerine degil direkt sunucunun memory sine yukluyorsaniz demek oluyor bu durumda ilgili NSX VIB lerini elle daha onceden download edip host imajina eklemelisiniz, bunun icinde NSX Manager a su sorguyu yaparsaniz indirmeniz gereken VIB dosyalarini ilgili ESXi version una gore ilgili linkden bulabilirsiniz.

https://10.111.34.200/bin/vdn/nwfabric.properties

Screen Shot 2015-10-21 at 10.52.40

Biz gerekli ayarlamalari “cluster” bazinda yapacagiz ve bundan sonra her cluster a eklenen ESXi node icin ilgili kernel modul leri otomatik olarak yuklenecek

Hatirlamak acisindan kisa bir checklist yapalim ;

  • vCenter Server ile NSX birbirine bagli
  • Tum yapi FQDN uzerinden kullaniliyor ise reverse IP kontrollerini yapiniz
  • DNS Cozumlemelerini kontrol edin
  • ESXi host lar vCenter a port 80 uzerinden baglanabiliyor olmali
  • NTP ayarlari global olarak tum sistemde ayarli olmali
  • Cluster daki tum ESXi host lar ayni vDS lere baglanmis olmali
  • Eger ortaminizda vSphere Update Manager var ise islem oncesi disable edilmesi gerekiyor (ilginc)
  • Cluster da reboot bekleyen bir node olmamali. Action list de “Resolve” opsiyonu cikmamali

Screen Shot 2015-10-21 at 11.10.46

Kurmaya baslayalim “Networking & Security” -> “Installation” sekmesinden NSX Modul lerini kuracagimiz cluster i secip “Install” diyelim

Screen Shot 2015-10-21 at 11.16.17

Screen Shot 2015-10-21 at 11.16.36

Screen Shot 2015-10-21 at 11.27.30

Ayni sekilde “Compute_Cluster” a da kurulumu yaptiktan sonra simdi ESXi CLI dan birde kontrol edelim

[root@compute1:~] esxcli software vib list | grep vsip

esx-vsip                       6.0.0-0.0.2984108                     VMware  VMwareCertified   2015-10-21

[root@compute1:~] esxcli software vib list | grep vxlan

esx-vxlan                      6.0.0-0.0.2984108                     VMware  VMwareCertified   2015-10-21

Bir dipnot, bu islem host reboot gerektirmemekte ve cluster a yeni eklenen ESXi node lar a otomatik olarak ilgili VIB ler kurulacak.

Eger bir sekilde ESXi node u farkli bir cluster a NSX Manager tarafindan NSX destegi icin iliskilendirilmemis bir cluster a tasirsaniz ilgili VIB ler kaldirilacak ve sunucuyu reboot etmeniz istenecektir eger olurda VIB ler kaldirilmaz ise asagidaki komutu calistirin ve host u reboot edin.

root@compute1:~] esxcli software vib remove –vibname=esx-vxlan

root@compute1:~] esxcli software vib remove –vibname=esx-vsip

VXLAN Kullanimini Aktive Edelim

Simdi sira L2 over L3,  yani logical networkleri yani VNI lari ayarlamaya, VTEP uzerinden Layer 2 logical switching yapmak icin son ayarlamalari yapmaya geldi.

VXLAN ayarlari cluster basina yapiliyor, bir onceki adimda yaptigimiz gibi yine cluster basina NSX bilesenleri kuruluyor ve ayin vDS lerin tum clusterdaki host lar tarafindan kullanabilir olmasi gerekiyor. Zaten ESXi hostlari vDS lere ekleyerek hypervisor i bir logical switch haline getirdik simdide NSX VIB leri ve VXLAN Transport paramterlerini konfigre ederek VXLAN kullanimini baslayacagiz.

Burasi aslinda bir yol ayrimi, sadece distributed firewall kullanmak isteyebilirsiniz eger amaciniz bu ise daha fazla ilerlemenize gerek yok, ama L2 over L3 yapicak isek devam …

Burada birkac onemli konu var devam etmeden once ;

  • NIC teaming policy inizi onceden belirleyin, bir vDS icersinde farkli port grouplar icin farkli teaming policy uygulamayin. Bu trafikte kesintiye ve logical router da routing problemlerine sebebiye verebilir.
  • NIC teaming ayari ayni cluster a uye tum node larda ayni olmali
  • VTEP interface lere vereceginiz IP blogunu belirleyin.
  • VTEP interface ler VLAN destekler yani isterseniz¬†Tagged veya Untagged kullanabilirsiniz
  • ve MTU 1550 veya uzeri olmali , default 1600 olacaktir VTEP interface yaratirken gorecegiz fakat ESXi host un fiziksel portlarin bagli oldugu switch portunun MTU degerleri ve vDS in MTU degerleri yine 1600 ve/veya uzerin olmalidir.
  • Eger VDS MTU degeri VXLAN MTU degerinde dusuk ise otomatik olarak VDS degeri VTEP interface icin set edilmis degere yukseltilecektir
  • Multiple VTEP interface olabilir

VXLAN ayarlamalarini yaparken olasi yanlis vlan set etme , ¬†DHCP problemleri ile ilgili¬†durumlarda kafaniz rahat olsun kolay bir sekilde “unconfigure” edebilir ve/veya problem giderildiginide mesela VTEP Interface ip alamadigini ve vxlan configrasyon’unun hataya dustugunde sadece DHCP den ip alimini duzeltip Web Client uzerinden refresh etmeniz yeterli.

Screen Shot 2015-11-10 at 13.25.05

Simdi ilgili islemleri yapmaya baslayalim ;

VXLAN kolonunuda “Not Configured” link ine tiklayin

Screen Shot 2015-11-10 at 13.06.54

Evet , VXLAN kosacagi VLAN im 865 , MTU 1600 , DHCP den ip aliyorum , Teaming Policy im “Fail Over” ve tek bir VTEP interface kullanacagim

Screen Shot 2015-11-10 at 13.28.55

Bekliyoruz

Screen Shot 2015-11-10 at 13.13.47

Tamamdir

Screen Shot 2015-11-10 at 13.14.38

ESX Host Cli dan bakalim yeni bir vmkernel interface eklenmis olmali

Screen Shot 2015-11-10 at 13.58.18

Bu islem sirasinda otomatik olarak bir distributed port group yaratildi

Screen Shot 2015-11-10 at 14.00.10

Segment ID / Yeni VLAN Araligimizi Belirtelim

Su ana kadar biliyoruz ki klasik fiziksel switch ortaminda 4096 VLAN limitimiz vardi ve VXLAN ile bu limit 16 milyon gibi bir rakam a kavusut. Burada dikkat etmemiz gereken konu 16 M su an vCenter ortami icin gercekci degil ve vCenter basina limitlenmis 10,000 dvPortgroup nedeniyle limitimiz simdilik 10,000 logical network/switch nasil adlandirirsaniz. Ek olarka farkli NSX kurulumlariniz olacak ise ilerde vermis oldugunuz araliklari farkli ortamlarda kullanmamaya calisin , ornegin 7000 ile 7999 araligini kullanmis iseniz bir sonraki NSX kurulumnda 8000 den baslayin.

Logical Network Preparation -> Segment ID -> Edit

Screen Shot 2015-11-10 at 14.11.16

Bol bulduk ….

Burada dikkat ederseniz “Enable Multicast addressing” secili degil , control plane mode umuz “unicast” olacak cunku

Eger control plane mode olarak “multicast” veya “hybrid” olacak ve switchlerinizde IGMP Snooping ayarlanmis ise o zaman¬†multicast ip blogu set etmelsiniz , kullanilmayacak multicast ip blok larinida¬†http://www.ietf.org/proceedings/59/I-D/draft-ietf-mboned-ipv4-mcast-unusable-01.txt adresinden bulabilirsiniz

Screen Shot 2015-11-10 at 14.14.07

Tamamdir …

Screen Shot 2015-11-10 at 14.15.03

Daha sonra goreceksiniz , her bir yaratilan logical switch icin bir adet segment id yi bu havuzdan cekecegiz

Transport Zone 

Transport Zone ayari hangi logical switch lerin (Segment ID lerin , VXLAN larin) hangi ESX hostlar tarafindan erisilebilecegini belirtir. Cluster lara yayilabilir.

Eskilerden ornek vermek gerekir ise , diyelim bir vSphere Cluster ortamimiz var , vDS kullaniliyor, bir sanal makine var clusterdaki ESX01 node u uzerinde ve bu sanal makinenin vNIC i bagli oldugu dvPortgroup 1000 VLAN inda,  vMotion yapicaksiniz , eger ilgili 1000 VLAN i gecis yapacaginiz ESX02 node un bagli oldugu switch portunda tanimli degil ise sanal makine erisilmez olacak , Transport Zone da bunun gibi ilgili Segment ID lerin cluster veya cluster lar arasinda kullanilabilir kiliyor.

Neler olabilir , Neler olamaz ; 

  • NSX ortaminda birden fazla Transport Zone tanimlanabilir
  • Bir cluster birden fazla ¬†Transport Zone a uye olabilir
  • Logical switch sadece tek bir¬†Transport Zone a atanabilir
  • Farkli¬†Transport Zone lardaki VM ler ayni L2 Network unde olamaz
  • DLR farkli¬†Transport Zone lardaki¬†logical switch lere baglanamaz
  • ESG keza ayni

Yani ūüôā

  • Eger L3 connectivity e gerek var ise Edge ve Compute cluster lari ayni¬†Transport Zone da olmali
  • Iki farkli cluster mevcut ve buradaki VM lerin ayni L2 Domain i icersinde olmasi gerekiyor ise clusterlar¬†ayni¬†Transport Zone da olmali
  • Eger organisazyon icersinde erilmemesi gereken, gizlenilmesi gereken logical switch ler olacak ise FARKLI¬†Transport Zone lar yaratilmali
  • vDS ile¬†Transport Zone un uygulandigi aralik ayni olmali

Evet artik yaratalim ;

Logical Network Preparation -> Transport Zone  -> +

Screen Shot 2015-11-10 at 14.39.16

Bir isim ve replication mode u secelim benim icin “Unicast”
Transport Zone hangi cluster lara yayilacak ise onu belirleyelim

Screen Shot 2015-11-10 at 14.47.51

Hepsi bu …. : )

Bundan sonraki makalede bir ornek bir yapi uzerinden devem edecegim …. Artik platform uzerinde oynamaya haziriz …..

VM

Guzel Linkler

https://pubs.vmware.com/NSX-6/index.jsp#com.vmware.nsx.admin.doc/GUID-0748C166-5308-45D8-B98E-C46C5C1DADFC.html

 

 

 

 

 

 

 

 

 

 

 

 

 

Network Sanallastirma ve VMware NSX

SDDC , SDN , NFV ve Overlay Network Kavramlari

Software Defined Data Center (SDDC) : Kisa ve oz olarak bir veri merkezindeki tum altyapinin sanallastirilmasi ve servis olarak satilabilmesidir. Altyapi olarak kasdettigimiz bilesenler , CPU/RAM (Compute/Islem Gucu) , Storage , Networking , Security -Guvenlik- (Firewall,IDS/IPS,DDOS)

Software Defined Networking (SDN) : Gunumuzun ihtiyaci artik herseyi sanallastirmak, merkezi bir noktadan yonetmek , programlayabilmek, gerektiginde ihtiyaca gore buyutebilmek veya azaltabilmek ve bunlari otomize etmek , bunlari yaparkende acik standartlar kullanmak ( OpenFlow keza bu acik standartlardan biridir ) , Multi-Tenancy saglamak , farkli servisleri birbiriyle entegre etmek (Firewall,IDS/IPS,DDOS,LoadBalancer) . Iste bu saydigimiz gereksinimleri “Network” bazina indirgedigimizde SDN bir deyim/yaklasim/framework oluyor.

Network Function Visualization (NFV) : Eger birsey resim ile anlatilabiliyor ise bu kesinlikle asagidaki resim olacaktir. Daha cok telekom alt yapilarinda gorulen ozel hardware ler uzerinde kosan sistem ve uygulamalarin bilindik x86 tabanli donanimlar uzerinde kosan , uygulamalarin sanal ortama aktarilmis halleri denebilir, sadece telekom alt yapisinin degil veri merkezlerinde kosan Firewall , IPS/IDS , DDOS , NAT , LB ve VPN servisleride ayni kapsamda sanallasmakta ve x86 tabanli donanimlar uzerinde kosmaktadir.

Screen Shot 2015-10-15 at 14.01.22

Overlay Networkler

Iki tip “Overlay Network” mevcut biri network tabanli digeri ise host/sunucu tabanli. Direkt networkle ilgilenen arkadaslar bilirler mesela Q-in-Q , MAC-in-MAC , TRILL , Cisco FabricPath , OTV network tabanli , VXLAN , NVGRE , GRE (Xen Server Citrix kullaniyor) ise host tabanli olanlari.

Yukarida gordugumuz tum “Overlay Network” tipleri encapsulation yaparak calisiyorlar.¬† Bizim konumuz host tabanli overlay networkler oldugundan VXLAN dan bahsediyor olacagiz.

VXLAN bizim icin iki onemli problemi cozuyor olacak biri halihazirda veri merkezlerindeki 4096 olan VLAN limitini asmak digeride L2 domain ini L3 uzerinden tasiyaraktan verimerkezinde hem performans kazandirmak hemde farkli lokasyonlarda ayni L2 domain i kullanmak.

Overlay Network lerde bahsettigimiz encapsulation i yapmak icin mutlaka farkli bir interface olacaktir, ornegin ESXi nodelar uzerinde management,vMotion,vSAN interface lerine ek olaraktan VTEP adi verilen ek bir interface daha olacak, bu interface in farkli bir ip adresi olacak ve tum VTEP interface i olan ESXi node lar mutlaka birbirleriyle konusabilir birbirleriyle VTEP interface ler uzerinden erisilebilir olmalilar. Overlay networkler uzerinden konusamak isteyen sanal makineler eskisi gibi vSS/vDS uzerinden veriyi aktarmak istediklerinde VTEP interface araya girecek ve sanal makineden gelen orjinal L2 frame i encapsule edip bu paketi kendi VTEP portunden karisdaki VTEP portuna atacak, hedefdeki VTEP portu gelen bu paketi encapsule edip orjinal L2 frame i ilgili sanal makineye yine vSS/vDS uzerinden gonderiyor olacak.

Asagida ornek bir cizim var, sag taraftaki MAC2 mac adresli sanal makine MAC1 mac adresli sanal makineye ayni L2 domain inde ve IP networkunde olduklarindan direkt L2 frame i yollamak istiyor , Host 2 uzerindeki VTEP interface yesil olarak isaretlenmis orjinal paketin onune VXLAN header bilgilerini ekleyip Host1 in VTEP portuna gonderiyor, Host 1 decapsule edip paketi sanal makineye ulastiriyor.

Screen Shot 2015-10-15 at 22.58.46

Ornek VXLAN Paketi

Screen Shot 2015-10-16 at 14.41.44

Overlay networkler kendi dunyalarindan gercek dunyaya cikmak icin mutlaka bir GW e ihtiyac duyacaklardir , VMware ve NSX kapsaminda bu Edge Service Gateway olacaktir , Openstack bazinda bakarsaniz Neutron , Microsoft bazinda bakarsaniz NVGRE GW. Bu cihazlar sayesinde VPN , SSL VPN , LB , NAT , DHCP gibi NFV servislerini ilgili overlay network icersinde kosan sanal makinelere saglayacaklardir.

VMware NSX Nedir ?

VMware NSX in ne oldugunu anlatmak icin asagidaki resim ve yukarda ne oldugunu kisaca anlattigim SDN in mimarisinden alinti yapacagim.

NSX VMware in 23 Temmuz 2012 de satinalmis oldugu Nicira adli SDN odakli bir firmanin urunu ile VMware in kendi vNetwork Distributed Switch , VXLAN ve vShield Edge denilen NFV yaziliminin birlesiminin/uyarlamasinin son halidir. NSX kisaca bir “Ag Sanallastirma” yazilimidir amaci ESXi ile nasil sunucu sanallastirma ve storage sanallastirma saglaniyor ise artik sanallastirma yoneticisinin network bazinda ozgur, hizli , kolay , donanim bagimsiz , genisleyebilir/limitler daha yukarida ve esnek olmasina olanak saglar. Kullanilan kelimeler klise olarak gelebilir fakat bunlari biraz daha aciklar isek gelisi guzel soylenmedigini anlayacaksiniz.

Ben konuya bir servis saglayicisi gozunden bakacagim, siz sirket bazinda uyarlama yapabilirsiniz ;

Izolasyon dan basliyor hikayemiz ;¬† Bir servis saglayici icin en onemli olan nokta, izolasyon diyince aklimiza once farkli ip adres bloklari (192.168.0.0/24 veya 10.5.5.0/24 gibi bu ip adresleri public veya private olabilir) bunlarin bir firewall ile erisimlerinin giris ve cikislarin kontrolu gelecektir.¬† Bunu oncelikle network bazinda uyarlayacak olur isek bunun karsiligi VLAN olacaktir. Bir sistem muhendisi ve/veya sanallastirma uzmani veri merkezindeki switch leri yonetmediginden bu istegi network departmanina iletecektir , ilgili VLAN ilgili TOR/Aggregate/Core ve ESXi node larin portlarinda tanimlanacaktir daha sonrasinda ESXi node larin ilgill network interface in uyesi oldugu vDS e ilgili port profile tanimlanip , servis saglayicinin kullanmakta oldugu vmware in “Consumption” diyerek belirttigi portal in ornegin vCloud Director uzerinde tanimlanip (farkli yazilimlar kullanilabilir ozellesmis kendi portal leriniz olabilir ) musterinin vDC a network kaynagi olarak eklenmesi gerekecektir. Tabi bu surecler sirketlerin is akislarina gore degisiklik ve departmanlarin SLA surelerine gorede zaman acisindan tamamlanmasi farkli sureler alacaktir.

Yukardaki tanima gore “ozgurluk” kendi VLAN imi kendim yaratmam olacaktir, “kolaylik ve hiz” ise bunu efektif sekilde otomize etmem ve ilgili yerlere gerekli kayitlari otomatik olarak girebilmemdir. Yani ilgili islemleri otomize edebilmem. Burada NSX bazinda artik VLAN lardan cok az bahsedecegiz onun yerine VXLAN dan bahsediyor olacagiz.

Hikaye buradan devam ediyor ; Limitasyonlar, su anda bana hem zor hemde kolayca erisebilecegim iki limitasyon var, ilki kolay olsun su anda tum switch lerin sahip oldugu 4096 VLAN limiti ki bu sectiginiz switch e gorede farklilik yaratir genelde 1000 VLAN destekleyen switch ler mevcut 4096 icin daha iyi bir switch almalisiniz, bir servis saglayici icin kolay erisilebilir bir deger, 4096 VLAN izole edilmis 4096 musteri anlamina geldigi gibi eger bir musterinin 3 katmanli bir yapi kullaniyor ise -Web , Uygulama ve DB- bu durumda yuvarlak 1365 musteri anlaminada gelebilir.

Diger zor erisilebilir diye dusundugum sey ise switch lerin sahip oldugu MAC adres limiti. Bir sanal makineye eklenmis olan tum network kartlarinin bir MAC adresi olacagindan, eger switch MAC limitini asarsaniz bu durumda erisim olarak sikintilar yasamaya baslayacaksiniz ve kullandiginiz switch ve/veya switchleri daha buyuk MAC adresleri destekleyen cihazlarla degistirmeniz gerekecek. Ornegin Nexus 5000 ve 5500, sirasiyla max MAC address limiti 15000 ve 32000

Yukardaki tanima gore “genisleyebilir/limitler daha yukarida” 16 Milyon VLAN sayisina kadar genisleyebilme (artik adi VXLAN oluyor) ve MAC veri merkezinde NSX ile beraber hicbir MAC adresinin switchlerde gozukmeyecek olmasi bizim icin sadece genisleyebilirlik degil ayni zamanda TOR olarak ve/veya aggregate olarak kullanilacak switch lerinde seciminde bizi daha ozgur kilacagindan ayni zamanda “donanim bagimsiz” olmamizi saglayacaktir.

Vallaha bundan daha “esnek” olunabilir mi bilmiyorum, NSX ayni zamanda kendi sahip oldugu NFV ozelliklerine ek olarak diger ucuncu parti ureticilerle entegrasyon yaparak fonksiyonel olarak ekstra ozellikler kullanabilmenize yardimci olacaktir.

NSX e gecmeden once hazirlik olmasi acisindan once SDN mimarisine kisaca bir deginelim arkasindan bilesenleri yerine koymaya baslayacagiz ;

SDN Application : Network gereksiminlerini SDN Controller a ileten yazilimlar ;  vCenter Server , vCloud Director, Openstack ve bir sirketin ic musterilerine veya servis saglayicinin kendi musterilerine sagladigi diger ozel web tabanli portaller olabilir.

Ornegin cok katmanli bir yazilima ihtiyac duyan biri yazilim firmasi web uygulamalari icin bir network , app icin farkli bir network ve veri tabani icin farkli bir network ihityaci olabilir ve bunu saglanan SDN Application uzerinde SDN Controller a istekte bulunabilir. (Bir yanlis anlasilma olmasin yazilim firmasi ona saglanan portal uzerinden istekte bulunuyor , portal kendi is akisi sayesinde SDN Controller a baglaniyor)

SDN Application bir API uzerinden konusur SDN Controller ile VMware SDN uygulamasinin kendisi ile REST API uzerinden konusmasini saglar.

SDN Controller (Control Plane) : SDN Controller SDN Application dan istekleri alir ve bunu kendisinin ve Data Plane in anlayacagi sekile cevirip gerekli islemleri yapar.

Ornegin VMware ortaminda vCloud Director portalini kullanan sirket/kisi (Bu arada vCloud Director portalini bilen yok ise bunu Amazon Web Services portali veya Microsoft Azure portali olarak dusunebilirsiniz) sag tus -> yeni network yarat der gibi veya “+” tusuna basip yeni network yarat diyerekten SDN Controller a istekte bulunabilir , SDN Controller da sanki network adminler switch ler uzerinde VLAN yaratiyormus gibi sanal izole networkler yaratabilir (VXLAN)

Controller, VMware in NSX Manager adi verilen ve bir sanal makine uzerinde kurulmus bir uygulama sayesinde yonetilir. Gorevi sadece VXLAN (izole networkleri yaratmak degil) ayni zamanda routing icin gerekli ve firewall islemlerinin icin gerekli surecleride yonetir , SDN Controller tum yapiyi bilir ve bu yapiyida bilmesi gereken tum alt bilesenlere iletir. Bunlari daha ayrintili olarak aciklayacagim.

SDN Data Plane : Cok ozet bir sekilde anlatmak gerekir ise sadece verinin gectigi katmandir , yani ESXi uzerine kurulan kernel modulu ve NSX Switch uzerinden gecen sanal makinelerinize ait olan trafik.

SDN den once birbiriyle tumlesik calisan Control ve Data Plane

Screen Shot 2015-10-15 at 18.48.49

SDN den sonra birbirinden ayrilan Control ve Data Plane ; Burada “Flow Table” diyerek anlatilan sey aslinda SDN sayesinde Data Plane artik sadece neyi nereye gonderecegini biliyor ve geri kalan hicbirseye karismiyor. Ornegin neye calismiyor kendi portlarina baglanmis olan sanal veya fiziksel makinelerin MAC adreslerini ogrenmeye , eger kullanilan switch L3 destekleyen switch ise routing bilgisini ogrenmeye calismiyor bunlarin hepsi SDN Controller uzerinden SDN Data Path e iletiliyor.

Screen Shot 2015-10-15 at 18.48.58

NSX Bilesenlerini Gosteren bir diaygram var asagida ;

Screen Shot 2015-10-15 at 17.18.37

Simdi bu diaygrami SDN Mimarisi uzerinden tanimlarsak

Screen Shot 2015-10-15 at 17.36.36

Ayni seyleri herkesin cok iyi bildigini tahmin ettigim Cisco switch ler uzerinden aciklamak gerekir ise ;

Screen Shot 2015-10-15 at 17.42.59

VMware uzerinde NSX Bilesenlerinin uzerinden gecmek gerekir ise ;

NSX Data Plane : NSX Data Plane var olan vDS uzerine kurulan 3 ayri kernel modulu ile olusur, bunlar esx-vxlan ki “VXLAN” destegini getirir , esx-vsip “distributed router” ve esx-dvfilter-switch-security “distributed logical firewall” modulleridir.¬† NSX vSwitch fiziksel yapiyla sanal yapiyi ayirir ve hypervisor katmani artik access-layer switching servisini vermeye baslar yani bir Cisco line card gibi.

Kisaca tum verinin aktigi , akilli degil (herhangi switching ve routing karari vermez) ama bilgili ( neyi nereye yonlendirecegini bilir) olan katmandir.

NSX Controller : Control Plane NSX Controller Cluster uzerinde kosar, NSX Controller bu sistemin kalbidir diyebiliriz , tum logical switch yapisini bir noktadan yonetir ve tum altayapiyi ESXi hostlari, VXLAN ve distributed logical router bilgilerini tutar. Dagitik tasarlanmis bir yonetim sistemdir, arkada bildigim kadariyla Apache ZooKeeper kosmaktadir.

NSX Controller hypervisor uzerindeki switching ve routing modullerini yonetir, uzerinden veri trafigi gecmez , devamlilik ve erisilebilirlik icin uc node cluster dan olusur (daha fazla olabilir ama vmware tarafindan optimum sayisi uc olarak belirtilmistir), herhangi bir controller node unun veya tamaminin erisilemez olmasi veri trafigini etkilemez (sadece yeni logical switch ve routing bilgilerinin degismesi veya eklenme durumlarinda controllerlarin ayakta ve erisilebilir olmasi gerekir)

NSX Controller node lari NSX Manager tarafindan kurulur, gorevi sahip oldugu network bilgisini tum ESXi host larla paylasmaktir.

NSX Control Cluster uzerinde cesitli roller mevcut olup her biri icin bir master controller node ve slave node lar sistem tarafindan otomatik olarak atanmistir, olasi bir problemde master role farkli bir slave uzerinde master olarak aktive edilir ;

  • API Provider : NSX Manager in NSX Controller a ulasabilmesi icin calisan web servisi, HTTP API
  • Persistence Server : Cluster node lari arasinda “network state” verisinin ayni oldugunu garanti eder
  • Switch Manager : Hypervisor lari yonetir, ilgili configrasyonlari hypervisor lara iletir
  • Logical Manager : Network Topology sini ve policy leri hesaplar
  • Directory Server : VXLAN ve DLR veritabani yonetir

Multicast , unicast ve hybrid adinda uc adet logical switch control plane mode diye bir kavramla karsilasagiz, bu mode lar BUM adi verilen Overlay network lerde Broadcast , Unknown Unicast ve multicast trafiginin logical switch icersinde nasil yorumlanacagi ve aksiyon alacagini belirtir.

Unicast Mode yeni eklenmis mode lardan biri , eger olasi bir BUM trafigi oldugunda ilgili VXLAN in uzerinde oldugu ESXi node un VTEP interface ine bu BUM istegi NSX Controller tarafindan yollanir. Herseyde oldugu gibi controller yerine bu isin switch hardware i tarafindan yapimasini istiyor ise o zaman switch lerimizin IGMP Snooping ve PIM Routing aktive edilmesi gerekir ki bu ekstra zorluk anlamina geliyor. Hybrid tahmin edebileceginiz gibi ikisinin karisimi , eger BUM trafigi VTEP lere iletilecek ise local de Unicast , local disinda Multicast yapilacaktir.

NSX Manager : Yonetim katmanini olusturu, tek bir noktadan merkezi yonetim saglar, vCenter ile birebir iletisimi vardir, NSX Manager kurulduktan sonra vCenter a tanitilmasi gerekir, ayni NSX Manager farkli bir vCenter a tanitilamaz, NSX 6.2 ile beraber cross-vCenter destegi gelmistir artik Primary NSX Manager ve Slave NSX Manager kavramlari yaratilmis olup ek olarak universal logical switch ve logocal distributed router tanitilmistir. Su andaki limitasyon bir NSX Manager a yedi secondary NSX Manager tanitilabilir.

NSX Edge : Eskiden NSX oncesi sadece vShield Edge olara bildigimiz GW servisi veren sanal makineler artik sadece GW servisleri degil routing servisleride vermektedir. Bunu icin NSX Edge derken artik Edge Service Gateway (ESG)  ve Distributed Logical Router (DLR) olarak bahsedecegiz.

ESG overlay networklerdeki GW gereksinimini karsilar , bir ESXi host uzerinde maksimum 250 adet olabilir. Her ESG 10 interface e kadar uplink ve internet network bacagi olabilir eger trunk mode interface kullaniliyor ise 200 sub interface destekleyebilir. NAT , VPN ve load balancer icin birden fazla enternal ip adresi destekleyebilir.

DLR degisen uygulamalar hadoop,casandra,redis,MongoDB gibi artik trafikleri dikeyde degil , yatayda daha az hop gecerek veriyi daha hizli iletmemizi istiyorlar bunun icinde East-West denilen trafigin farkli bir sekilde yonetilmesi gerekiyordu bu da artik Hypervisor larin kernel ina yerlestirilen logical routing modulu sayesinde oluyor. Artik farkli ip subnet ler arasindaki trafigide DLR lar yonetiyor olacak.

DLR, ESG ye gore daha farkli dizayn edilmis bir yapi , sekiz uplink ve bin adet internal interface i olabilir , genelde bir ustde ESG ile konusur. Iki bilesenden olusur switching de oldugu gibi DLR Control Plane ve DLR Data Plane.

DLR Control Plane

  • Sanal bir makine
  • BGP ve OSPF destekler
  • ESG ile routing bilgilerini degis tokus eder
  • NSX Manager ve Controller ile iletisim halindedir
  • HA destekler (Aktif/Pasif)

DLR Data Plane

  • ESXi¬† kernel modulu
  • Line card gibi veri trafigi kernel dan gecer
  • Layer 3 routing destekler
  • Routing Table i tutar (NSX Controller tarafindan iletilmistir)
  • Internel interface lere LIF (logical intereface) denir logical switch ve VLAN based port group baglanabilir
  • Her LIF bir ip adresi atanir bu ip adresi defailt gw olarak kullanilir ilgili L2 Domain icin
  • Tum LIF ler ayni vMAC e adresine sahiptirler

Asagida ornek bir yapi mevcut, sirasiyla ;

  1. NSX Manager DLR Control VM instance yaratilmasi icin tetikler
  2. NSX Controller ESXi host lara DLR configrasyonunu iletir LIF sayisi , IP bilgisi vMAC adresleri gibi
  3. DLR ESG ile OSPF veya BGP kullanara peering kurar . DLR ile ESG routing bilgilerini degis tokus eder. Networkculer bilir DLR directly connected olan yani LIF interface lerindeki networkleri bir uste anons ederler , ESG de dis networklere ulasmak icin gerekli IP Route bilgilerini DLR a gonderir
  4. DLR ogrendigi IP Route bilgisini NSX Controller ile paylasir
  5. NSX Controller bu bilgileri ESXi hypervisor iletir , kernel bazinda tum ESXi node lar neyi nereye route etmeleri gerektigini ogrenirler ve bu bilgiyi tutarlar
  6. DLR kernel module ayni zamanda ESG kullanaraktan dis veri trafigini isler.

Screen Shot 2015-10-16 at 15.21.00

NSX Servisleri

Logical Switch : NSX bize birden fazla Logical Switch yaratmamiza olanak saglar her bir Logical Switch esittir VLAN baska bir deyisle broadcast domain veya izolasyon demek. Ornegin cok katmanli bir projeniz var , Web , App ve DB katmanini birbirinden ayirmak istiyorunuz bu durumda eger ortaminizda NSX var ise bu demek oluyorki uc adet logical switch yaratacaksiniz.

Yeni gelen cross-vCenter ozelligi sayesinde farkli cografi lokasyonda ayni broadcast domain i devam ettirebilirsiniz.

Logical Router : VMware logical router i farkli L2 Broadcast domain ler arasinda forwarding yapmak seklinde yorumluyor , biz genelde buna iki farkli IP networkunu veya subnet i biribir ile konusturma olarak adlandiriyoruz.  Logical router sayesinde artik Bati-Dogu duzleminde yani yatayda nokta atisi yaparak veri trafigini akitabiliyoruz. Bu bize daha fazla hop gecemeden, daha efektif VM to VM iletisim anlamina geliyor. Tabi logical router sadece yatayda degil eger ESG ile veya bir ust katmanla arasinda bir iliski var ise Kuzey-Guney duzleminde veya dikey olarakda iletisime gecebilir.

Logical Firewall : NSX yine hypervisor kernel bazinda calisan , dagitik, vCenter uzerindeki tum obje lere gore (datacenter, resource pool, VM Name) kural yazabilieceginiz , vNIC bazinda uygulanan , vMotion destekleyen bir guvenlik mekanizmasidir.

Flow Monitoring ozelligi sayesinde sanal makinenin hangi uygulamalarla iletisime gectigini izleyebilir ve bu bilgileri kullanarakdan firewall policy leri tekrardan duzenleyebilir ,  yenilerini ekleyebilir , auditing yapabilir , tehlikeleri tanimlayabilirsiniz.

Service Composer : NSX ile beraber bir kisim servisi bir kisim sanal makineye direkt uygulayabilirsiniz. Security Group icersine VM leri , Servisler icersine firewall kurallari , AV ve PCI Compliance end-point veya IPS gibi servisleri grouplayarakdan bir VMware in Service Composer dedigi seyi yaratiyoruz boylece ilgili servisler ilgili vNIC ve VM lere uygulaniyor.

Ucuncu Parti Yazilimlarlar NSX Genisleme : NSX tum sorunlariniza cevap verecek durumda degil , firewall bazinda L4 kadar yardimci olabiliyor , NSX kendi basina size IPS/IDS servisi veremez veya bir F5 veya Netscaller capinda LB servisi saglayamayabilir fakat bunlari yapabilmeniz icin size bir yontem sunar , ilgili servisler icin ilgili ucuncu parti donanim veya yazilimlara yonlendirme yapabilir.

En cok bilinen ve uyarlanmis urunler PaloAlto , F5 , Rapid 7 gibi firewall , load balance ve PCI servisleri mevcut. Daha fazla bilgi icin https://featurewalkthrough.vmware.com/#!/nsx/nsx-partner-integration-1 adresini kullanabilirsiniz.

Guzel Linkler

https://www.opennetworking.org/images/stories/downloads/sdn-resources/technical-reports/SDN-architecture-overview-1.0.pdf
https://www.opennetworking.org/sdn-resources/technical-library

http://www.cisco.com/c/en/us/products/collateral/switches/nexus-9000-series-switches/white-paper-c11-730116.pdf
http://blogs.cisco.com/perspectives/a-summary-of-cisco-vxlan-control-planes-multicast-unicast-mp-bgp-evpn-2

Auto Deploy

Auto Deploy Nedir ?

Yuzlerce ESXi node u hizli ve problemsiz standart bir sekilde kurmaniza olana saglar. Stateless veya Stateful destekler ister iseniz ESXi direkt memory e veya node un diskine imaji koyabilirsiniz. Herhangi configrasyon host uzerinde tutulmaz tum konfigrasyon gereksinimleri “Host Profile” sayesinde gerceklestirilir.

Ozel bir HA opsiyonu yok , Auto Deploy ile kurulmamis yonetim/management cluster inda Cluster level HA aktive edilmis durumda olmasi yeterli.

Guvenlik olarak Auto Deploy dosyalari SSL uzerinden yollar fakat PXE boot icin ayri bir network ve verimerkezinizdeki ve/veya isyerinizdeki farkli bir PXE boot sistemi ile karistirmamaniz onerilir.

Auto Deploy Server

Imaj ve Host Profilleri saglar

PXE

Network boot

Image Builder CLI

vSphere kurulumlari icin gerekli olan zip ve iso dosyalarini yaratmanizi , gerekli oldugu durumlarda 3. parti VIB lerin kullanarak ozellestirilmis kurulum dosyalarini yaratir.

Auto Deploy Rule Engine

Hangi imaj profilin hangi host profile ile iliskilendirilecegini ve bunun icin gerekli kosullari belirtir. PowerCLI uzerinden konfigre edilir

PowerCLI

Powershell uzeriden vCenter i yonetmek icin kullanacagiz

Cesitli blog yazilarinda “First Boot” ve “Subsequent Boot” diye tanimlar ve isimlendirmeler goreceksiniz, Auto Deploy ile henuz provision edilmeyen hostlar “First Boot” daha sonra Auto Deploy yapilmis ve vCenter a eklenmis olanlar “Subsequent Boot” olacak.

Auto Deploy Servisini dort farkli sekilde kullanabilirsiniz ;

  1. vCenter Server VCSA uzerinde Auto Deploy Server
  2. vCenter Server VCSA ile Auto Deploy Server Windows uzerinde
  3. Auto Deploy server VCSA uzerinde fakat vCenter Server farkli bir VCSA uzerinde
  4. Auto Deploy server VCSA uzerinde fakat vCenter Server Windows uzerinde

Once TFTP server kuralim (Asagidaki kurulum Ubuntu icindir)

noroot@ubudhcpdns:/etc/xinetd.d$ sudo apt-get install xinetd tftpd tftp
TFTP icin xinetd config dosyasini guncelleyelim

noroot@ubudhcpdns:/etc/xinetd.d$ sudo vi /etc/xinetd.d/tftp

Simdi gerekli config bilgilerini olusuturalim

service tftp

{

protocol        = udp

port            = 69

socket_type     = dgram

wait            = yes

user            = nobody

server          = /usr/sbin/in.tftpd

server_args     = /tftpboot

disable         = no

}

Ilgili dizine gerekli haklari verelim

noroot@ubudhcpdns:/etc/xinetd.d$ sudo mkdir /tftpboot

noroot@ubudhcpdns:/etc/xinetd.d$ sudo chmod -R 777 /tftpboot

noroot@ubudhcpdns:/etc/xinetd.d$ sudo chown -R nobody /tftpboot

Service Restart edelim

noroot@ubudhcpdns:/etc/xinetd.d$ sudo service xinetd restart

xinetd stop/waiting

xinetd start/running, process 3137

Auto Deploy u vCenter a kaydettirelim ve servisi calistiralim

Command> shell.set –enabled True
Command> shell
———- !!!! WARNING WARNING WARNING !!!! ———-

Your use of “pi shell” has been logged!

The “pi shell” is intended for advanced troubleshooting operations and while
supported in this release, is a deprecated interface, and may be removed in a
future version of the product.¬† For alternative commands, exit the “pi shell”
and run the “help” command.

The “pi shell” command launches a root bash shell.¬† Commands within the shell
are not audited, and improper use of this command can severely harm the
system.

Help us improve the product!¬† If your scenario requires “pi shell,” please
submit a Service Request, or post your scenario to the
https://communities.vmware.com/community/vmtn/vcenter/vc forum and add
“appliance” tag.

localhost:~ #

->

localhost:~ # autodeploy-register –register -a 10.111.31.15 -u administrator@sso.domain -w **********
Successfully registered autodeploy with vCenter 10.111.31.15
localhost:~ # service vmware-rbd-watchdog restart
Stopping /usr/bin/rbd-watchdog-linux:                                                                                      done
Starting /usr/bin/rbd-watchdog-linux:                                                                                      done

vCenter Web Client dan kontrol edelim

Screen Shot 2015-10-06 at 10.26.56

“Download” dugmesine basip ilgili “zip” dosyasini indirin ve acin, daha sonra yukarida kurdugumuz TFTP server in ilgili dizinine yerlesitirin.

noroot@ubudhcpdns:/tftpboot$ ls -al
total 780
drwxrwxrwx  2 nobody root     4096 Oct  6 14:25 .
drwxr-xr-x 26 root   root     4096 Oct  5 16:25 ..
-rw-r–r–¬† 1 noroot noroot¬†¬†¬†¬† 11 Oct¬† 6 14:25 snponly64.efi
-rw-r–r–¬† 1 noroot noroot¬†¬†¬†¬† 11 Oct¬† 6 14:25 snponly64.efi.vmw-hardwired
-rw-rw-r–¬† 1 noroot noroot¬†¬†¬†¬†¬† 4 Oct¬† 5 18:57 test
-rw-r–r–¬† 1 noroot noroot¬†¬†¬† 106 Oct¬† 6 14:25 tramp
-rw-r–r–¬† 1 noroot noroot 118690 Oct¬† 6 14:25 undionly.0
-rw-r–r–¬† 1 noroot noroot 118690 Oct¬† 6 14:25 undionly.kpxe
-rw-r–r–¬† 1 noroot noroot¬† 83788 Oct¬† 6 14:25 undionly.kpxe.debug
-rw-r–r–¬† 1 noroot noroot¬† 90186 Oct¬† 6 14:25 undionly.kpxe.debugmore
-rw-r–r–¬† 1 noroot noroot 118693 Oct¬† 6 14:25 undionly.kpxe.nomcast
-rw-r–r–¬† 1 noroot noroot 118696 Oct¬† 6 14:25 undionly.kpxe.vmw-hardwired
-rw-r–r–¬† 1 noroot noroot 118714 Oct¬† 6 14:25 undionly.kpxe.vmw-hardwired-nomcast

DHCP tarafinda ek konfograsyona ihtiyacimiz olacak bunla berbare sunuclarda PXE boot ethernet icin aktif olup olmadigini kontrol edin

# vCenter Site A Mng Block
subnet 10.111.31.0  netmask 255.255.255.0 {
range 10.111.31.100 10.111.31.150;
option routers                  10.111.31.1;
option subnet-mask              255.255.255.0;
option broadcast-address        10.111.31.255;
option domain-name-servers      8.8.8.8;
next-server 10.111.31.3;
¬†¬†¬†¬†¬†¬†¬† option bootfile-name “undionly.kpxe.vmw-hardwired”;
}

Ek olarak¬† asagidaki linkden https://10.111.31.15:6501/vmw/rbd/ (siz kendi ip adresinizle guncelleyin) “Debugging” ekranina erisebilirsiniz
Screen Shot 2015-10-06 at 10.37.35

Not : Burada onemli olan konulardan biri Auto Deploy server tek bir vCenter a register olmali ayni Deploy Server birden fazla vCenter icin kullanilamaz.

 

Simdi PowerCLI dan vCenter Server a baglanip var olan Imaj ve AutoDeploy kurallarina bakalim (Herhangi bir Windows makineye .Net ve Vmware PowerCLI kurululmus olmali)

Komutlar

Get-EsxImageProfile
Get-DeployRule

Gordugunuz gibi herahangi bir ESXi node un boot edecegi imaj ve imaj/host profile iliskisini kuracak bir kural henuz mevcut degil

Screen Shot 2015-10-06 at 11.18.11

Elimizdeki sunucularin ozelliklerini bulalim , buna gore Imaj lar yaratacagiz. Burada ayni vendor , hardware ve ip blogu ile ayrim yapilacak tabi sadece bunlar degil MAC adresine gore, BOIS UUID gibi bir suru opsiyon var “bakiniz sayfa 75

Get-VMHost 10.111.31.100 | Get-VMHostAttributes

Screen Shot 2015-10-06 at 11.32.29

Simdi Auto Deploy ile kullanmak icin “ESXi Offline Bundle” indirelim , icersinde gerekli VIB, ESXi icin Imaj Profili ve VMware Tools mevcut.
Buradan bir cikarima gitmek gerekir ise ayni “ESXi Offline Bundle” HP, Dell gibi vendor lar alip kendi driverlari icin gerekli VIB leri ekleyip ESXi Image Builder ile iso export lar yaratip kendileri bu ozellestirilmis imajlari dagitiyorlar

Screen Shot 2015-10-06 at 11.52.11

Download ettigimiz dosyayi “C:\imagefolder” altina koydum “Add-EsxSoftwareDepot” ile imaj deposunu olusturuyorum

Screen Shot 2015-10-06 at 12.13.08

Add-EsxSoftwareDepot C:\imagefolder\update-from-esxi6.0-6.0_update01.zip

Screen Shot 2015-10-06 at 12.28.36

Yukarida gordugunuz gibi ESXi imajlari geldi ;

  • Standard olan –VMware Tools– iceren version
  • -no-tools –VMware Tools– icermeyen version
  • ESXi-6.0.0-20150901001s , buradaki “s” security update olarak geciyor yani 6 dan 6 update 1 gibi

Burdan sonra eger bir ozellestirme yapicaksaniz “New-EsxImageProfile -CloneProfile” kullanabilir veya bos bir profil bile yaratabilirsiniz

Asagida tanimaldigimiz depo ve bu depolardaki tum paketler version ve tarihleri ile mevcut

“Get-EsxSoftwareDepot”

“Get-EsxSoftwarePackage”

Screen Shot 2015-10-06 at 12.39.24

Eger imaj bazli paketleri gormek isterseniz asagidaki komutu kullanabilirsiniz.

“Get-ESXImageProfile Profil_Adi | select -ExpandProperty viblist”

Eger ozellestirme yapacaksaniz depo a ya ‚ÄúAdd-EsxSoftwarePackage‚ÄĚ ile paket ekleyebilir , ‚ÄúRemove-EsxSoftwarePackage‚ÄĚ ilede cikartabilirsiniz.

a

Simdi Sunucuyu Boot Edelim ;

Oncesinde aklinizda olsun -Set-DeployOption “vlan-id” 860- diyerekten default management vlan set edebilirsiniz
Bu opsiyon sadece “host profile” olmadiginde kullanacaktir, eger host profile i iliskilendirirseniz bu opsiyon zaten kullanilmayacaktir.

Screen Shot 2015-10-06 at 16.39.58

Bilerek bir hata yaptim acaba hata nasil goruluyor diye buna bir ornek asagida , goruldugu gibi ilgili host a match eden bir profile yok.

Screen Shot 2015-10-06 at 17.52.08

Screen Shot 2015-10-06 at 17.57.59

Simdi o zaman asil konfigrasyona gecelim en azindan VMware in bir boot ettigini gorelim. Asagidaki ornekte ortamda baska tip makine olmadigindan sadece vendor=HP olmasini ariyorum

New-DeployRule -Name “FirstTimeBoot” -Item “ESXi-6.0.0-20150902001-standard” -Pattern “vendor=HP”

Not: Burada ek soylenecek birsey var ise “-Item” kismi isterseniz “,” yardimiyla cluster , Host Profile tanimlarinida bir satirda yapabilirsiniz. Host Profile i “” arasina almaya gerek yok

Screen Shot 2015-10-06 at 18.05.56

Screen Shot 2015-10-06 at 18.12.35

Simdi aktive edelim, bakalim vSphere 6 yeni node uzerinde boot edecek mi ?

Screen Shot 2015-10-06 at 18.16.33

Evet guzellll …..

Screen Shot 2015-10-06 at 18.19.48

Screen Shot 2015-10-06 at 18.21.42

Yukardaki ekranda ilgili hyper-link e bastigimizda daha fazla bilgiye erisebilisiniz, ornegin henuz bu vmware node a “Host Profile” eklemis degiliz

Screen Shot 2015-10-07 at 11.26.50

Esxi boot etmeye devam ediyor …

Screen Shot 2015-10-06 at 18.21.48

Boot tamamladi , vCenter a da bir goz atalim

Screen Shot 2015-10-06 at 18.28.19

Burada deployment rule lar ile ilgili onemli birkac nokta var ;

  • Birden fazla deployment rule ilgili tek bir host a match edebilir bu tip durumlarda siralam onem kazanir, baska bir deyisle altta kalanin cani ciksin hesabi ūüôā Ornegin iki deployment rule var ve her birinde farkli “Host Profile” mevcut bu durumda yukarda olanin “Host Profile” i gecerli olur
  • Diger bir kullanim seklinde yine birden fazla deployment rule olabilir fakat biri “Image Profile” digeride “Host Profile” olabilir bu durumdan her ikisi birden uygulanir
  • Deployment rule larda degisiklik yapmis olabilirsiniz bunlari hemen uygulamak isteyebilirsiniz (veya ilgili ESXi node degisiklik yapmaniza ragmen dogru host profile dan acmiyor olabilir) bu durumda asagidaki komutu kullanabilirsiniz (Degisiklikler node reboot sonrasi devreye girecektir)
C:\PS> Get-VMHost h1 | Test-DeployRuleSetCompliance | Repair-DeployRuleSetCompliance

Simdi asagida iki farkli kural giriyorum

New-DeployRule -Name “Cluster” -Item “Compute_Cluster” -Pattern “vendor=HP”
New-DeployRule -Name “HostProfile” -Item “Compute-Base100” -Pattern “vendor=HP”

Add-DeployRule Cluster
Add-DeployRule HostProfile

Bu arada Test-DeployRuleSetCpmliance kullanalim

Test-DeployRuleSetCompliance 10.111.31.106

Screen Shot 2015-10-07 at 12.58.29

Uygulayalim da onuda kullanmis olalim

Test-DeployRuleSetCompliance 10.111.31.106 | Repair-DeployRuleSetCompliance

Simdi birde webden sunucunun durumuna bakalim https://10.111.31.15:6501/vmw/rbd/host/a02cc14f4b57f9e67c1839c0a54002dd/

Screen Shot 2015-10-07 at 13.02.45

Simdi reboot ! Gordugunuz gibi “Host Profile” uygulaniyor

Screen Shot 2015-10-07 at 13.11.57

Kullandigim HP Gen8 de PXE boot vlan destegini bulamadigmdan , sunucu portlari trunked oldugundan ne yazikki management tarafina profile daki vDS ayarlarindan dolayi dogru ip i alip %100 islemi bitiremedi fakat yinede bulundugu cluster ve sekil acisindan herseyi gostermis oldu.

Screen Shot 2015-10-07 at 13.15.33

Herkese kolay gelsin

VM

Guzel Linkler ;

VIB Nedir ? https://blogs.vmware.com/vsphere/2011/09/whats-in-a-vib.html
Image Builder CLI Kullanmak ? https://www.youtube.com/watch?v=MgGMMZxfyUQ
Scripted ESXi Installation ? https://www.youtube.com/watch?v=5UlSqweiIqI
Understanding Auto Deploy ? http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2005131
TroubleShoot ? http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2000988
vSphere Auto Deploy Demo (vSOM) ? https://www.youtube.com/watch?v=G2qZl-760yU
Using the vSphere ESXi Image Builder Profile ? https://blogs.vmware.com/vsphere/2012/04/using-the-vsphere-esxi-image-builder-cli.html
vSphere Installation and Setup ? https://pubs.vmware.com/vsphere-60/topic/com.vmware.ICbase/PDF/vsphere-esxi-vcenter-server-60-installation-setup-guide.pdf
http://www.vclouds.nl/auto-deploy-how-to-pxe-boot-without-the-use-of-native-vlan/
DHCP ? http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2005071
http://www.vladan.fr/vmware-vsphere-autodeploy-run-powerclis-youre-boss/
VXLAN Auto Deploy ? http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2092871

Host Profile vSphere 6 ESXi

Merhaba ,

Bu gune kadar host profile hic kullanmadim , aslinda cok da faydali fakat elle isledi hersey. Asagida test icin kurdugum sistemde nasil faydali olabilir diye iki adimda test ettim.

Birinci adim NTP , Syslog , NFS mount , servis gibi ayarlari host profile ile diger node a nasil aktariyoruz bakalim ;

Asagida gordugunuz gibi iki node var , 10.111.34.100 ve 10.111.34.101 .
10.111.34.100 node unu baz aliyoruz. Bu node uzerinde  NTP , Syslog (Log Insight),  NFS mount ( 3 adet ISO ve diger iki datastore) ve SSH servis calisir durumda.
Cluster icin Datastore HA ayarli , 10.111.34.100 makinesine iki adet NFS Store mount edilmis durumda

Screen Shot 2015-09-17 at 13.57.36

Screen Shot 2015-09-17 at 14.01.16

Once baz aldigimiz makineden Host Profile i export edelim

Screen Shot 2015-09-17 at 14.02.11

Bir isim ve aciklama girelim, daha sonra Next ve Finish

Screen Shot 2015-09-17 at 14.05.29

Export u bekleyelim

Screen Shot 2015-09-17 at 14.06.24

Ana ekrandan Policies and Profiles i bulalim

Screen Shot 2015-09-17 at 14.07.25

Export edilen profili edit ledigimiz de ilgili ayarlari goruyor olacaksiniz mesela NFS, Syslog ayarlari

Screen Shot 2015-09-17 at 14.11.01

Screen Shot 2015-09-17 at 14.13.28

Simdi bu profili var olan diger node a atayalim

Screen Shot 2015-09-17 at 14.14.39

Profile uyuyor mu uymuyor mu kontrol ettirelim

Screen Shot 2015-09-17 at 14.19.31

Ve uygulayalim

Screen Shot 2015-09-17 at 14.23.04

Next

Screen Shot 2015-09-17 at 14.23.20

Kisa bir gozden gecirme ve Finish (Bu arada match etmeyen local disk bilgileri var bunlari profilden oncesinde cikartabilirsiniz. Cok problem degil sadece “compliance” gozukmeyecek ama yinede duzeltmekte fayda var)

Screen Shot 2015-09-17 at 14.23.59

Ornegin Export a baktigimizda local disk bilgileri Storage configuration” altinda “PSA Configuration” ve “NMP” altinda olacak. ¬†Burada vmware in guzel bir makalesi var eger ihtiyaciniz olur ise¬†http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2002488

Screen Shot 2015-09-18 at 08.23.05

Bir dizi task calistigini goreceksiniz

Screen Shot 2015-09-17 at 14.24.59

Daha onceden belirttigim gibi profile atanmis node larin uyumlulugunu kontrol edebilirsiniz

Screen Shot 2015-09-17 at 14.26.21

Simdi 10.111.34.101 i kontrol edelim

Screen Shot 2015-09-17 at 14.26.59

Screen Shot 2015-09-17 at 14.27.11

Screen Shot 2015-09-17 at 14.27.38

Ikinci Adim Network Ayarlari

Asagidaki export ciktisida uygulanacak makineye ilgili vDS ayarlarini yapiyor olacak

Screen Shot 2015-10-07 at 13.28.32

VM

 

 

 

 

 

Cross vCenter Server vMotion in Action

Merhaba ,

Cross vCenter Server vMotion destegi sayesinde sanal sunuclarimizi farkli lokasyonsaki veya ayni lokasyondaki vCenter Server lar arasinda hem compute hemde storge bazinda tasiyabilecegiz.

Asagidaki ornekte oldugu gibi iki lokasyonumuz mevcut biri Istanbul diger ise Antalya. Istanbulda iki adet cluster var biri compute (sanal sunucularimizin kosacagi havuz) diger ise vDC ve NSX ortami icin hazirladigim edge cluster . Su anda “edge cluster” in bizim icin bir onemi yok. Onemli olan Istanbulda compute cluster inda olan bir VM in “CrossvCenterExampleUbuntu” Antalya daki “compute cluster” a vMotion yapilmasi.

Bu ornekte vMotion icin kullanilan network kartlari farkli VLAN larda ve TCP/IP Stack olarak vSphere 6 ile gelen “vMotion” kullaniliyor. Bu ozellik sayesinde artik sadece L2 seviyesinde degil L3 seviyesinde yani route¬†edilebilen networkler arasinda vMotion yapilacak. Benim yaptigim test de ilgili cografi alanlar sadece mantiksal ve ip blok lari farkli olacak sekilde ayarlanmistir. vMotion TCP/IP Stack aktive ettiginizde artik “Default” TCP/IP Stack kullanan VMKernel port vMotion icin kullanilmaz olacak tum vMotion islemleri yeni set edilen VMKernel arabirimi uzerinden isleyecek.

vSphere6 ile beraber gelen yeni ozelliklerden biride “Long Distance vMotion” ki bunu icin yeni bir TCP/IP Stack olarak “Provisioning ” geliyor. Ilgili TCP/IP Stack “Cold Migration/Snapshot/cloning” kullaniliyor, bu katman NFC (Network File Copy) icin kullaniliyor baska bir deyisle dosyadan haberdar olan FTP ūüôā . Burada ek olarak birkac onemli nokta var ;

RTT (round-trip time) surest ki 150 ms gecmemeli
vSphere 6 Enterprise Plus Lisa’s
ve yukarda belirttigimiz gibi vmkernel port un Provisioning TCP/IP stack olarak tanimlanmasi.

Screen Shot 2015-10-05 at 19.03.10

Simdi bildigimiz “Migrate” islemini yapiyoruz.

Screen Shot 2015-10-05 at 19.03.34

Onemli olan konu ; eger sadece “compute” tasinmak isteniyor ise hem hedef hemde kaynagin ayni datastore u gormesi sart , eger farkli datastore lara sahip iseler hem storage hemde compute tasinmasinin beraber yapilmasi gerekiyor. Asagida sadece compute sectim fakat hedef noktasi farkli bir datastore kullandigi icin oncesinde data tasimasi yapicak bunu size birazdan gosterecegim.

Screen Shot 2015-10-05 at 19.03.47

Klasik nereye tasiyacagimizi belirtiyoruz

Screen Shot 2015-10-05 at 19.10.54

Hedefte hangi datastore a tasiyacagimizi belirtiyoruz

Screen Shot 2015-10-05 at 19.12.34

Tati network, istanbuldaki COSMOS network uni yine ayni ip blogunda calisan COSMOS Antalya network une tasiyacagim.
Burayi NSX kullanarak gostermek istiyordum fakat simdilik her iki noktadan ayni network u anons ederek tasima yapacagiz ve gecis sonrasi erisimler kaldigi yerden devam edecek.

Screen Shot 2015-10-05 at 19.15.57

Baslayalim

Screen Shot 2015-10-05 at 19.24.11

Screen Shot 2015-10-05 at 19.33.16

Evet, tasima islemi basladi

Screen Shot 2015-10-05 at 19.35.13

Istanbul ve Antalya cluster larina ayni NFS Sunucudan farkli partitionlari mount etmistim vSphere hostler, onlarin durumuna bir goz atalim . Gordugunuz gibi sdb partition inindaki Datastore dan sdc e super bir akis var.

Screen Shot 2015-10-05 at 19.35.55

Ping lerdeki durum , iki ufak kayip var

Screen Shot 2015-10-05 at 19.43.13

Ve yeni gorunum, hersey tamam !

Screen Shot 2015-10-05 at 19.44.00

Guzel !

Cross vCenter Server vMotion Gereksinimleri

Cross vCenter Server vMotion icin gereksinimler ;

  1. Iki lokasyondada vSphere 6 ve ustu olmasi lazim
  2. Long Distance ve vCenter lar arasinda gecis yapabilmek icin Enterprise Plus lisansiniz olmali
  3. Her iki vCenter ayni SSO etki alaninda ve Enchanced Linked Mode sekilde konfigre edilmis olmali
  4. Fakat fakli bir durum daha var API ve SDK kullanilarak bu is yapilacak ise farkli SSO etki alanlarinda olunabilir ūüôā Ilginc, allah tum proje yoneticileri ve yazilimcilardan korusun bizleri ūüôā
  5. Saat ler sync olmali , ntp ntp ntp
  6. Sadece compute kaynaklarini tasimak istiyorsaniz her iki vCenter ayni storage kaynagina erisebiliyor olmasi lazim.

Ornek Yapi :

Bu yapi hem Cross vCenter Server vMotion hemde Multi Site NSX Cross vCenter kurulumlari icin kullanilacaktir. Grafik zaman icersinde guncellenebilir veya baz alinip farkli makalelerde kullanilabilir.

Su anda dikkat edilmesi gereken konu artik vMotion network u hem istanbuldaki clusterlar, hemde Antalyadaki cluster arasinda ayni L2 Domain de (ayni vlan da) degil. vSphere 6 ile beraber L3 bazinda routed bir network uzerinden (bir router veya firewall sayesinde OSPF/BGP ve/veya firewall vlan interface leri arasinda ) vMotion yapabilme ozelligi geldi hatta VMware artik vMotion icin farkli bir TCP/IP yigini kullanmaniza olanak sagliyor bu ozelligi kullanabilmek icin. Tek dikkat etmemiz gereken konu vMotion networklerinin birbirine ulasabiliyor olmasi.

Cross vCenter vMotion

Yeni vMotion network stack

Screen Shot 2015-09-17 at 18.39.13

Enchanced Linked Mode Konfigrasyonu (Fedaration/Federasyon) ;

Bir onceki makalelerde bir adet PSC ve VCSA 6 kurulumunu gostermistim , simdi buna eklenti yapacagiz. Bu daha hizli olacak.

Tekrardan PSC/VCSA kuracakmis gibi¬†“vcsa-setup.html” dosyasini cift tiklayin ve yeni yaratacagimiz PSC icin isim ve kullanici bilgilerini tanimlayin

Screen Shot 2015-10-03 at 11.18.00

Antalaya tarafi icinde bir PSC kurmaya calisacagiz

Screen Shot 2015-10-03 at 11.18.30

Microsoft AD yapisinda birden fazla domain controller yaratiyormus gibi SSO etki alanina ikinci bir PSC ekliyoruz

Screen Shot 2015-10-03 at 11.21.11

istanbul site imiz var idi birde antalya site ini yaratacagiz

Screen Shot 2015-10-03 at 11.24.42

Static IP set ettik , NTP tekrardan dikkat kurulumda erisilemez veya ilgili network e bir restriction uygulanmis ise NTP ayari yapilamayacagindan kurulum hata verecektir

Screen Shot 2015-10-03 at 13.01.21

Kurulumu tamamlayin ve¬†“vcsa-setup.html” dosyasini cift tiklayip VCSA yi kurmaya baslayalim
VCSA VM adini ve vCenter Server kuracagimizi belirttikten sonra

Screen Shot 2015-10-03 at 14.22.16

Screen Shot 2015-10-03 at 14.22.37

Antalya bolgesinde calisacak PSC e ve ilgili SSO etki alanina kayit olalim ve kurulumu bitirelim.

Screen Shot 2015-10-03 at 14.23.32

Bu islemler bittikten sonra “Web Client” i kapatip acalim , goredugunuz gibi iki adet vCenter tek bir ekranda erisilebilir durumda. Henuz antalya tarafinda bir kaynak yok , onuda vMotion sirasinda gorecegiz. Dikkat ederseniz herhangi bir vCenter uzerinde “Related Objects” kisminda “Linked vCenter Server Systems” altinda baglantili oldugu diger vCenter mevcut artik vMotion icin asagi yukari haziriz , yeni bir cluster yaratip antalya tarafina ekledikten ilk denemeyi yapacagiz.

Screen Shot 2015-10-03 at 15.11.21