Category Archives: HowTo

vCloud Director Boş Tenant Sayfası ve No Datacenters are available hatası

Merhaba,

Büyük bir merakla beklediğim vCloud Director 9.1 ve yeni tenant GUI’yi sonunuda test edip kurma şansım oldu.

Sadece vCloud Director değil, vCenter 6.7 , vSphere 6.7 , NSX 6.4 , vSAN 6.7 hatırlama ve kurma şansıda verdi bana.

Kurulumu tamamlanıp ile organizasyonu açıp login olduğunuzda eksi ara yüzü görünce bir dumur oluyorsunuz.

Akabinde yeni tenant link’ini keşfediyorsunuz. https://v91.dorukcloud.com/tenant/vahrictest/

Sonra artçı depremler gibi , önünüze bomboş bir sayfa ve “No Datacenters are available” gibi bir ekranla karşılaşıyorsunuz.

Aklınız Public Address kısmı geliyor ayarlarda eskiden iki üç ayarın yapıldığı 🙂 şimdi ise http için ayrı https için ayrı hatta sertifika zincirini bile girmeniz gerekiyor.

Sertifikayı browser’ınızdan alıp x.509 formatında root, intermediate ve domain sertifikası ile beraber ilgili kısma eklemeniz gerekiyor….

Ama değdi , güzel olmuş …

Sağol Mert Erdil kardeşim uyardığın için , ilk post problemin kendisi gibi boş olmuş ….

VM

Advertisements

vCloud Director 9.1 SSL Değişikliği

Merhaba,

Aslında SSL sertifikasını değiştirmek gibi bir niyetim yoktu fakat yanlış sertifikayı yükleyince birazda keytool openssl komutlarını unutunca bir referans olsun istedim.

Her farklı version’da farklı komut ve şekiller var gibi  duruyor onun için dikkat ilgili komutlar çalıştırılan herşey vCloud Director 9.1’de test edilmiştir.

Yine eski sürüm dökümanlarında “/opt/vmware/vcloud-director/bin/configure” kullanılmış, burada gerek yok, asil işi yapan “cell-management-tool” uygulaması ve bu konu için alt komut “cell-management-tool certificates”

vCloud Director 9.1 halen JCEKS keystore tipini kullanıyor, dikkat ben atladım PKCS12’de destekliyordur diye 🙂 desteklemiyormuş.

Bu dökümanda sertifika isteği yaratmayı değil elimizde imzalı bir sertifika olduğunu düşünerekten hareket ediyorum.

Bu arada sslshopper’da ne güzel yazmış tüm gerekli komutları 🙂 https://www.sslshopper.com/article-most-common-java-keytool-keystore-commands.html

Yapıcağımız işlem üç adımdan oluşuyor

  1. Yeni bir keystore yaratıp sertifikaları buraya import edeceğiz
  2. Yeni keystore’u cell-management-tool eskinin yerine devreye alacağız
  3. Değişiklik devreye girsin diye vCloud Director cell’e ait servisi tekrardan çalıştıracağız

Elimizde bir pfx olduğunu düşünelim, önce ilgili private key’i elde edelim ki http ve consoleproxy için iki ayrı sertifika yaratalım kendisinden.

openssl pkcs12 -in elimizdeki.pfx -out certificate.cer -nodes

certificate.cer’i edit’lediğinizde “—–BEGIN PRIVATE KEY—–” ve “—–END PRIVATE KEY—-”  aralığını private.key dosyasına yazın.

Şimdi http ve consoleproxy için birer pfx yaratalım yeni alias’larıyla

openssl pkcs12 -export -in certificate.cer -inkey private.key -name http -out http.pfx -passout pass:pfx_i_koruyalim_şifresi

openssl pkcs12 -export -in certificate.cer -inkey private.key -name consoleproxy -out consoleproxy.pfx -passout pass:pfx_i_koruyalim_şifresi

Şimdi yeni bir keystore yaratalım bu sertifikalardan , elimizde ilgili sertifika sağlayıcının root ve intermediate sertifikalarınında hazır olduğunu düşünelim.

Dikkat sertifika yolu sizde farklı olabilir 😀
Burada yeni yarattığımız keystore “certificate3”

keytool -importkeystore -srckeystore /root/http.pfx -srcstoretype PKCS12 -destkeystore certificate3.ks -deststoretype JCEKS -deststorepass pfx_i_koruyalim_şifresi -srcalias http -destalias http -srcstorepass pfx_i_koruyalim_şifresi

keytool -importkeystore -srckeystore /root/consoleproxy.pfx -srcstoretype PKCS12 -destkeystore certificate3.ks -deststoretype JCEKS -deststorepass pfx_i_koruyalim_şifresi -srcalias consoleproxy -destalias consoleproxy -srcstorepass pfx_i_koruyalim_şifresi

Root sertifikasını store’a eklerken size buna güveneyim mi diye sorabilir yes deyip geçin şaşırmayın

keytool -importcert -alias root -file /root/addtrustexternalcaroot.crt -storetype JCEKS -keystore certificate3.ks -storepass pfx_i_koruyalim_şifresi

keytool -importcert -alias intermediate -file /root/comodorsaorganizationvalidationsecureserverca.crt -storetype JCEKS -keystore certificate3.ks -storepass pfx_i_koruyalim_şifresi

Eğer durum ne oldu diye görmek isterseniz

keytool -list -keystore certificate3.ks -storetype JCEKS -storepass pfx_i_koruyalim_şifresi

Intermediate olan sertifikayı silmek isterseniz

keytool -delete -alias intermediate -keystore certificate3.ks -storepass pfx_i_koruyalim_şifresi

Bu işlemden sonra ilgili keystore’un owner bilgilerini güncelleyelim

chown vcloud:vcloud certificate3.ks

Burada her bir alias için http ve consoleproxy ayrı ayrı sertifikayı değiştiriyoruz

/opt/vmware/vcloud-director/bin/cell-management-tool certificates -j -s /opt/vmware/vcloud-director/jre/bin/certificate3.ks -w pfx_i_koruyalim_şifresi

/opt/vmware/vcloud-director/bin/cell-management-tool certificates -p -s /opt/vmware/vcloud-director/jre/bin/certificate3.ks -w pfx_i_koruyalim_şifresi

Eğer hangisi consoleproxy hangisi http diye merak ettiyseniz 🙂

/opt/vmware/vcloud-director/bin/cell-management-tool certificates -h

Şimdi servisi kapayıp açalım ..

service vmware-vcd stop

service vmware-vcd start

Herşey yolunda olmalı ….

VM

vcsa 6.5 installer error – There is no ovftool :)

When tried to install vcsa 6.5 from my mac , i got an error like below , i guess each time install everybody will be faced with it

Copy “vcsa” folder inside the iso to related folder in the installer log 🙂

/private/var/folders/sl/dfqvsnj548g7wsq94wrmn3tm0000gn/T/AppTranslocation/

Then get back and click next again , also in vcsa folder you will see the vcsa.ova file too !

VM

Parted util failed with message: Error: The primary GPT table states that the backup GPT is located beyond the end of disk

Bu hatayi ilk kez vSphere 6.5 ile VSAN testi yapmak istedigimde daha onceden tanimli olan bir RAID0 konfigrasyonunu sifirladigimda karsilastim.

Haliyle akla gelen LiveCD ile acmak , Hiren’s.BootCD kullanmak veya daha otesi Windows makineye diskleri baglayip diskleri sifirlamak gibi seyler …

Daha enteresan olan ise vmware’in vSAN kurulumlarinda ilgili diskleri sisteme ekleme durumlarinda problemle karsilasildiginda (uzerinde partition var ise) onedigi partedUtil

Ne yalan soyliyim daha once kurulum sirasinda Alt+F1 ile konsola dusup hic default username/password ne diye aklima gelememisti, kendileri root ve enter ile bos gecin oluyorlar.

Sonrasi daha guzel diskler nerede ?

ls /vmfs/devices/disks/

Diskleri naa.xxxxxx.xxxxx , partitionlari :1  , :2 olarak goreceksiniz.

partedUtil ile yapilan fix , delete gibi gereksiz denemeler hic bir ise yaramdi , hep silmeye konsantre oldugumdan uzerine yazabilecegim aklima bile gelmemisti. Ilgili diski kullanarak bir msdos partition yaratalim.

partedUtil setptbl /vmfs/devices/disks/naa.600508b1001ce940a7831ba05a5475d3 msdos

Simdi tekrar ls cekin ve partitionlar nasil gitmis gorun

Gerekli diger disklerdeki problemleri giderdikten sonra Alt+F2 ile yola devam ..

VM

Openstack Security Group ve FWaaS , sadece cli !

Openstack neutron iki farkli katmanda guvenlik saglar. Ilki port bazli ki instance yaratilirken oncelike port yaratilir ve bu port’a atanan Security Group dogrultusunda VM-to-VM ayni L2 networkunde dair koruma saglayabilirsiniz. Ikincisi ise Router uzerinde, ne zamanki iki farkli network’u veya instance’lari internet’e ve/veya internet’den instance’lara dogru erisim soz konusu oldugunda Router uzerinde uygulanan firewall kurallari devreye girer. Baska bir deyisle Neutron NSX gibi kuzey-guney ve bati-dogu yollari uzerinde koruma saglar.

Security Groups

Security Group(SG), nova security group(NSG) uyumludur, ingress(giris)/egress(cikis) yonunde kural tanimlamanizi bunuda ilgili neutron portlarina uygulamaniza, gercek zamanli kural degisiklikleri uygulamaniza izin verir.

Davranis sekli giris yonunde sadece matched(uyan) aksi taktirde drop. Egress keza ayni fakat her yeni Security Group yaratildiginda disariya dogru tum trafik izinlidir.

Openstack uzerinde varsayili olarak “default security group” mevcut olup disa dogru tum trafik , security group icersinde tum trafik izinli olup disardan gelecek tum trafige karsi kapalidir.

Security Group sonuc olarak bir iptables uyarlamasidir fakat ML2 + OVS entegrastonu biraz karisiktir ve sirf iptables uygulanabilsin diye OVS ile instance arasinda linux bridge entegre edilmistir, ornek bir cizimi asagida gorebilirsiniz.

screen-shot-2016-10-18-at-11-25-05

Read the rest of this entry

sslvpnd can cause ha sync /Webinterface unresponsive issue? -another Fortinet story-

Today we faced Fortinet web interface become unresponsive,  we find out some articles and expect that killing/restarting httpd will be enough but we faced policy load issues for example try to list rules but we have empty response and after some time its gone and need to restart httpd to access webui again.

Then after some investigation we saw that cluster checksum is not consistent (command:diagnose sys ha cluster-csum)

Tried to sync ha config but not succeed (command:exec ha synchronize start) (for more pls check)

Then somehow we maybe did not prioritise  but cluster member which web interface is working but first snmp service stop response and then sslvpn connections are start to not work ! in this time what i remember we changed the password of sslvpn user but i don’t think that this help us but when we kill the sslvpnd magically non-responsive fortinet box become to run , after all checked ha csum its worked and snmp also start to work !

Actually if we did not try this (also vendor said that related firmware have a bug) we have to restart nodes and this will cause some downtime  . Version is 5.2.6

Some good link for debugging ha http://kb.fortinet.com/kb/documentLink.do?externalID=FD36494

diag  debug enable
diagnose  debug  console  timestamp enable
diag debug application hasync -1
diag debug application hatalk -1
execute ha synchronize start

When you can not kill process gently -another Fortinet story-

I expect that you know the pid but if its not you have two ways

Option 1

Walter (global) # diag test app snmpd 1

snmpd pid = 161

Option 2 (somehow related commands are not return some processes pids, then start to use fnsysctl )

List pid files then get pid id from related file

Walter (global) # fnsysctl ls /var/run/

Walter (global) # fnsysctl cat /var/run/snmpd.pid

161

Then execute (somehow diag sys kill 11 <pid_id> do not kill related pid)

Walter (global) # fnsysctl kill -9 161

thats it !

When Fortigate ips engine and AV engine fuck everything !

Since the beginning we have always trouble about choosing wrong hardwares , developer issues like handle sessions with single core , then ASIC things , its always changing  NPx support something NPy support more , end of the day you will always have NPx/y/z/t/u what released but cost is another issue but don’t worry providers always things these are usual things. Hope one day with DPDK or another technology will help us to use firewalls without ASICs and without need always buy new hardwares. (I know you know SDDC , SDN also i know ! )

I know this device is UTM , UTM is somehow fancy things, you know you shouldn’t use , know what will happen but you have to because of some situations (for ISPs)

AV issues , IPS engine issues , conserve mode ! I don’t how you really protect my device and network behind

Big problem AV and memory , still can not understand small to bigger devices why more ram is not used ! Memory is expensive ? or maybe still 32 bit ! What developers can’t handle ?

at the end AV full the ram , whole device under stress and communication issues , BGPs or OSPF are gone ! :(((

For AV its not working like a linux services or something ? you should kill it ! Step by Step , each process , disabling AV is not helping every time

Login your device , switch to config global (it is also command ) then execute diagnose sys top see the processed press q and leave to console execute diagnose sys kill 11 <process_id> . Here we are using because maybe some outputs we could have then fallow console for mem usage.

Another issue is ips engine , so understandable command diag test 🙂 lovely , its not meaningful for me but meaningful for developer or who maintain cli commands

diagnose test app ipsmonitor

You will see nice options and choose what you exactly want , restart , stop , start , get status

Also if you run cluster then consider do same things on slave 🙂 to switch slave

  • config global
  • get system ha status
  • exec ha manage 1 (mostly)

Good fixes !

VM

VisorFSObj: 1954: Cannot create file /var/lib/vmware/hostd/journal/1462853708.8163 for process hostd-worker because the inode table of its ramdisk (root) is full.

Problem : No vMotion , No possibility to start VM

in vmware.log on ESXi host is like below

VisorFSObj: 1954: Cannot create file /var/lib/vmware/hostd/journal/1462853708.8163 for process hostd-worker because the inode table of its ramdisk (root) is full.

All articles talking about snmpd but snmpd was not working for us but inodes table is still full .

Command to see inode usage is : esxcli system visorfs ramdisk list

To Solve the problem ;

You can use any way to handle it until find out this article but better solution is try to stop unused services like if its HP you can stop some of it like ams or stop CIM services , vm or something like that to free up inodes and then try to move vms on that server to go !

I know its not good solution but this is the last thing we can do to solve the problem before find better solution 😉

VM