post image

vRealize Network Insight (vRNI) Platform Kurulumu Bolum-1

Merhaba,


Bu Makalede VMware vRealize Network Insight (vRNI) 4.1.1 platform ve proxy kurulum adımları ile 5.0 versiyon update işlemleri nasıl yapılacağı hakkında 3 bölümden oluşan yazı dizisinin ilk bölümü ile vRealize Network Insight (vRNI) nedir ve platform kurulumu hakkında bilgiler vereceğim.


Öncelikle VMware Ortamınızda Distrubuted Switch (Dswitch) yapısı gerekmektedir. VMware vRealize Network Insight (vRNI), yazılımı hem fiziksel hem sanal network ortamı aralarındaki trafik ve performans bilgilerini noktadan noktaya trafik analizi yapar.Bu ürün yardımıyla, sanal ve fiziksel ağlarda görünürlük ve analizlerle ağ performansını ve kullanılabilirliğini optimize edebilirsiniz.Ağınız üzerindeki dar boğazları görüntüleyerek performans sorunlarınızı hızlı bir şekilde ortadan kaldırır,mevcut network altyapı yatırımları için ciddi anlamda katkı sağlar.VMware NSX tarafında hızlı ve güvenli bir şekilde yönetmek ve ölçeklendirmek için mikro segmentasyon güvenliğinin uygulanması için planlama, öneriler ve ayrıca operasyonel görüşler sağlar.


Minumum sistem gereksinimleri 


vRealize Network Insight Platform



vRealize Network Insight Proxy



Vcenter ilgili data center’ımız üzerinde OVF Template Deploy edildikten sonra,açılan CLI ekranın username consoleuser , password: ark1nc0ns0l3 olarak giriş yaptıktan  Buraya setup yazarak gerekli ayarlar sayfasına ulaşacağız.



Belirleyeceğimiz SSH User Password ve CLI User Password kısımları giriyoruz.



Diğer adımda network configuration, IP adresi,Subnetmask ,Gateway, DNS  bilgisi ve son olarak domain bilgisinin yazdıktan sonra Save Configuration kısmında "Y" harfine basarak , bilgilerimizi kaydediyoruz.



Networking servisleri restart olduktundan sonra NTP bilgilerimizi girdikten sonra Ortamda Web Proxy olmadığından ve Telemetry Müşteri Deneyimini Geliştirme Programının bir parçası olarak kullanım istatistiklerini Vmware e göndermek istemediğimden "n" ile devam ediyorum.



Bütün bilgileri girdikten sonra servislerin up ve runing olduğunu görüyoruz.



Lisan Key bilgilerini girerek doğruluyoruz.



Web arayüzden erişeceğimiz Admin Passwordunu belirliyoruz.



Activate sonucunda proxy kurulumu sırasında import edeceğimiz shared secret keyi oluşturuyoruz.



VMware vRealize Network Insight (vRNI) platform kurulumu Bölüm-1 Sonuna geldik.


vRealize Network Insight Proxy kurulumu Bölüm-2 için https://www.rizatatlisu.com/haberoku.php?id=50 ilerleyebilirsiniz.


Bir sonraki makale de görüşmek üzere


Faydalı olması dileğiyle.


İyi Çalışmalar.


 


 


 


 


 


 


 


 

post image

VREALIZE NETWORK INSIGHT (VRNI) PROXY KURULUMU BOLUM-2

Merhaba,


Bu Makalede daha önce  paylaşmış olduğum VMware vRealize Network Insight (vRNI) 4.1.1 platform kurulumu sonrasında proxy kurulumu ile devam edeceğiz.


Proxy ovf template deploy ederek son adımda platform kurulumunda oluşturduğumuz shared secret keyi belirtilen bölüme yapıştırıyoruz.



Belirleyeceğimiz SSH User Password ve CLI User Password dan sonra network configuration, IP adresi,Subnetmask ,Gateway, DNS  bilgisi ve son olarak domain bilgilerini girdikten sonra Save Configuration kısmında "Y" harfine basarak , bilgilerimizi kaydediyoruz.



Ortamda Web Proxy olmadığından ve Telemetry Müşteri Deneyimini Geliştirme Programının bir parçası olarak kullanım istatistiklerini Vmware e göndermek istemediğimden "n" ile devam ediyorum.



Ortamdaki proxy algıladıktan sonra finish ile kurulumu bitiriyoruz.



Artık belirlediğimiz IP adresi üzerinden consol erişimini sağladık bilgilerimizi girerek login oluyoruz.



ilk olarak vCenter entegrasyonu yapmamız gerekiyor. 



Ortamda bir proxy kurduğumdan ilk olarak proxy seçimini yapıyoruz, sorun yaşamamak adına belirli aralıklarla değişmeyecek administrator credential bilgisi giriyorum. Enable Netflow seçeneğini aktifleştirerek, son olarak hangi VDS ten flow verilerini çekmek istediğimizi belirliyoruz.



Not: vCenter ilgili Dswitch Netflow Collector IP adresini Network Insight (vRNI) proxy adresi olduğunu doğrulamayı unutmayın.



VMware vRealize Network Insight (vRNI) proxy kurulumu Bölüm-2 Sonuna geldik.


vRealize Network Insight version 5.0 update işlemi nasıl yapılır Bölüm-3 için https://www.rizatatlisu.com/haberoku.php?id=51 ilerleyebilirsiniz.


Bir sonraki makale de görüşmek üzere


Faydalı olması dileğiyle.


İyi Çalışmalar.

post image

NSX-T DATA CENTER 2.5 UPGRADE BOLUM-2

Merhaba,Bugün sizlere önceki yazımda VMware NSX-T Data Center 2.4.1 versiyonundan 2.5.0 versiyon Upgrade öncesi yapmanız gereken bir takım adımlardan bahsedmiştim,şimdi ise upgrade işlemlerini gerçekleştireceğiz.NSX-T 2.5 Yükseltme Kılavuzu na girerek VMware, NSX-T Veri Merkezi ni yükseltmek için gözden geçirilecek öğelerin bir kontrol listesini sağlamanız gerekmektedir.Linkten https://docs.vmware.com/en/VMware-NSX-T-Data-Center/2.5/upgrade/GUID-E35506A7-8050-482A-BABA-F356D2AC3B65.html erişebilirsiniz.Mevcut yapınızda kullanmadığınız adımları geçebilirsiniz.



Upgrade işleminin ilk adımı admin kullanıcısı ile NSX-T consola SSH yapmak ve Install-upgrade hizmetinin çalıştığını doğrulamak gerekmektedir.



https://my.vmware.com/web/vmware/details?productId=673&downloadGroup=NSX-T-250 adresinden .mub uzantılı upgrade media sını download ettikden sonra, manuel deployment ettiğiniz Appliance login olarak NSX-T Veri Merkezi arayüzünden system sekmesi altında upgrade seçeneği ile ilerliyoruz.



Bu bölüm, upgrade paketini yüklemek ve onaylamak için 10-20 dakika sürebilir. Paket kullanıma hazır olup olmadığını kontrol ettikten sonra upgrade işlemine başlayabiliriz.



Continue butonuna basıldığında, EULA sözleşmesi ve ardından upgrade sürecini başlatmış oluyoruz.



Run Pre Checks seçeneği ile tüm nodeların ön kontrollerini yapıyoruz.



Upgrade ön testleri, yükseltme işlemi sırasında oluşabilecek tüm sorunları gösterir,aşağıda görüldüğü gibi host ve management node da hatalarla karşılaşıldı.



Upgrade öncesi Clusterlarınızda DRS açık olması gerekmektedir.Host ön kontrol sorunlarına bakıldığında, Ana host, DRS etkinleştirilmemiş bir clusterda tek bir node olarak çalışmaktadır.Test ortamı olduğu için bu hatayı göz ardı edebiliriz,fakat bu hostu Maintenance moda alarak upgrade işlemine devam edebilirz.



NSX-T Manager den Edge Nodes ve Transport Nodes a 5671 numaralı TCP bağlantı noktasını TCP bağlantı noktası 1234 olarak değiştireceğinden,TCP 1234 numaralı portların açık olduğundan emin olmamız hakkında uyarıda bulunulmaktadır.



NSX-T Veri Merkezi dağıtımının upgrade edilen ilk bileşeni, Edge Clusters ve  Edge Nodes dur.Burda dikkat edilmesi gereken bir konuda upgrade order accross group serial ve paralel seçenekleridir.Edge upgradeleri gruplar halinde yapılır, her “Edge Grubu” bir Kenar Kümesinin parçası olan Edge Nodelerden oluşur. Grubu upgrade etmemizin en açık nedeni, kümedeki tüm Edge Nodelerin aynı sürümde çalışmasını sağlamaktır.Birden fazla Edge Clusterınız varsa, Serial seçeneği ile her biri için bir grup oluşturur ve grupların upgrade sırasını seçebilirsiniz. Yalnızca tek bir Edge Clusterınız varsa Paralel seçeneği ile ilerleyebilirsiniz.Kısacası Serial seçeneği Edge cluster altındaki tüm nodlarınız sırası ile daha stabil ve yavaş şekilde upgrade yaparken Paralel seçeneği aynı anda Upgrade yapar.



Edge Node upgrade işlemi Başarılı bir şekilde tamamlanıyor.Şimdi bir sonraki adıma geçebiliriz.



Sonraki adımda vCenter altındaki Clusterlarımıza ait Hostlarımızı Upgrade ediyoruz.Yukarıda bahsettiğim gibi cluster altında birden çok nodelarım olduğu için bu işlemin sırası ile Maintenance moda alınarak gerçekleşmesi için Serial seçeneği ile ilerliyorum.



Tüm hostaların upgrade işlemeleri başarıyla gerçekleşti.



Sürecin son adımı NSX-T Manager node kendisini upgrade etmektir.Upgrade sırasında tek Appliance üzerinde çalışıyorsanız kullanıcı arayüzüne erişim veya REST API işlemleri etkilenebilir. Bu geçicidir ve NSX-T tüm veri işlemleri geri planda hala çalışmaya devam eder.VMware tarafından önerilen yapı Management Clusterınızda en az 3 en fazla 3 Management Appliance bulunması gerekmektedir.



NSX-T Manager node upgrade işlemi tamamlandı.



Upgrade sonrası sistem yükünde bir artış olacak ,bir süre sonrada düşecektir.Herhangi bir sorun yaşamamak adına sırası ile tüm yapınızı check etmenizi öneririm



ESXi hostlardan birinin kullanılmıyor olarak görebilirsiniz.Bunun nedeni host üzerinde herhangi bir iş yükünün olmamasıdır.



Edge Transport Node ları suuccess durumda olduklarını kontrol ediyorum.



Edge Transport Nodelarınızdan birine SSH üzerinden admin yetkisi ile giriş yaparak komutu "get edge-cluster status" çalıştırın High availability state Active olduğuna dikkat edin.Tüm trafiği double check yapmak isterseniz de karşılıklı RDP yapabilirsiniz.



NSX-T DATA CENTER 2.5 UPGRADE BOLUM-2 yazımızın sonuna geldik.


Bir sonraki makale de görüşmek üzere


Faydalı olması dileğiyle.


İyi Çalışmalar.

post image

VMware NSX-T 2.5 Datacenter Yenilikleri

Merahaba,Bu gün sizlere VMware NSX-T 2.5 Datacenter sürüm Yeniliklerinden bahsedeceğim.VMware için Virtual Cloud Network  NSX tabanlı sadece NSX-T değil birden fazla bileşen içermektedir.Bu bileşenler NSX Datacenter (NSX-T/NSX-V), SD-WAN, App Defence, NSX Cloud ve Hybrid Connect dir. Aslında VMware firmasının ana işi sanallaştırma ve belli başlı networking özelliklerine sahip olan bir firma olsada müşterilerin networking konusunda yaşadığı önemli zorlukları adresleyecek ve dijital dönüşümü destekleyecek bir network çözüm firmasına doğru olan geçiş aşamalarıdır.



NSX Cloud


Agent-less micro-segmentation (native cloud enforcement mode olarak adlandırılır). AWS ve Azure için tasarlanmıştır.VM attributes ve NSX based dayalı olarak NSX te security policiler tanımlayabilirsiniz.Temel olarak, NSX tools VM lerinize public cloud ortamlarında kurmak istemeyen müşterilere seçenek sunar.



VMware NSX-T 2.5, Gateway firewall Layer-7 APP-ID yi artık destekliyor.Önceki versiyonlar da sadece L3-L4 GW Fw yi desteklediği gibi Layer-7 seviysinde kural setleri için Cluster Başına Lisanslanan Palo Alto VM-Series Vitual Firewall ile entegre etmek gerekiyordu. NSX-T 2.5 ile app-identity policy T1 GW firewall da desteklemektedir.



NSX Container Update edilerek 2.4 sürümde tek bir model bulunmaktaydı.Kubernet ler yalnızca 1 Katmanlı yaratabiliyordunuz.2.5 sürümünde ise, Tier1 router bir clusterdaki tüm Namespaces ve bütün clusterlar shared edildiği yeni bir model vardır.



NSX-T yazdığınız bir firewall kuralını taslak olarak kaydedilmesini, görüntülenmesini sonrasında değişikliklerinizi geri alabilleceğiniz bu özelliği otomatik olarak etkinleştirilebilir veya devre dışı bırakılabilirsiniz.



KVM için FQDN Whitelisting desteği ile ESXi için FQDN blacklisting desteği eklendi.Specific domain ve URL erişime izin vermenizi veya reddetmenizi sağlar.



NSX-T capacity monitoring, Easy Monitoring Kolayca UI veya API üzerinden raporlar oluşturabilir, NSX-T ortamınızın kapasitesini izleyebilirsiniz.



Her ne kadar yaygın kullanılmasada genişletilmiş IPv6 işlevleri eklenmiştir.


Stateless Address Autoconfiguration (SLAAC); IPv6 ile gelen otomatik adres desteğine  verilen isimdir. Router Advertisement mesajları göndererek kullanıcının bulunduğu subnete ait prefix i öğrenerek EUI-64 mekanizması ile otomatik ip adresi alabildiği mekanizmadır.


DAD (Duplicate Address Detection); Çoklu Adres Tespiti düğümler bir adresin kullanımda olup olmadığını kontrol eder.Aynı IP almaya karşın algılayarak çakışmaları ve güvenlik açıklarını engeller. 



Genişletilmiş işletim desteği ile aşağıdaki OS lere destek vermektedir.



VMware NSX-T 2.5 Datacenter Yenilikleri konulu yazımızın sonuna geldik.


Bir sonraki makale de görüşmek üzere


Faydalı olması dileğiyle.


İyi Çalışmalar.


 


 


 


 

post image

VMware NSX-T Datacenter Terminology

Merhaba,Bu gün sizlere NSX-T Datacenter belli başlı terimlerden,kısaltmalar ve bunların açıklamalarına göz atalım.


Logical Switch (LS) : Fiziksel switch ile benzer özellikleri olan, sanal makinelerin izolasyonları için yaratılan broadcast domainlerdir.


Transport Zone (TZ) : Sadece VLAN ile çözüm ürettiğimiz zamanlarda , bir VDS yaratmak, içersinde her bir VLAN için bir port-group yaratırdık, network bazında ESX kurulu fiziksel sunucunun bağlı olduğu switch portlarını trunk ayarlar, ilgili tüm VLANların buradan geçmesi için config yapardık ki vMotion yaptığınızda ilgili VM ler network bağlantılarını kaybetmesin. Network sanallaştırma dünyasında VLAN karşılığı LS/VXLAN olduğundan bunlarında overlay networkde nereye kadar uzanacağını hangi fiziksel ESX sunucular üzerinde koşabileceklerini TZ u uyguladığınız küme(cluster) ve veya tekil sunucu bazında limitlemiş veya genişletmiş oluyorsunuz.


Transport Zone Tipleri : Overlay ve VLAN

Transport Node (TN) : Kısaca TZ’u ESX, KVM ve Edge sunuculara atadığınızda ilgili sunucular dönüşüp TN rolüne sahip olmuş oluyorlar.

N-VDS : NSX Managed Virtual Distributed Switch.


N-VDS Name : TZ yaratırken ilgili N-VDS’e vereceğiniz isim.




MTU : Tüm yeni kurulumlarınızda hem vSwitch , Uplink Profile, hemde fiziksel switche bağlı portlarda hiç düşünmeden, varsayılan olarak 9000 ayarlamanızı tavsiye ederim.


pNIC : NSX-T ile konfigürasyon yapmaya başladığınızda ve ESX sunucular üzerindeki fiziksel network kartlarından bahsetmeye başladığımızda bunlara artık vmnic değil pNIC demeye başlayacağız.

Service Router (SR) : NAT, DHCP Server, Metadata Proxy, Edge Firewall ve Load Balancer olmaktan sorumlu.

Distributed Routing (DR) : Her hypervisorda kernel modül olarak kurulu ve routing işleminden sorumlu.

VDS : Virtual Distributed Switch


T0 ile T1 nedir ?

Geleneksel yapıda bizim fiziksel veya sanal netscaler, f5, gibi load balancerlarımız olur, firewall olarak Fortinet,Palo gibi ürünler kullanır, atadığımız networklerin varsayılan GW leri ya bu LB yada FW cihazlar olur, kurallar burada uygulanır, dış dünyadan ilgili ki buna kuzey güney trafiği diyoruz networklerdeki servislere ulaşmak içinde FW veya LB üzerinde ya statik yada dinamik routing protokolleri ile network tarafında routerlar ile aramızda OSPF, BGP veya statik route konfigürasyonları yapıyoruz.

NSX-V ile bu yapıyı konuştuğumuzda ESG (Edge Service Gateway) ve dinamik routing koşacak isek Control VM in varlığından bahsetmeliyiz. ESG tüm kuzey ve güney dediğimiz trafik e yukarıda geleneksel yapıda verdiğimiz servisleri üzerinde barındırıyordu.

NSX-T ile beraber Tier0 (T0) ve Tier1 (T1) adı verilen iki router var, bana göre rol/obje gibi farklı şeyler içersinde bulunduruyor. İlla her ikisinin kullanılması gerekir gibi bir şart yok. Bu daha çok kullanım şekliniz ile alakalı olacak. T0 arkasında LS bağlayabilirisiniz ve yolunuza devam edebilirsiniz ki buna single tier diyorlar veya T1 arkasına LS bağlayıp, T1 ide T0 bağlayarak two-tier adı verilen bir yapıya sahip olabilirsiniz.



Neden two-tier dizayn var, çünkü “Multitenancy” gereksiniminden dolayı örnek vermek gerekirse servis sağlayıcının müşterileri için örneklendirebiliriz. Bir servis sağlayıcı her bir müşterisine routing ve networking servisleri için bir T1 verdiğini düşünün. Müşteriler firewall, NAT ,LB gereksinimlerini T1 üzerinde halledecekler fakat dış dünyadan kendi yarattıkları servislere erişim verilmesi için sahip oldukları public ip adreslerininde dünyaya anons etmeliler, bunun için bir ayrıştırma daha yapıp T0 katmanını yaratıyoruz, bu katman provider router denilen yani ISP’inin sahip olduğu Juniper, Cisco, Arista gibi routing yapan cihazlarla T0 router arasında BGP (sadece BGP) komşuluğu kurduğunu düşünün. Bundan sonra tek yapılması gereken şey T0 ile T1 router’larının birbirlerine bağlanması ve T1 üzerinde anons edilmesi gereken public ip adreslerinin provider router’lara geçirilmesi.

Edge Node ve Edge Node Cluster Nedir ?

Edge nodelar NSX-T ile beraber yapı olarak ESG’lerden farklı bir hale bürünmüş durumda. Her bir edge node aslında mantıksal boş bir obje, edge node cluster ise bu objelerin guruplanmış hali. Birşey uygulamak istediğimizde edge node’a değil, edge node clustera uyguluyorsunuz.


ESG gibi üzerinde tüm servisleri (NAT,VPN,LB gibi) bulundurmuyor sadece ve sadece üzerinde koşması gereken servisler ne ise onu koşturuyor üzerinde. Haliyle Edge Node’un yüksek erişilebilir olması değil edge node clusterda koşan servislerin yüksek erişilebilirliği olması sağlanıyor.


Ek olarak iki farklı tipi mevcut yine ESG’e göre farklı olan, sadece VM bazlı değil aynı zamanda Bare Metal dediğimiz fiziksel bir sunucu üzerindede ilgili servisleri çalıştırabilir durumda olunabilecek NSX-T ile beraber performans amaçlı gelmektedir.



SR ve DR Nedir ?

T0,T1 Router ile Edge ve Edge Node Cluster konusu birbiri ile yakından ilgilendiren iki konudur.T0 veya T1’i mantıksal iki bileşenden oluşan bir konteyner veya bir yapı olarak düşünmeliyiz. Bu iki bileşenlerden biri SR (Service Router) ve diğeri DR (Distributed Router). Başka bir deyişle hypervisor üzerinde dağıtık çalışabilecek servisler DR’ı , merkezi bir yerde çalışması gereken servislerde SR’ı oluşturuyor veya doğu-batı trafiği DR’ı , kuzey-güney trafiği ise SR’ı.


SR ki, içerdiği tüm servisler ( dış dünyaya olan fiziksel bağlantı, NAT, DHCP, MetaData Proxy, LB, Edge Firewall ) işte bu edge node cluster yüklenicisindeki edge node’lar üzerinde çalışmakta.Yani edge node cluster içersindeki edge node’larda bir sürü T0 ve T1 SR instance’ları çalışıyor demek olacak.


VMware NSX-T Datacenter Terminology konulu yazımızın sonuna geldik.


Bir sonraki makale de görüşmek üzere


Faydalı olması dileğiyle.


İyi Çalışmalar.

post image

NSX-T Data Center 2.5 Upgrade Bolum-1

Merhaba,Bugün sizlere VMware NSX-T Data Center 2.4.1 versiyonundan 2.5.0 versiyon Upgrade öncesi yapmanız gereken bir takım adımlardan bahsedeceğim daha sonraki paylaşımım da kurulum adımları ile ilerleyeceğim.


Yapılacak ilk şeylerden biri, olmazsa olmazlardan ESXi ve vCenter Server sürümünün NSX-T Data Center 2.5 ile uyumlu olduğundan emin olmak için VMware Product Interoperability Matrix kontrol etmektir.Mevcut altyapınızda ESXi 6.7 U2 U3 ve vCenter Server sürüm 6.7 U2 U3 ü kullanıyorsanız sorun bulunmamaktadır.



Aynı web sayfasındayken,Upgrade path sekmesine tıklayarak yönetici, NSX-T Veri Merkezi nin hangi sürümlerinin yükseltme yollarını desteklediğini görebilirsiniz.



Eğer ki Mevcut ESXI ve vCenter sürümünüz 6.7 U1 ise NSX-T 2.5 desteklediği sürümler en az vCenter Server Appliance 6.7 Update 1b  (Build Number 11726888)  ve ESXI 6.7 EP 06 (Build Number 11675023) olmalıdır.



HCI (Hyper Converged) Altyapılarından Dell VxRail,Hpe Simplivity,Nutanix gibi herhangi bir üreticiye ait Node ları kullanıyorsanız doğal olarak yapınızın üreticilerin belirlediği vCenter ve ESXI versiyonlarında olması gerekmektedir. Örnek vermek gerekirse aşağıda HPE Simplivity e ait OmniStack Virtual Controller (OVC) versiyonları ile desteklediği ESXI versiyonları build numaraları ile yer almaktadır,son bir yılda satılan Node lar genellikle OVC 3.7.7 ve üzeri versiyonlardır.Siz ekstra indirmediğiniz sürece Kurulum mediasın dan ESXi 6.7 U1 (Build Number 10302608) çıkmaktadır. ESXI 6.7 EP 07 (Build Number 13004448) update ederek sorunsuz bir kurulum yapabilirsiniz.



Yukarıda tüm bahsettiğim konuların hiç birine dikkat etmeyerek bir kurulum yapmaya çalıştığınız da aşağıdaki gibi bir problem yaşarsınız.RESOLVE seçeneği de size çözüm olmaz.



Update işlemlerine başlamadan önce Mevcut NSX-T Sysytem Backup almanız olası problem sonucunda hızlıca geri dönmenizi sağlayacaktır.



NSX-T 2.5 Yükseltme Kılavuzu na girerek VMware, NSX-T Veri Merkezi ni yükseltmek için gözden geçirilecek öğelerin bir kontrol listesini sağlamanız gerekmektedir.Linkten https://docs.vmware.com/en/VMware-NSX-T-Data-Center/2.5/upgrade/GUID-E35506A7-8050-482A-BABA-F356D2AC3B65.html erişebilirsiniz.Mevcut yapınızda kullanmadığınız adımları geçebilirsiniz.



Yukarıdaki adımlardan öne çıkan konular;


Mesajlaşma Bağlantı Noktası Değişikliği ; Mesajlaşma kanalında NSX-T Manager Transport and Edge Nodes bağlantı noktası değişikliği vardır. Bu TCP bağlantı noktası TCP 5671 den TCP 1234 olacak şekilde değiştirildi. Upgrade Sırası Değişikliği  NSX-T 2.5 e Upgrade yaparken Host bileşeni Upgrade önce Edge bileşeni Upgrade edilmelidir. Bu geliştirme, genel bakım penceresini azaltmak için optimizasyonlara izin vererek bulut altyapısını Upgrade ederken önemli avantajlar sağlar.NSX-T Manager boyut, disk, vCPU veya bellek gereksinimleri açısından 2,4,1 den 2,5 e kadar gereksinimlerde değişiklik yapılmadı.


Manager Upgrade; NSX-T Manager den Edge Nodes ve Transport Nodes a 5671 numaralı TCP bağlantı noktasını TCP bağlantı noktası 1234 olarak değiştirecektir. NSX-T Manager ile Transport or Edge Nodes arasında bir güvenlik duvarı olmadığından herhangi bir sorun olmamaktadır.


Edge Cluster Upgrade ; Edge Cluster Upgrade edilmesi sırasında Doğu-Batı veriyolu trafiği arasındaki kesinti sırasında Kuzey-Güney veriyolunun olası etkisinden kaynaklanmaktadır. Bu olası trafik kesintisinden dolayı Edge Cluster Upgrade için kesinti almanız gerekmektedir.


Hosts Upgrade; Çalışan VM lerin herhangibir kesintiye uğramaması için Tüm ESXI sunucuları DRS etkin olacak şekilde Maintenance moduna alınarak Upgrade işlemini yapabilirsiniz.


Management Cluster Appliances durumlarını kontrol ederek üzerinde herhangibir Alert olmadığından emin olun.



Host Transport Nodes sekmesin de Configure ettiğiniz ESXI hostların Configuration state kısmının Success olduğundan emin olun.



Edge Transport Nodelarınız var ise Configuration Success,Node status Up olduğundan emin olun.



Edge Transport Nodelarınızdan birine SSH üzerinden admin yetkisi ile giriş yaparak komutu "get edge-cluster status" çalıştırın High availability state Active olduğuna dikkat edin.Tüm trafiği double check yapmak isterseniz de karşılıklı RDP yapabilirsiniz.



Upgrade işlemleri için https://my.vmware.com/web/vmware/details?productId=673&rPId=41324&downloadGroup=NSX-T-250 adresinden myvmware accountunuzla login olarak mub. uzantılı dosyayı indirmeniz gerekmektedir.



NSX-T Data Center 2.5 Upgrade Bolum-1 yazımızın sonuna geldik.


Bir sonraki makale de görüşmek üzere


Faydalı olması dileğiyle.


İyi Çalışmalar.

post image

VMware NSX-T ile NSX-V Arasındaki Farklar Nelerdir

Merhaba,Bu gün sizlere VMware NSX-T ile NSX-V Arasındaki Farklar Hakkında bir takım bilgiler vereceğim.NSX-T  ile beraber artık KVM üzerinde, AWS’de veya Azure üzerinde NSX koşabiliyor.



Ayrıştırma (decoupling) devam ediyor. Mesela artık vCenter ile NSX-T Manager ile aranızda artık zorunlu bir bağ yok.



NSX Managerınızı kurun ve yönetmek istediğiniz ESXI veya KVM sunucuları, vCenterları sadece buraya eklemeniz yeterlidir. vCenter “Compute” iş yükünüzü yönetir, NSX ‘de networking ve diğer servisleri yönetir.



Bununla beraber NSX-T ile beraber göreceğiniz çok fazla profile mevcut, bu profiller ile hızlı ve basit bir şekilde bileşenleri yöneteceksiniz. Uplink Profile (UP):  NSX-T ile beraber hayatımıza pNIC diye bir kavram giriyor, elimizdeki network kartları ve sunucunun bağlantı şeklinde göre LACP veya Non-LACP, MTU, VLAN bilgilerinden bir profile oluşturuyoruz ve bunuda TZ yaratırken veya TZ’a node eklerken ilgili sunuculara veya Edge TN ekliyoruz.



Switching Profile (SP) :NSX-V ile vCenter üzerinde Distrubuted Port Grouplar oluşturuyorduk fakat NSX-T tarafında tüm vLAN lar için Logical switch profile yaratmanız gerekmektedir.



Yeni Virtual switch NSX Managed Virtual Distributed Switch. (N-VDS) .NSX-V için VDS üzerine kurulan ek vib’ler ile NSX-V özelliklerini desteklemeye başlıyordu fakat NSX-T ile bu değişmiş durumda. N-VDS bunun dışında tüm geri kalan yönetim, vMotion gibi diğer trafik tiplerinide taşıyabiliyor.Geçmişte VSS’den VDS’e kernel portlarını migrate edibiliyorduk aynısını yönetim ve diğer trafikler için N-VDS migrate için kullanabiliyorsunuz.



Konteyner dünyasındada en önemli konulardan biri orkestrasyon ve güvenlik. Burada NSX-T ile beraber sanal iş yüklerinize uyguladığınız güvenlik mekanizmalarını ve diğer servisleri (NAT, FW, LB gibi) aynısını konteynerler için uygulayabiliyorsunuz.



N-VDS’in diğer bir yenilik ise Enhanced Datapath yani DPDK desteği ; 5G alt yapısında SDN ve NFV kullanımının yoğun olacağından artık servisler sanallaştırılacak ve tüm trafikte bu sanal ortamlardan geçeceğinden sanal ortamlardaki networklerinde performanslarının artırılması gerekiyor, aynı zamanda düşük gecikme ihtiyacı olan diğer servisler içinde DPDK ile N-VDS Enhanced Datapath mode ile desteklenecektir.



Artık NVGRE,VXLAN,STT gibi encapsulation protokolleri yerine GENEVE Overlay protokolü gelecek.NSX-T ile beraber GENEVE protokolü kullanılmaya başlanmıştı.Bu işlemleri offload edebilmek için switch chip ve network kartlarıda mevcut. GENEVE-Offload ve GENEVE-RxFilter uyumluluk listesi için https://www.vmware.com/resources/compatibility/search.php link üzerinden erişebilirsiniz.



Son olarak NSX-V versiyondan NSX-T versiyon geçişleri için NSX-T 2.4 ile beraber otomatik migration gelmeye başladı, tamamen migrate edemesenizde belli bir oranda geçiş yapabilirsiniz.


VMware NSX-T ile NSX-V Arasındaki Farklar Nelerdir yazımızın sonuna geldik.


Bir sonraki makale de görüşmek üzere


Faydalı olması dileğiyle.


İyi Çalışmalar.


 


 


 

post image

VMware NSX-T Data Center Manager Appliance kurulumu

Merhaba Bugün sizlere VMware NSX-T Data Center Manager Appliance Deploy işlemleri ile öncesinde nelere dikkat etmeniz gerektiği hakkında bilgiler vereceğim.Yapılacak ilk işlerden biri, ESXi ve vCenter Server sürümünün NSX-T Data Center 2.5 ile uyumlu olduğundan emin olmak için VMware Product Interoperability Matrix kontrol etmektir.Mevcut altyapınızda ESXi 6.7 U2 U3 ve vCenter Server sürüm 6.7 U2 U3 ü kullanıyorsanız sorun bulunmamaktadır.



Aynı web sayfasındayken,Upgrade path sekmesine tıklayarak yönetici, NSX-T Veri Merkezi nin hangi sürümlerinin yükseltme yollarını desteklediğini görebilirsiniz.



Eğer ki Mevcut ESXI ve vCenter sürümünüz 6.7 U1 ise NSX-T 2.5 desteklediği sürümler en az vCenter Server Appliance 6.7 Update 1b  (Build Number 11726888)  ve ESXI 6.7 EP 06 (Build Number 11675023) olmalıdır.



https://my.vmware.com/en/web/vmware/info/slug/networking_security/vmware_nsx_t_data_center/2_x adresinden kurulum için gerekli OVA dosyasını download ediyoruz.



OVA dosyasını download ettikten sonra vCenter Server a login oluyoruz ve Cluster veya Datacenter üzerinde sağ click Deploy OVF Template butonuna basıyoruz.Browse seçeneği ile local diskimizde bulunan ova dosyasını deploy edip Next seçeneği ile ilerliyoruz.



NSX-T Manager Appliance adını girin. Sanal makinenin dağıtılacağı bir klasör veya uygun host ve cluster seçerek ve Next ile ilerliyoruz.



Bir hedef cluster seçip Next ile ilerliyoruz.



Tüm ayrıntıları gözden geçirip  Next ile ilerliyoruz.



Yapınıza uygun NSX-T Manager Appliance boyutunu seçin. 



Yeteri alana sahip datastore seçerek Next ile ilerliyoruz.



NSX-T Manager Appliance erişeceğiniz Network adapteri belirliyoruz.



System Root User Password ,CLI "admin" User Password,CLI "audit" User Password ,Tüm Ağ gereksinimlerini,DNS server ve Host name bilgilerini giriyoruz ardından Next ile ilerliyoruz.



Son olarak tüm yapılandırmayı gözden geçirip. Finish ile deploy işlemini başlatıyoruz.



Deploy işlemi bitiminde belirlediğiniz IP adresi üzerinden yine daha önce belirlediğiniz "admin" kullanıcı ile NSX-T management appliance erişiyoruz.



NSX-T Manager ana ekranında, System> Appliances seçeneğinden Manual deploy ettiğiniz Management Clusterın altında bulunan Appliance durumunu kontrol edin.



ADD Nodes seçeneği ile diğer Management Applianceları deploy etmemiz gerekmektedir.VMware aşağıda uyarıda görüldüğü gibi minimum 3 nodedan oluşan bir cluster yapısını önermektedir.System Root User Password ,CLI "admin" User Password,DNS server ve NTP server bilgilerini giriyoruz ardından Next ile ilerleyip IP adresini belirleyerek finish seçeneği ile otomatik deploy işlemini başlatıyoruz.



3. node da aynı şekilde ekleyerek tüm Deploy işlemleri bittiğinde aşağıdaki gibi clusterımızda 3 nodemiz bulunmaktadır.



Artık yönetmek istediğiniz Transport Nodeları ESXI veya KVM sunucuları ekleyebiliriz, bunun için System>Fabric>Nodes>Host Transport Nodes>Add Transport Node seçeniği ile aşağıda istenen bilgileri giriyoruz.  



ESXi VIB leri bu vCenter bağlantısı üzerinden dağıtmak için ben ortamdaki vCenter sunucumu ekleyerek ilerliyorum.



Son olarak NSX-T Management konsola erişmek için clusterınızda bulunan node larınıza ait her birinin IP adresi üzerinden erişebildiğiniz gibi,farklı tek bir Virtual IP belirleyerek NSX-T konsola erişebilirsiniz.



VMware NSX-T Data Center Manager Appliance kurulumu yazımızın sonuna geldik.


Bir sonraki makale de görüşmek üzere


Faydalı olması dileğiyle.


İyi Çalışmalar.

post image

VMware NSX-T Datacenter 3.0 Yayınlandı

Merhaba; Bugün size 7 Nisan 2020 Tarihinde Release olan VMware SDN ürünü için major bir yükseltme ile NSX-T 3.0 ı piyasaya sürdü.Bu yeni sürümde NSX Federasyonu, iç güvenlik veya modern uygulamalar için ağ (Kubernetes iş yükleri) gibi birçok yeni özellik ve yenilik var. NSX-T 3.0, geçen hafta piyasaya sürülen VMware vSphere 7.0 ile tamamen uyumlu olarak çalışmakltadır.. NSX i, vSphere 7.0 ın bir parçası olan vSphere Distributed Switch (VDS 7.0) üzerinde doğrudan çalıştırmak mümkündür.Tek bir Merkez arayüzden yeni, basitleştirilmiş arayüzden yönetilmektedir.NSX deploy sırasında mevcut VDS de herhangi bir kesinti olmaz, VM trafiğinde de kesinti olmaz.


Ayrıca ağ altyapısının yeni bir grafik görselleştirmesi vardır ve topolojiyi PDF olarak dışa aktarma olanak sağlamaktadır.



Daha kolay yapılandırma için uçtan uca görünürlük sağlar.Ayrıca, alarmları yönetmenizi sağlayan yeni bir Alarm kontrol paneli ile Alarmları tanımlamak, kabul etmek ve durdurma imkanınız vardır.



Release Notlardan Öne çıkan özelliklerden Bazıları;


NSX-T Data Center 3.0, sanallaştırılmış ağ oluşturma ve private, public, and multi-clouds güvenlikleri için yeni işlevler sağlayan çeşitli özellikler içermektedir.


Cloud-scale Networking: NSX Federasyonu



Intrinsic Security: Dağıtılmış IDS, Windows Fiziksel Sunucular için Mikro Segmentasyon, Zamana Dayalı Güvenlik Duvarı Kuralları ve URL Analizinin özellik önizlemesi


Modern Apps Networking: Kubernetes, konteyner ağı ve güvenlik geliştirmeleri ile vSphere için NSX-T


Next-Gen Telco Cloud: VM mobilitesi için L3 EVPN, hızlandırılmış veri düzlemi performansı, NAT64, konteynerler için IPv6 desteği, NFV için E-W servis zinciri


Aşağıdaki yeni özellikler ve özellik geliştirmeleri NSX-T Data Center 3.0.0 sürümünde bulunmaktadır.


L2 Networking:


NSX-T support on VDS 7.0


NSX-T vSphere VDS switch version 7.0 üzerinde çalışabilme özelliğine sahiptir. N-VDS switch NSX-T, için gelecekteki bir sürümde kullanımdan kaldırılacaktır. Bundan sonraki plan NSX-T ve ESXi host switchleri bir araya getirmektir. N-VDS, KVM, NSX-T Edge Nodes, native public cloud NSX agent ve bare metal iş yükleri için switch olarak kalmaya devam edecektir.


Mevcut NSX-T sürümlerinde ki N-VDS, NSX-T Data Center 3.0  sürüm için desteklenmeye devam ediyor ve şu anda ESXi de N-VDS kullanmaya devam etmesi öneriliyor. Bunun nedeni Mevcut NSX dağıtımları için N-VDS in VDS 7.0 a dönüştürülmesi manuel bir işlemdir.N-VDS ve VDS arasındaki API ler farklıdır. N-VDS veya VDS API larında hiçbir değişiklik yoktur. Ancak, VDS yi ortamınızda kullanmaya başlarsanız, N-VDS API leri yerine VDS API lerini çağırmaya başlamanız gerekir. Bu ekosistem değişikliğinin N-VDS yi VDS ye dönüştürmeden önce yapılması gerekecektir.



N-VDS den VDS ye geçerken aşağıdaki hususlar önerilir:


VDS, vCenter aracılığıyla yapılandırılır. N-VDS vCenter dan bağımsızdır. VDS de NSX-T desteği ve N-VDS nin nihai kullanımdan kaldırılmasıyla NSX-T, vCenter ile yakından bağlantılı olacak ve NSX in etkinleştirilmesi için vCenter gerekecektir.
N-VDS, ESXi ana bilgisayarına özgü yapılandırmaları destekleyebilir. VDS, cluster-based yapılandırma kullanır ve ESXi ana bilgisayarına özgü yapılandırmayı desteklemez.
Bu sürümde N-VDS ve VDS arasında tam özellik paritesi yoktur.VM ve vmKernel arabirim API leri için destek türü, VDS için N-VDS ile karşılaştırıldığında farklıdır.


RHEL support: NSX için desteklenen işletim sistemleri listesine RHEL 7.6 ve RHEL 7.7 eklendi. Bu, KVM ve Bare Metal iş yükleri için de geçerlidir.


Edge Bridge: Guest VLAN taglemek için yapılandırılmış segmentler artık Edge Bridge aracılığıyla VLAN a genişletilebilir. Bu özellik, bir segment bir bridge profile eşleştirilirken bir dizi VLAN Kimliği yapılandırılarak etkinleştirilir. Aralıktaki VLAN kimliğine sahip segment trafiği, VLAN taglerini koruyarak VLAN a bridgelenir. Bridge VLAN tarafında alınan ve bridge eşlemesi için segmentte yapılandırılan aralığa düşen bir VLAN Kimliği ile alınan trafik, VLAN ID lerini Guest VLAN etiketi olarak tutarak segmente bridgelenir.


MAC Limit per VNI: Logical switch başına varsayılan MAC sınırının değeri ESXi dataplane de 2,048 dir. NSX artık Logical switch başına MAC sınırını varsayılan değerden müşteri gereksinimlerine uyacak şekilde değiştirme olanağı sunuyor.


Support for Windows 2016 Bare Metal Server: VLAN-backed ve overlay sanallaştırılmış iş yükleriyle bağlantı kurarak Sanal ve fiziksel iş yükleri arasında iletişim güvenliğini sağlar.


Federation: NSX-T 3.0, birden fazla şirket içi clusterlarınızı, Global Manager (GM) adı verilen tek bir yönetim konsolunda yönetmek için birleştirebilme özelliğini sunar. GM, grafiksel bir kullanıcı arayüzü ve REST API uç noktası sağlar. GM aracılığıyla, multiple locations ve stretched networking objects arasında tutarlı güvenlik politikaları yapılandırabilirsiniz.


Edge Platform: Yeni Edge VM XLarge gelişmiş hizmetler için daha fazla ölçek ve daha iyi verim sağlar. ESXI yeniden başlatıldığında Edge VM yi otomatik başlatma
VCenter üzerinden Edge VM in düzenleme ayarlarını devre dışı bırakma,Distributed Firewall kuralında Edge VM exclude etme,root yetkisi ile SSH ile login olma, NTP sunucu listesi, etki alanı arama listesi, DNS sunucu listesi ve varsayılan kullanıcı kimlik bilgilerini yapılandırma gibi bir çok değişiklik yapılmıştır.


L3 Networking: Tier0 Gateway HA modunun UI / API yoluyla değiştirilmesi, Tier-0 ağ geçidi HA modunu Aktif / Aktif ten Aktif / Standby ve tersi işlem yapma seçeneğini sunar. VRF Lite desteği, Tier-0 ağ geçidindeki Sanal Yönlendirme Yönlendirme (VRF) aracılığıyla multi-tenant data plane sağlar. VRF nin kendi isolated routing table, uplinkleri, NAT ve ağ geçidi güvenlik duvarı hizmetleri vardır.Tier-1 ağ geçitlerinde hız sınırlama desteği, Tier1 ağ geçidi bağlantısının tüm trafiği hız sınırlama yeteneği sağlamaktadır.NSX-T 3.0, NSX-T de ilk defa Multicastı destekliyor.Multicast replication yalnızca T0 da desteklenir ve multicast  yayın iş yükleri olmasını bekleyen tüm ana bilgisayarların T0 a bağlanması gerekir. T1 gelecek sürümlerde desteklenecektir.Ayrıca NSX-T 3.0 da Edge den TOR a yalnızca bir uplink bağlantı vardır,yedekli uplink bağlantıları şuan için desteklenmiyor.NSX-T 3.0 da Multicast Traffic Yayın Trafiği için Edge  Hizmetleri desteklenmez.


Firewall: NSX-T 3.0, birden fazla NSX Yöneticisini yönetebilen bir Global Yönetici (GM) konseptini sunar. NSX-T 3.0 ile global yönetici, tek bir yönetim konsolo üzerinden birden fazla site da tutarlı güvenlik politikası yeteneğine sahiptir. NSX-T 3.0, security ve firewall adminlerin bir bakışta güvenlik duvarının ve dağıtılmış IDS nin geçerli çalışma durumunu görmek için yeni security Dashboardlar sunuyor.NSX-T 3.0 ile artık belirli kuralların belirli zaman aralıkları için uygulanmasını zamanlayabilirsiniz.Data Centerlarınızı NSX-T kullanarak çok kolay adımlarla segmentasyon sunacak şekilde yapılandırabilirsiniz.Windows Fiziksel Sunucular için Mikro Segmentasyon desteği yer almaktadır.URL lerin algılanması, sınıflandırılması ve score puanlarıyla URL Filtrelemenin önizlemesini sunar. Bu özellik önizlemesi yalnızca gateway güvenlik duvarında kullanılabilir.KVM de çalışan iş yükleri için KVM de güvenlik duvarı zamanlayıcı yapılandırma değişikliklerini destekleme.


Infrastructure: NSX Manager ve NSX Intelligence Appliance artık hem Thin hem de Thick disk modu destekliyor ve deploy ederken bu seçeneği sunuyor. NSX-T 3.0 dan başlayarak, her NSX Manager ın disk boyutu 200 GB tan 300 GB a yükseltildi. Migrate sırasında yeterli boyutun olduğundan emin olun. N-VDS için Healthcheck özelliği.NSX Manager ve Edge Node tarafından oluşturulan olaylar ve alarmlar için SNMP trap notifications özelliği getirildi.VLAN Mikro-Segmentasyon cluster hazırlamak için yeni bir başlangıç sihirbazı getirildi.


Migration: VSphere 7.0 ve vDS 7.0 kullandığınızda,N-VDS ye geçirmek yerine mevcut bir vDS ye (sürüm 7.0) geçirir. Eski sürümlerde olduğu gibi Migrate öncesi Hostu Maintenance moda almanız gerekmektedir  


Release Note Linki https://docs.vmware.com/en/VMware-NSX-T-Data-Center/3.0/rn/VMware-NSX-T-Data-Center-30-Release-Notes.html


NSX-T Data Center 3.0 Download Linki https://my.vmware.com/web/vmware/details?downloadGroup=NSX-T-300&productId=982. 


VMware NSX-T DataCenter 3.0 yayınlandı adlı yazımızın sonuna geldik.


Bir sonraki makale de görüşmek üzere


Faydalı olması dileğiyle.


İyi Çalışmalar.

post image

Announcing VMware vRealize Network Insight 5.2

Merhaba VMware vRealize Network Insight 5.2 bu gün itibari ile duyuruldu.Kısaca yeni özelliklere değinmek gerekirse,


VRealize Network Insight ın bu sürümü, VMware müşterileri için sanal ve fiziksel BT altyapıları için uçtan uca ağ görünürlüğü ve analiz platformu olarak yeni özellikler sunmaktadır. VMware NSX, VMware SD-WAN, AWS de VMware Cloud, Amazon EC2, Microsoft Azure, VMware Enterprise PKS, Kubernetes ve Red Hat OpenShift yönetilen Container ortamları gibi altyapı genelinde görünürlük artık destekleniyor.


vRealize Network Insight 5.2, NSX üzerine kurulmuş olan VMware Sanal Bulut Ağı ile entegrasyonu daha da geliştirilerek NSX-T kullanıcıları için tasarlanan yeni kontrol panelleri sorun giderme ve izlemeyi daha da kolaylaştıracak. vRealize Network Insight, kullanıcılar için iş yüklerini buluta geçirirken uygulama bağımlılıklarını anlamalarını ve kapsamlı uçtan uca ağ görünürlüğünü görüntülemelerini sağlayan araç olacaktır.


Yeni Özellikler vRealize Network Insight 5.2 ve vRealize Network Insight Cloud


Flow Based Application Discovery


AWS Direct Connect için VMware Cloud Görünürlük Desteği


Yeni NSX-T 3.0 Panolar ve Etkinlikler


VMware SD-WAN İşletme Politikası Görünürlüğü ve Tünel Metrikleri ve Durumu


VRealize İşlemleri ve diğer ekosistem çözümleriyle entegrasyonlar


Flow Based Application Discovery için Makine Öğrenmesi


VMware platformundaki uygulamaları daha iyi anlamak ve keşfetmek için makine öğrenimi kullanarak applications discovered özelliği ile tespit edilen bir uygulama şubede yavaşlıyorsa veya çeşitli katmanları bozuluyorsa, bu sorunları çözmek için önlem almak için kullanıcılar uygulama sorunlarının nerede olduğunu ortaya çıkarmak için bu trafik analizini aktif olarak kullanacaklardır.Makine öğrenme algoritması, hangi VMlerin bir uygulamanın parçası olduğunu belirlemek için flow ve diğer çeşitli boyutlara bakacaktır. Bu özellik NSX yöneticileri için çok yararlı olacaktır, çünkü gruplamayı ve sınırları öğrendikten sonra uygulamaları daha iyi koruyabilir ve ağ açısından sorun giderebilirler.



NSX-T 3.0 Sorun Giderme;


NSX-T 3.0 kullanıcıları, 35 ten fazla yeni event ve alert desteği ile daha iyi görünürlük için yeni NSX-T Host, Edge, ve Management Node dashboardları vardır. Yeni NSX-T dashboards flow, NAT istatistikleri, routes, latency, ve packet drops gibi önemli verileri ile bir uygulamanın LAN, WAN ve veri merkezinde harcanan gecikme süresini gösterecektir. Altyapı boyunca uygulama response times ve latency görülebilir.



Daha fazla bilgi için Announcing VMware vRealize Network Insight 5.2 adresini ziyaret edebilirsiniz.


Faydalı olması Dileğiyle


İyi Çalışmalar.