Dim Sql As New String("DELETE FROM Kayitlar WHERE TckimlikNo='{0}' ")

 Sql = String.Format(sql, DataGridView1.CurrentRow.Cells(0).Value)

string.format komutu ne iş yapıyor bilmiyorum ve bakmaya şu an vaktim yok ama direkt gördüğüm bir hata var.
'{0}' ile verilecek değişken arasında araya "," koymak gerekiyor.
İlk satırda buraya "," koyup deneyin.

 Dim Sql As New String("DELETE FROM Kayitlar WHERE TckimlikNo='{0}',")

o da hata verirse, string.format yerine direkt Sql cümlesini birleştirmeyi deneyin. (virgülü unutmayın)

---

Ayrıca bu tür hataları bulmaya çalışırken, önce değişken yerine elle ilgili veriyi verip deneyin.
2.ise F10 ile adım adım çalıştırıp, watch ile değişken değerlerini takip edin.