Gördüğünde silmesinden kastınız ListBox içerisinden seçilen item eğer sizin belrilediğiniz kritere uyuyorsa silmesi ise;

Private Sub Button1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button1.Click

        Dim kriter As String

        kriter = "<b>"

        If ListBox1.Text = kriter Then

            ListBox1.Items.Remove(kriter)

        End If

    End Sub

şeklinde deneyebilirsiniz. İsterseniz kriteri bir TextBox'a da bağlayabilir ve form üzerinden <b> yerine başka değerlerde atayabilirsiniz.