Kurduğun mantık hatalı.

Textbox içine bir satır yazılınca listeye ekliyorsun. Sonra listedeki tüm satırları okuyup History.txt yi yeniden oluşturup içine yazıyorsun. Append modu ile açarsan önceki dosyayı silmeden sonuna eklemeye devam edersin.

Button1 Click olayı:

gecmis.Items.Add(TextBox1.Text)



        Using sw As StreamWriter = File.AppendText("C:\Program Files\History.txt")

            sw.WriteLine(TextBox1.Text)

        End Using