Formların çerçevelerindeki kapat ve küçült özelliğini iptal etmelisin.
Uygulamanızda açık kalan son formdaki kapat butonunun tıklandığında olayına 

application.quit kodu yazarak uygulamadan çıkılmasını sağlamalısınız.