Le 17 juin 1959, Roland Glavany décolle, pour la première fois à bord du Mirage IV 01 à 10 h 20. Le vol dure 40 minutes. A son troisième vol, le 20 juin 1959, le Mirage IV 01 est autorisé à effectuer un passage au-dessus du salon du Bourget devant le général de Gaulle. Le 19 septembre 1960, à 17 h 05, René Bigand décolle de Melun-Villaroche le Mirage IV 01 et bat le record international de vitesse sur 1 000 km en circuit fermé (1 822 km/h). Lors du vol 138 du 23 septembre, il confirme sa première performance et porte le record sur 500 km en circuit fermé à 1 972 km/h de moyenne en volant entre Mach 2,08 et Mach 2,14.
Une nouvelle définition de l’appareil, équipé de moteurs Snecma Atar 9 D, baptisée Mirage IV A, est approuvée dès le mois d’octobre 1959. Il s’agit d’un avion d’un poids de 32 t au décollage, capable de 1 100 km minimum de rayon d’action (dont 50% en vitesse supersonique), distance qui pourrait être augmentée grâce au ravitaillement en vol.
Le marché pour 50 avions est confirmé le 29 mai 1962 et, le 4 novembre 1965, celui de 12 avions supplémentaires de même définition mais pouvant être équipés d’un conteneur de reconnaissance.
L’avion de série n° 1 effectue son premier vol à Mérignac, le 7 décembre 1963, aux mains de René Bigand. Il est livré à l’armée de l’Air en février 1964. Dès octobre de la même année, le premier escadron de bombardement est déclaré opérationnel sur la base aérienne de Mont-de-Marsan. Le défi contre le temps a été gagné permettant à la France de devenir une véritable puissance nucléaire. La livraison des avions aux Forces aériennes stratégiques s’effectue à la cadence de deux par mois jusqu’en mars 1968.
A son entrée en service en 1964, le Mirage IV A devient le premier avion militaire européen capable de vol de longue durée à plus de Mach 2 ; il est toujours le seul en Europe occidentale.
Les derniers Mirage IV (P) ont été retirés du service opérationnel en 2005.