Die Geschichte eines geordneten Militärarchivwesens setzt in der Habsburgermonarchie mit dem Jahre 1711 ein, als Kaiser Joseph I. die Schaffung einer Archivarsstelle beim Hofkriegsrat, der obersten Zentralbehörde für das habsburgische Kriegswesen, anordnete, um „die durch ein und anders saeculum her wegen Länge der Zeit ausser Ordnung und in Vergessenheit kombene, sonsten aber an sich selbsten sehr importirlich und denkhwürdtige Schrifften wiederumb hervorzusuechen und in guete Ordnung bringen zu lassen“. Im Grunde handelte es sich bei diesem „Archivariat“ innerhalb der Hofkriegskanzlei um eine „Alte Registratur“ für den Dienstgebrauch.
Bereits in der 1. Hälfte des 18. Jahrhunderts entwickelte sich dieses hofkriegsrätliche Kanzleiarchiv aber durch Übernahme von nicht beim Hofkriegsrat erwachsenem Schriftgut, darunter auch eingezogene Schriftennachlässe verstorbener Militärpersonen, allmählich zu einer Art militärischem Zentralarchiv. 1776 machte die Verschmelzung der hofkriegsrätlichen Plansammlung mit dem Geniearchiv das Kanzleiarchiv auch in Bezug auf kartographisches Material zu einer zentralen Anlaufstelle.
Zusätzlich galt es aber auch, aus Feldzügen der (jüngeren) Vergangenheit Lehren für die Gegenwart und Zukunft zu ziehen. Vor diesem Hintergrund ordnete Kaiser Joseph II. 1779 – nur für interne Zwecke – die aktenmäßige Bearbeitung der Feldzüge seit 1740 an.
Diesen applikatorischen Zugang zur Kriegsgeschichte vertrat auch Erzherzog Karl (1771–1847), als er 1801 die Schaffung einer militärischen Institution beantragte, die einerseits durch den historischen Rückblick, andererseits aber auch durch Sammlung von aktuellen Daten und Fakten zu Ländern und möglichen Kriegsschauplätzen sowie durch kriegswissenschaftliche bzw. kriegstheoretische Studien das intellektuelle Niveau des Offizierskorps und damit auch die Schlagkraft der k. k. Armee heben sollte.
Mit allerhöchster Entschließung vom 23. März 1801 trat das k. k. Kriegsarchiv ins Leben, das in dienstlicher Unterstellung unter den General(quartiermeister)stab seinem Gründungsauftrag entsprechend Akten- und Kartenmaterial zu sammeln, aber auch wissenschaftlich-publizistisch auszuwerten hatte. Seit 1808 gab das Kriegsarchiv die „Österreichische Militärische Zeitschrift“ heraus. Im selben Jahr wurde die umfangreiche Büchersammlung des Kriegsarchivs als selbständige Abteilung konstituiert, die ab 1811 den Titel „Kriegsbibliothek“ führte.
Das alte Kanzleiarchiv beim Hofkriegsrat verlor den Großteil seines auf die eigentlichen Kriegsoperationen bezüglichen Schriftgutes an das neue Kriegsarchiv und ging 1846 in der Registratur des Hofkriegsrates auf.
Das k. k. (seit 1889 k. u. k.) Kriegsarchiv bestand zunächst aus einer Schriftenabteilung (dem eigentlichen Archiv), einem Karten-Archiv (längere Zeit das Zentrum der österreichischen Kartographie überhaupt), der Bibliothek und einer Abteilung für kriegsgeschichtliche Arbeiten, die von 1818–1876 ein institutionelles Eigenleben (Generalstabsbüro für Kriegsgeschichte) führte und seit Mitte des 19. Jahrhunderts wissenschaftlich erfolgreiche „Generalstabswerke“ zur jüngeren österreichischen Kriegsgeschichte publizierte.
1876–1919 war die kriegsgeschichtliche Forschung wieder Aufgabe einer eigenen Abteilung innerhalb des Kriegsarchivs. Ab 1876 erschienen neben „Generalstabswerken“ zur älteren Kriegsgeschichte der Habsburgermonarchie eigene „Mitteilungen des k. (u.) k. Kriegsarchivs“.
Nicht zuletzt im Sinne der dem Kriegsarchiv übertragenen Kriegsgeschichtsschreibung wurde auch die Sammel- und Einziehungstätigkeit weiter intensiviert. Bis Ende des 19. Jahrhunderts hatte das Kriegsarchiv den Großteil des bis dahin noch andernorts verwahrten militärischen Schriftguts an sich gezogen, darunter auch das ältere Material aus der Registratur des Kriegsministeriums.
Im Ersten Weltkrieg wuchsen dem Kriegsarchiv mit der Übernahme von Massenschriftgut von der Front, aber auch in Gestalt groß angelegter Presse- und Propagandaarbeit neue Aufgaben zu, wofür der Personalstand des Archivs wesentlich erhöht werden musste.
Das Jahr 1918 markiert nicht nur das Ende der Habsburgermonarchie und der alten Armee. Auch das Kriegsarchiv wurde nach dem Zusammenbruch von einer Heeresanstalt zu einer zivilen Institution, der nach dem Zerfall der Monarchie massenhaft neues Aktenmaterial aufgelöster Dienststellen und bisher eigenständiger Archive zufiel (unter anderem das Militärgerichtsarchiv und das Marinearchiv). 1930–1938 konnte das Kriegsarchiv noch das letzte „Generalstabswerk“ alten Zuschnitts herausbringen: „Österreich-Ungarns letzter Krieg“ (1914–1918).
1938–1945 war das Kriegsarchiv als Heeresarchiv Wien Teil der deutschen Heeresarchivorganisation unter dem Oberkommando des Heeres. Die Tendenz zur Zentralisierung möglichst des gesamten militärisch relevanten Schriftgutes setzte sich in der NS-Zeit fort, ja wurde noch verstärkt. Unter anderem kam so auch das mit dem „Anschluß“ archivwürdig gewordene Material zur Geschichte des 1. Österreichischen Bundesheeres in das Wiener Heeresarchiv. 1945 wurde das Kriegsarchiv zu einer Abteilung des neu geschaffenen Österreichischen Staatsarchivs.
Auch das Kriegsarchiv hatte, vor allem bei den Auslagerungen seiner Bestände im Zeichen des Bombenkrieges, beträchtliche Verluste hinnehmen müssen. Dem standen reiche Zuwächse vor allem an Personalunterlagen gegenüber, darunter die erst 1984 in das Archiv gelangten Militärmatrikeln.
Speziell die Übernahme der österreichische Staatsbürger betreffenden Personalunterlagen der Deutschen Wehrmacht brachte ab den späten fünfziger Jahren die Verpflichtung zur Ausstellung von Dienstzeitbestätigungen für die Sozialverwaltung.
Umstrukturierungen innerhalb des Österreichischen Staatsarchivs hatten auch für das Kriegsarchiv einschneidende Folgen: 1984–1987 wurde das militärische Schriftgut der 1. und 2. Republik sowie der NS-Zeit an das neu entstandene Archiv der Republik abgetreten. 1984 ging die quantitativ wie qualitativ überaus bedeutende Bibliothek des Kriegsarchivs in der neugeschaffenen Bibliothek des Österreichischen Staatsarchivs auf.
1991–1993 schließlich übersiedelte das seit 1905 in der Stiftkaserne im 7. Wiener Gemeindebezirk untergebrachte Kriegsarchiv in das Zentralarchivgebäude in Wien III.
Eine Kurzvorstellung des Kriegsarchivs und seiner Bestände in englischer Sprache findet sich auch unter www.military-archives.org.