Après le déclenchement de l'insurrection algérienne de novembre 1954 - (Toussaint rouge), le Néo-Destour obtient l'autonomie interne de la Tunisie et il préfère négocier avec le gouvernement français la future indépendance du pays plutôt que d'arracher cette indépendance par les armes. Le « groupe des 15 » est dissous.
Ben Bella. troisième représentant de l'Algérie au bureau du Maghreb fait embarquer sur le Dina, le yacht ancré à Alexandrie de la reine Dina de Jordanie, un stock d'armes destiné aux résistants algériens et marocains qui doivent le réceptionner à Nador, au Maroc espagnol. Convoyé par neuf hommes sous le commandement d'un Soudanais, Brahim Niyal, et de Boukharouba, le navire arrive à bon port, non sans contretemps et péripéties. Boukharouba remet un message de Ben Bella au chef FLN Larbi Ben M'hidi qui acheminera vers la wilaya V la plus grosse partie de la cargaison d'armes.
Le trafic d'armes s'organise « depuis Nador jusqu'à Nemours, à travers mille et un détours ». comme écrit à un ami un des étudiants algériens convoyeurs. Boukharouba est l'un des principaux organisateurs de ces transports de matériel de guerre et lorsqu'il rentre au Maroc il se montre parmi les plus assidus des militants qui à la base d'Oujda, suivent les cours (stratégie, histoire, économie et politique) du Centre de formation et de perfectionnement du FLN.
Il travaille avec Boussouf, lui-même premier lieutenant de Ben M'hidi chef de la wilaya V. En 1956, Ben M'hidi laisse le commandement de la wilaya V à Boussouf pour entrer au CNRA, et quand Boussouf en septembre 1957, quitte le sol algérien, son successeur à la tête de la wilaya V est son ex-adjoint Boukharouba - ou plutôt Houari Boumédiène car le nouveau colonel commandant en Oranie a pris comme nom de guerre celui du célèbre mystique soufi Sidi Boumediene, saint et savant musulman, dont un sanctuaire à Tlemcen perpétue la mémoire.
Remarquable organisateur d'une wilaya qu'il dirige depuis le PC d'Oujda, au Maroc (mais en allant inspecter de temps à autre les maquisards de l'intérieur), nommé chef du commandement opérationnel de l'Ouest dès qu'il a gagné Tunis, désigné enfin comme chef de l'état-major général de l'ALN nouvellement créée, Boumedienne n'a pas cessé de prendre, au sein du FLN des responsabilités de plus en plus lourdes.
Tout le monde, dans les milieux, politiques comme dans la presse, s'interroge, dès lors, à son sujet. Comme il est volontiers discret et taciturne, qu'il prend vis-à-vis des journalistes et des diplomates une « distanciation » évidente et qu'il protège sa vie privée, on le présente souvent dans les capitales occidentales comme un dirigeant énigmatique, comme une sorte de sphinx sur le « mystère » duquel on greffe des légendes abusives.
Parce qu'il préfère parler arabe que français, qu'il n'aime pas tellement paraître en public et parce que la présence d'un interlocuteur qu'il connait ou devine mal le rend laconique et contracté, gêné et gênant, on l'assimile à un « moine-soldat » timide, ascétique et glacé. Il ne dissimule pas son attachement farouche aux valeurs culturelles ancestrales que l'islam véhicule au Maghreb et parce qu'il affirme la nécessité de construire, après l'indépendance, en Algérie comme en Égypte, un état fort puissamment structuré. On prétend enfin que Boumédiène est « nassérien ». En fait il n'apprécie guère le verbalisme emphatique de l'Orient et il se méfie de toutes les idéologies d'importation, de tous les modèles étrangers, bien qu'arabes, susceptibles, à ses yeux, de dénaturer ou de corrompre l'originalité, la spécificité algérienne.
Boumedienne n'ignore pas les aspirations progressistes des ruraux misérables ou des citadins prolétarisés de son pays et valorise, avant tout, ce qui vient du terroir et ce qui retourne au terroir