Auf dem Vereinigungsparteitag vom 22. bis 27. Mai 1875 in Gotha gründeten der ADAV und die SDAP die Sozialistische Arbeiterpartei Deutschlands (SAP). Ihre Ziele wurden im "Gothaer Programm" durch einen Kompromiss aus den Parteiprogrammen beider Parteien formuliert. Die bei ihrer Gründung rund 25.000 Mitglieder zählende SAP richtete sich organisatorisch am Konzept der SDAP aus. Es existierte ein sechsköpfiger Vorstand, dem unter anderem die ehemaligen SDAP-Mitglieder Ignaz Auer (1846-1907) und August Geib (1842-1879) sowie die ADAV-Vertreter Carl Derossi (1844-1910) und Wilhelm Hasenclever (1837-1889) angehörten. Der Vorstand spielte jedoch nur eine untergeordnete Rolle. Statt dessen besaß der flächendeckende Aufbau lokaler Strukturen mit relativ eigenständigen Regionalorganisationen Priorität. Die bedeutendsten lagen anfangs in Berlin, Hamburg und Leipzig sowie in Nürnberg und Bremen.
Neben Karl Marx und Friedrich Engels, die mit ihren theoretischen Schriften vor allem in der Parteizeitung "Vorwärts" entscheidenden Einfluss auf die SAP ausübten, waren August Bebel und Wilhelm Liebknecht die bedeutendsten Köpfe. Zusammen mit zunächst sieben weiteren Abgeordneten im Reichstagsparlament vertraten sie dort in Fundamentalopposition ihre Ziele. Gemäß dem "Gothaer Programm" verfolgte die SAP zudem langfristige revolutionäre Kernziele, die sie außerparlamentarisch zu erreichen gedachte. Als solche verkündete das Programm die selbstständige "Befreiung der Arbeiter" durch die Abschaffung des "Privateigentums an Produktionsmitteln" sowie die Überführung derselben in "gesellschaftliches Eigentum". Dabei nutzte die Partei das Parlament als Bühne für ihre Ziele, indem sie auch konkrete demokratische Forderungen, wie beispielsweise das Frauenwahlrecht, einbrachte. Weitaus stärkeres Gewicht legte die Partei auf gewerkschaftliche Kämpfe und organisierte Streiks. Nicht zufällig fand ebenfalls 1875 in Gotha eine Gewerkschaftskonferenz statt, auf der zur Vereinigung der bestehenden Einzelgewerkschaften und zur engeren Bindung an die SAP aufgerufen wurde. Die Partei trug dementsprechend häufig gewerkschaftsnahe sozialpolitische Forderungen über die parlamentarische Ebene an die Öffentlichkeit. Unter diesen besaßen der 10-Stunden-Arbeitstag beziehungsweise der 8-Stunden-Tag für Frauen und unter 18-jährige Arbeiter, das Verbot von Kinderarbeit, Arbeitsschutzbestimmungen, obligatorische Fortbildungsschulen sowie das Verbot von Sonntagsarbeit besondere Bedeutung.
Als erste geeinte Arbeiterpartei besaß die SAP einen Vorbildcharakter für die Arbeiterbewegung in ganz Europa. Es gelang trotz beschränkter finanzieller Mittel relativ rasch, eine funktionierende Infrastruktur aufzubauen. Die Gesamtauflage der parteinahen Zeitungen - darunter neben dem "Vorwärts" die "Berliner Freie Presse" und das "Hamburg-Altonaer Volksblatt" mit zusammen rund 45.000 Abonnements - betrug 1877 circa 160.000. Bereits 1876 wurden auf einem Kongress in Gotha 38.254 SAP-Mitglieder durch 98 Delegierte aus 291 Orten vertreten. Der steigende Zuspruch der SAP spiegelte sich auch in den Wahlergebnissen wieder. Bei der Reichstagswahl am 10. Januar 1877 erzielte die Partei einen Stimmenanteil von 9,1 Prozent, auch wenn er sich aufgrund des Mehrheitswahlrechts in nur zwölf Sitzen niederschlug. Diese wachsende Bedeutung versuchte die Reichsregierung durch repressive Maßnahmen einzudämmen. Vom Reichskanzler Otto von Bismarck als "Reichsfeinde" und "Vaterlandslose Gesellen" betitelt, war die Partei zunehmend Schikanen ausgesetzt. Neben Hausdurchsuchungen kam es zu regelmäßigen Verhaftungen und Ausweisungen von Mitgliedern, weshalb viele Sozialisten ins Exil gingen. Anfang 1876 wurde die SAP zunächst in Berlin, ab 30. März in ganz Preußen verboten. Die Parteimitglieder konnten sich im gesamten Reich kaum noch legal treffen. Deshalb setzte sich die Praxis durch, unverfängliche Namen wie "Volksverein" oder "Volksversammlung" für ihre Organisationen und Zusammenkünfte zu benutzen.
Verfolgungen, Untersagungen und Schikanen gipfelten 1878 im "Sozialistengesetz", welches die Partei endgültig verbot. In der Folgezeit wurden 1.299 Druckschriften, 95 Gewerkschaften, 23 Unterstützungsvereine, 106 politische und 108 so genannte Vergnügungsvereine verboten. Rund 1.500 Personen wurden zu Haftstrafen verurteilt, knapp 900 aus verschiedenen Orten des Reiches ausgewiesen. Die Ausgewiesenen, die nicht ins Exil gingen, mussten meist in abgelegene Regionen umsiedeln und versuchten dort, weiterhin politisch zu wirken. Lediglich die Reichstagsfraktion der SAP blieb aufgrund des Persönlichkeitswahlrechts unbehelligt und konnte ihre parlamentarische Arbeit fortsetzen. Das "Sozialistengesetz" bot dem Staat nicht nur Möglichkeiten zur Verfolgung, sondern sorgte zudem für Unstimmigkeiten innerhalb der SAP. Bis 1876 hatte es oft Streitigkeiten um die politische Linie zwischen verbliebenen Anhängern der Lehre Ferdinand Lassalles und marxistischen Mitgliedern gegeben, die letztere für sich entscheiden konnten. In der Illegalität sprach sich der Parteiflügel um Eduard Bernstein für die Umwandlung der SAP in eine legalistische Reformpartei aus, um so das Verbot hinfällig erscheinen zu lassen. Ein anderer Flügel um Johann Most (1846-1906) dagegen befürwortete den Weg in den Untergrund und den offenen Kampf gegen den kaiserlichen Staat.
Als Reaktion auf die offizielle Reichspolitik und um den internen Richtungskämpfen zu begegnen, änderte die Partei eine Formulierung ihres "Gothaer Programms": Auf dem ersten Parteikongress seit der Illegalität 1880 im schweizerischen Wyden wurde aus der bisherigen Formulierung, mit "allen gesetzlichen Mitteln" arbeiten zu wollen, das Wort "gesetzlich" gestrichen. Gleichzeitig bestimmten die Delegierten die Übertragung der offiziellen Parteivertretung an die Reichstagsfraktion. Mittlerweile waren die lokalen SAP-Sektionen meist in zwei Abteilungen organisiert: die "innere" illegale, und die legal auftretende "äußere" Organisation. Letztere sollte in Form von auf den ersten Blick unpolitisch wirkenden Vereinen dazu dienen, auch unter erschwerten Bedingungen in Vereinen den direkten Kontakt zu den Arbeitern aufrecht zu erhalten, ohne die Parteistruktur eventuellen Spitzeln preiszugeben. Die "innere" Organisation war die lokale Führung, die in Kontakt zur Parteispitze und der Reichstagsfraktion stand. Sie arbeitete meist konspirativ. Die recht unterschiedlichen Orientierungen der dezentralisierten Ortsgruppen versuchte die Spitze um die Reichstagsfraktion der SAP durch Spitzel nachzuspüren. Zu diesem Zweck organisierte die Partei von der Schweiz aus - später aus London - die "Rote Feldpost", eine Geheimdienstorganisation unter maßgeblicher Leitung Julius Mottelers (1838-1907).
Das "Sozialistengesetz" besaß neben der Illegalisierung der SAP auch mehrere unbeabsichtigte Effekte. Die offizielle Parteilinie etwa, die auf einen revolutionären Umsturz der Gesellschaft baute, konnte sich unter diesen Bedingungen leicht durchsetzen. Erst jetzt wurde den meisten Mitgliedern das marxistische Gesellschaftsbild eingängig. Die grundsätzliche Ablehnung des bestehenden Staates unter den Arbeitern nahm zu. Daher lehnte die SAP auch die von Bismarck initiierten Sozialgesetze ab. Die harten Repressionen sorgten zudem für einen festen Zusammenhalt der einzelnen Mitglieder. So war das Ergebnis der Reichstagswahl am 20. Februar 1890, das die SAP mit rund 1,4 Millionen Stimmen - fast 20 Prozent - zur wählerstärksten Partei werden ließ, nicht verwunderlich. Infolge aller Stimmengewinne für die Opposition wurde das Sozialistengesetz nicht mehr verlängert. Vom 12. bis 18. Oktober fand in Halle der erste legale Parteitag nach der Aufhebung des Sozialistengesetzes statt, auf dem neben der Anpassung der Organisation an die gewandelten Verhältnisse die Umbenennung der Partei in Sozialdemokratische Partei Deutschlands (SPD) beschlossen wurde.
