沙尔克04队创建于1904年5月4日，俱乐部的所在地位于盖尔森基欣市郊区沙尔克，故此命名为沙尔克04队。
沙尔克04队是在原创建于1877年的沙尔克体操俱乐部的基础上派生出来的。1904年，沙尔克足球俱乐部成立后，两个俱乐部在1919年合二而一，命名为“1904沙尔克威斯特法利亚体育俱乐部”。1924年，俱乐部解体，沙尔克04足球俱乐部成为独立的体育组织。