Родился в местечке Бенякони. Получил традиционное еврейское религиозное воспитание в хедерах и ешиботах. Только в 18 лет приобщился к светской культуре, начал писать стихи на русском, польском, идише, иврите. Развившееся к тому времени еврейское рабочее движение захватило его: он стал активным членом «Бунда», редактировал ряд изданий последнего. В 1899 г. был арестован за перевозку нелегальной литературы. В 1901 Вайтер отбывал заключение в Бутырской тюрьме, в 1902—1904 и 1912—1915 был в ссылке. Вайтер (партийная кличка «товарищ Арон») сыграл большую роль в революционных событиях в Вильно в октябре 1905 г.
