רבי אליעזר ביאליסטוצקי היה 'בעל שחרית' בקיבוץ של ראש-השנה באומן, בזמנו של רבי נחמן מטולטשין תלמיד מוהרנ"ת. (ברם, היו כמה פעמים שרבי משה ברסלבר תלמיד מוהרנ"ת התפלל לפני העמוד תפילת שחרית של ראש-השנה).

רבי נחמן בורשטיין שיחי', כותב בספרו 'אוצר נחמני' העומד בעזהי"ת לראות אור בקרוב: "שמעתי מרבי לוי יצחק בנדר, שבראש-השנה הראשון שלו, שנת תרע"ה, כששמע בפעם הראשון את מורנו רבי אברהם שטרנהרץ ז"ל קול צעקתו הראשונה לפני צעקת 'המלך' ואחר כך צועק 'המלך' – מיד אחזו בגופו כמין צמרמורת, וכלשונו: 'האט מיר אנגעכאפט א מין צאפל', כי לא שמע כזאת מעודו. רק כשהתחיל הקהל במחיאת כפיים כנהוג, אז פג במקצת פחדו. ואמר, כשאחר כך שמע את השיחה בשם מוהרנ"ת ז"ל שאמר: 'דיא גאנצע וועלט שרייט המלך, אבער די קרינאציע איז אין אומן (כל העולם צועק 'המלך' אבל ההכתרה היא באומן)', אז הבין משמעות הדברים של מוהרנ"ת ז"ל.

"ואחר כך שאלתי אותו מהו מקור המנהג הזה של מחיאת כפים, שאינו נהוג כלל בעולם. השיב לי: 'דא פרעגט מען קשיות; אין אומן האט מען נישט גיפרעגט קיין קשיות, מ'פאטשט – פאטשט מען (כאן מקשים קושיות, באומן לא שאלו קושיות; מוחאים כפים – מוחאים כפים). שאלתי אותו אם היה נהוג זאת אצל רבינו ז"ל או מוהרנ"ת ז"ל, ומתי התחילו במנהג הזה. והשיב לי שאינו יודע, אבל הוא חושב שבתקופת רבי נחמן טולטשינער, כשרבי אליעזר ביאליסטוצקער היה הבעל שחרית והוא התחיל צעקת 'המלך' בקול אימים (שממנו קיבל מורנו רבי אברהם שטרנהרץ), אזי מרוב התלהבות והתעוררות היו כמה מאנשי-שלומנו שמחאו כפים, עד שבמשך כמה שנים פשט הדבר ברוב הקהל".

רבי אליעזר השתוקק לחון את ארץ הקודש. באחד ממכתביו של רבי נתן בן רבי יהודה מטבריה (נתיב צדיק, עה), מוזכר רבי לייזר כמי שביקר בשנת תרמ"א בארץ-ישראל; ויש אומרים כי זהו רבי אליעזר ביאלסטוצקי דנן.

בשנת תרמ"ד, לאחר פטירת רבי נחמן מטולטשין, זכה רבי אליעזר להוציא כיסופיו לפועל, בהיותו כבר בא בימים, כאשר עלה לארץ ישראל והתיישב בירושלים עיר הקודש, בה התגורר ב'מושב זקנים' בעיר העתיקה.

עקב זקנותו, נבצר ממנו לבוא מארץ-ישראל לאומן, ובמקומו החל לעבור לפני התפילה בתפילת שחרית באומן, החסיד המובהק רבי אברהם שטרנהרץ, שהיה אז אברך בן עשרים ושתיים.

החסיד רבי יצחק-מאיר קורמן כותב, כי רבי אליעזר ביאליסטוצקי היה מראשוני חסידי ברסלב שקבעו מושבם בירושלים עיר הקודש; אחריו עלו ארצה והתיישבו בירושלים רבי נתן בן רבי פנחס יהושע מטשערין, רבי נחמן בן רבי ברוך אפרים, רבי שמואל העשל פרידמן, רבי שמעון סליטינסקי, רבי יעקב יוסף מסטווצש, רבי נתן בן רבי נחמן נכד מוהרנ"ת, רבי משה אקסיל, רבי משה בגמולגי, רבי יודל מלודז׳, ועוד.

עוד כותב רבי יצחק-מאיר, כי רבי זלמן ליוברסקי נכד רבינו הקדוש, היה גבאי הצדקה באומן בכל ערב ראש-השנה עבור אנשי-שלומנו שבארץ ישראל וירושלים, והכסף שנאסף על ידו, נשלח למחותנו רבי אליעזר ביאלסטוצקי וחולק על ידו לחסידי ברסלב בארץ הקודש. (את בתו השיא רבי אליעזר ביאליסטוצקי לרבי הרשל ליוברסקי בנו של רבי זלמן, שאצלו היה כסאו של רבינו אשר הועלה ארצה).

החסיד רבי אליעזר ביאליסטוצקי נסתלק ונטמן בירושלים עיר הקודש.