מוצאו מהעיר לודז' שבפולין. הוא התגורר ברובע "באלוט" שבעיר.

מתמיד עצום בתורה היה ומבקש ה'. בימים ההם חי בפולין אחד מהמיוחדים שבחסידי ברסלב, החסיד הנלהב רבי שלמה גבריאל, ועל ידו התקרב לאורו של ה"נחל נובע". יחד עמו התקרב גם אחיו רבי אברהם משה.

עם התקרבותו של רבי אלטר בן ציון נסע לאומן לחסות בצל כנפי רבינו הקדוש. הוא שהה באומן תקופה מסוימת והיה מוסר שיעורים במדרש רבה מדי שבת בשבתו ב"קלויז". רבים מבני העיר היו באים לשמוע שיעוריו.

רבי אלטר בן ציון היה מראשוני חסידי ברסלב בפולין שעלו לארץ ישראל והשתקעו בה. את מושבו קבע בירושלים עיר הקודש. בירושלים היו חסידי ברסלב מתי מעט וכאשר פגש איש ברעהו היה שש עמו כמוצא שלל רב. זמן קצר אחרי שעלה רבי אלטר בן ציון ירושלימה, הגיע לעיר הבחור יעקב זאב ברזסקי שעשה לבדו את הדרך מוורשה עירו לירושלים. השניים שמחו האחד עם חברו ומאז נעשו לחברותא לתורה ולתפילה בצוותא.

כשנסעו יחד למירון, פגשו שם בחסיד רבי ישראל דב אוסדר מטבריה ובנער שמואל הורביץ מצפת שבא להתקרב בעת ההיא לדרכו של רבינו. למן אותו יום חברו להם ארבעתם, יחדיו נקשרו זה לזה בקשר אמיץ וחזק, כשהם מחזקים איש את חברו בהתקרבות והתקשרות לרבינו.

בספרו "ימי שמואל" מתאר רבי שמואל הורביץ ברגשי קודש את עבודתם את בוראם בצוותא בציון הרשב"י ומאוחר יותר בירושלים העתיקה, כשהדגש מונח על אהבת החברים המופלאה ששררה ביניהם. "אני ורבי אלטר בן ציון ויעקב זאב ורבי ישראל דוב, שגודל אהבתנו זה לזה, אי אפשר לשער במוח אנושי כלל, כי כל אחד מאיתנו היה מוכן להקריב את עצמו בשביל חברו, ואוהבו יותר מגופו ונפשו… וכשהיו רואים אחד את השני, ממש היינו מחבקים ומנשקים זה לזה וזולגים עינינו דמעות מרוב אהבה וחיבה" (פרק קמח).

באחד ממכתביו של רבי שמואל מאותה תקופה לרבי אלטר בן ציון, הוא כותב: "והנני משתוקק ומתגעגע וחפץ מאד מאד עד אין שיעור ממש אחרי כבודו, שנהיה ביחד במירון איזה שנים וללמוד יומם ולילה בהתמדה גדולה ולעבוד את ה' כרצונו בהתבודדות וכו'. ויאמין לי שמעת שנסע כבודו עד עכשיו, כל יום חלם לי שאני וכבודו ורבי ישראל דוב מטבריה אנחנו ביחד במירון".

רגיל היה רבי אלטר בן ציון לערוך לעתים תכופות סיומי מסכתות; והעידו בו שהיה הש"ס בבלי וירושלמי שגור בפיו. בזקנותו ראו אותו פעם עומד על רגליו כל ליל ל"ג בעומר ולומד גמרא בהתמדה גדולה.

אספקלריה לאהבת החברים שלהם אנו רואים בדמות צרור מכתבים ששלחו החבריא בשנת תרפ"ז לרבי ישראל דוב, בעת שנפל למשכב. וכה כתב לו רבי אלטר בן ציון: לכבוד ידידי עוז, ידידי כנפשי, השותה עמי ביחד מבאר מים חיים מנחל נובע מקור חכמה מוהר"ר ישראל דוב בן רבקה שיינדל נ"י… איעצך עצה ותקיים, ויהיה לך רפואה שלמה אי"ה: תצייר במוחך שאתה במקום שצריכין לעמוד (באומן בראש השנה) ותקשר עצמך בכל כוחך. אין דבר גדול מזה. ואע"פ ששאר צדיקים אינם אומרים כך, הרי עוד קושיא אחת! אבל האמת לאמיתו הוא כנ"ל".

בשנת תרפ"ד נשא רבי אלטר בן ציון את אמו האלמנה של ר' יעקב זאב שעלתה ארצה. מסדר הקידושין היה רב אחד שהיה מקורב מאד לברסלב וכיהן לפנים כרב בעיר פראגה (פרבר של ורשה) ובכל יום היה בא לבית החסידים של ברסלב בוורשה. לימים התמנה לחבר הביד"צ בירושלים.

החופה התקיימה ביום שישי ערב ר"ח אלול, כפי שמתאר ר' שמואל הורביץ, שהיה השדכן: "ביום חופתו דיבר עם רבי שמעון ז"ל איך לזרוק את עצמו לעבודת השם ולהשליך כל ענייני עולם הזה. והחופה היה בבית מדרשנו במאה שערים"

במוצאי שבת נערכו השמחה והריקודים, "והביאו תוף קטן, ויעקב זאב היכה בתוף, וניגנו ורקדו כמה שעות. ואחר כך ישבנו כולנו לאכילת סעודת מלוה מלכה וזמרנו כל הזמירות בניגונים שלנו, וגם למדנו ספרי רבינו זצ"ל וכו'. והרגשתי תענוג גדול כל השבת, מה שהרבה זמן מכבר לא הרגשתי תענוג כזה" (ימי שמואל, קל"ה)

רבי אלטר בן ציון ב"ר מרדכי דוד קרוסקופ הלך לעולמו בי"א בחשון תשי"ד, יום פטירת רחל אמנו ע"ה.