ר' צבי אריה היה בנו של רבי ישראל אבא, בן למשפחת חסידי ברסלב, גזע משפחתו נעוץ דור אחר דור לחסידי ברסלב עד לר' אהרן תלמיד רבינו, הרב של ברסלב, ולר' שמואל יצחק, הרב מטשערין, אשר שניהם נמנו עם חסידיו המובהקים ביותר של רבינו.

ר' צבי אריה נולד בעיר גידיניה בפולין, בשנת תרפ"ב, וחלה בדיפתריה כשהיה בן ששה חודשים בסך הכל. אביו, ר' ישראל אבא, ניגש ל"חפץ חיים" וביקש מהצדיק הקשיש לשנות את שמו של התינוק (דבר שנהוג לעשותו למען חולה מסוכן). הוסף לו השם בן-ציון, והבריא ממחלתו.

המשפחה הגיעה לארה"ב בשנת תרפ"ד. בעוד הוא גדל ברובע בראונזויל בברוקלין, למד ר' צבי אריה בישיבה ע"ש הרב חיים ברלין ואחר-כך בישיבת תורה ודעת. אחר-כך הוא למד בהדרכתו של רבי אברהם יפה'ן הנודע בכל העולם כראש ישיבות נובהרדוק-בית יוסף, ובגיל עשרים ושלוש, אחרי שהשלים בפעם השניה את כל התלמוד יחד עם כל שאר לימודיו המגוונים, הוסמך ר' צבי אריה לרבנות.

תוך שהוא נוטל על עצמו את האחריות לחלק מחובותיו של אביו לצדקה, אחרי פטירת אביו בשנת תש"ז, ר' צבי אריה החל מתכתב עם ר' אברהם שטרנהרץ בירושלים. במסגרת הראשונה מבין יותר מחמשים מסעותיו לארץ הקודש, בשנת תש"ט, הוא נפגש עם ר' אברהם ששתל בר' צבי אריה את הצורך הבוער להפיץ בארה"ב את תורתו של רבינו. זאת נעשתה לשליחות חייו, ולמשך שלושים שנה הבאות היה ר' צבי אריה לחלוץ בתנועת בעלי התשובה בארצות-הברית – ובו-בזמן קירב אנשים רבים יותר ויותר למשנתו של רבי נחמן. הוא נפגש בהורים זועמים, באיומים על חייו ועל משפחתו, ואפילו ניסו להעמידו לדין על חטיפה (השו' סיפורי מעשיות יב). אולם, הוא התמיד בעבודתו, והביא ממש אלפי יהודים להכרה ראשונה עם היהדות ועם רבינו.

בקרב תלמידיו היו שפתחו את הדרך למסעות לאומן לציונו של רבינו, ורבים מתלמידיו פעילים עד היום בהיבטים שונים של עולמה של חסידות ברסלב.

כשהוא מרבה בהרצאות ודרשות, אהב ר' צבי אריה להעניק לציבור מידיעותיו הנרחבות בתלמוד, במדרש, בזהר, בקבלה ובמשנתו של רבינו במסגרת שעורים שהשתתפו בהם תלמידים אשכנזים וספרדים גם יחד. הוא הצטיין גם בחכמה מעשית וידע לייעץ עצות טובות גם בענייני כספים. אולם לעצמו הוא חי חיי הסתפקות במועט, ובמשכורתו כמורה פרנס את עצמו ואת בני משפחתו.

מלבד הזמן שהקדיש להוראה בבית-הספר ולהרצאות על תורתו של רבינו, הקדיש ר' צבי אריה את עצמו גם לגיוס כספים לבניית ישיבת ברסלב בירושלים, בעידודם של ר' אברהם שטרנהרץ ור' אליהו חיים רוזין. יצויין כי הוא אשר גייס את מרבית הוצאות הבניה, ובזכותו הוקם הבנין הגדול המתנשא כיום במרכזה של השכונה החרדית "מאה שערים" בירושלים. כאשר הושלם כבנין בית הכנסת, המשמש מאז ומקדם למרכז רוחני גם כן, המשיך ר' צבי אריה לגייס כספים כדי להוציא לאור את כתבי רבינו בלשון הקודש [בעברית מדוברת]. הוא אף יזם את תרגום משנת רבינו ללשון האנגלית. פעולה זו החלה בתרגום שיחות הר"נ, שתורגם על-ידי הרב אריה קפלן עפ"י בקשתו של ר' צבי אריה, כאשר ר' צבי אריה עצמו ערך את הספר. כמו כן גייס ר' צבי אריה כספים וחילק אותם למשפחות ברסלב עניות בישראל. מאוד אהב את ארץ-הקודש וביקש להתיישב שם בעצמו. הדבר היחיד שעיכב בעדו היה התלמידים החדשים שהצטרפו מדי שנה לשעוריו בחו"ל. פעם גמר אומר לעבור לירושלים בתנאי שתעבור שנה תמימה בלי הצטרפותו של תלמיד חדש…

כאשר תקפתו מחלתו הקשה (מחלת הסרטן) בגיל חמשים ושש, עלה סוף-סוף לירושלים בקיץ תשל"ח, ובכך העניק לעצמו חודשים אחדים להתכונן בישראל לפטירתו. אפילו כאשר הוגבל למטתו ונחלש מאוד, היו תלמידיו לומדים תלמוד וזהר על-יד מטתו, כשר' צבי אריה עוקב אחר הדיון ומעיר הערות מפעם לפעם. הוא שימש כדמות-אב לתלמידיו, אשר רבים מהם באו לשיראל לימים אחדים רק כדי להעביר זמן במחיצתו הפעם האחרונה. עד כמה שהתאפשר לו, הוא התמיד באמירת "התיקון הכללי", תכופות בסיועו של אחד מתלמידיו, והשאיר אחריו עזבון הכולל אלפי שעות של שעורים והרצאות מוקלטים, אשר מאפשרות הצצה נרחבת אל תוך אוצרותיו של רבינו כיון שהן מתייחסות לכל שוחרי תורתו ומשנתו.