בונה ירושלים החדשה
ר' יוסף ריבלין היה הדמות הדומיננטית ביותר בישוב הישן בדורו, ומי שיש לזקוף לזכותו את התהליך ההיסטורי של 'היציאה מהחומות', ובניית ירושלים החדשה.
בילדותו למד יוסף הצעיר בישיבת 'עץ החיים' בירושלים, שנוסדה ע"י סבו רבי משה ריבלין, שהיה מגיד מישרים וכיהן כמנהיג העדה האשכנזית. הוא הושפע רבות מסבו, אשר החדיר בו את חזון אבותיו לחזק את הישוב בארץ ישראל, כחלק מתהליך הגאולה.
מגיל צעיר, היה נתון ר' יוסף לרעיון ישוב הארץ והרחבת הבנין מתוך מסירות נפש, כפי שנהגו אבותיו תלמידי הגר"א בהתנחלותם ברחבי הארץ.
מסירות נפש על ישוב הארץ
כאשר התארס בשנת תרט"ו עם העלמה שרה ציפה גולדשמיד, שוחח ר' יוסף לפני התנאים עם אחיה ר' משה יצחק, שהיה גם הוא אחד מעסקני ירושלים וממייסדי השכונות, ואמר לו כך:
"הנה ב'תנאים' כתובה התחייבות "ולא יעלימו לא זה מזו ולא זו מזה", לפיכך החובה עלי שלא להעלים מהכלה שמוחלט אצלי להתחיל בישוב חדש מחוץ לחומה ולהתיישב בו ראשונה".
הורי הכלה חפצו לבטל את השידוך, כדי שלא לסכן את חייה על ידי שגעון כזה. הישיבה מחוץ לחומות הייתה מסוכנת ביותר. השודדים המסוכנים, הישמעאלים הרעים וחיות הטרף שהסתובבו שם – הפחידו את הציבור. אף אחד לא העז להתגורר מחוץ לחומה, והיה נראה הרעיון כמוזר ביותר. אך הכלה אמרה: "גם אני חושבת שהרעיון הזה חשוב, ובאשר ילך הוא, אלך גם אני".
מנהל ה'ועד הכללי' וראש הבונים
בשנת תרכ"ו, לאחר פטירת בן דודו ר' יוסף יואל ריבלין, מזכיר הכוללים, החליפו רבי יוסף בתפקיד, ע"פ בקשתו של רבי שמואל סלנט, כאשר גילו הוא בן כ"ח שנים. במסגרת תפקידו החדש, איחד רבי יוסף את כוללות הפרושים (ואח"כ נוספו גם כוללות החסידים) למוסד אחד: ה'ועד הכללי – כנסת ישראל'.
מוסד זה שימש כגוף המרכזי של הישוב האשכנזי, ורבי יוסף היה מזכירו ומנהלו, ואף ייצגו בפני השלטונות. הוא נשא בהנהגת הוועד והמוסדות הקשורים בו עד אחרית ימיו, מתוך מסירות רבה.
באותם הימים היה ה'וועד הכללי' המוסד העליון של הישוב, ובית היוצר הראשון של כל מפעלי הבניין והרחבת הישוב. כל תנועת הבניין, קניית הקרקעות, סידורי הכספים והעניינים המשפטיים של כל השכונות הנ"ל – היה בבית ה'ועד הכללי'. במסגרת תפקידו זה, פעל רבי יוסף פעולות רבות וחשובות של ישוב הארץ.
עיקר מסירותו ועמלו במפעלי בניית הארץ והרחבת ירושלים, היה מושתת על שיטה מסודרת שמקורה בתורת הגר"א מוילנה ותלמידיו מייסדי הישוב בארה"ק. שאיפתם החזקה היתה "מצות הרחבה" – על בסיס הפסוק 'הרחיבי מקום אהלך'. הם היו חדורים ברעיון 'קץ המגולה', כלומר בנין ונטיעה לשם קירוב הגאולה.
הקמת נחלת שבעה
מתוך השקפה זו עליה התחנך ר' יוסף ריבלין, הוא קנה (בשנת תרכ"ח) יחד עם חברו רבי יואל משה סלומון זצ"ל את החלקה של השכונה הראשונה היהודית 'נחלת שבעה' מחוץ לחומת העיר העתיקה.
רבי יוסף היה הראשון שבנה ביתו בשכונה, ויצא לגור בו יחידי על אף הסכנה. את אבן הפינה לבנין ביתו שהיה הראשון מחוץ לחומה (ומתוך כך היה לסמל של ישוב הארץ), הניח דווקא ביום ה' באייר (תרכ"ט), זאת משום שבקרב תלמידי הגר"א היה נחשב תאריך זה (ה' באייר) ליום מיוחד של גאולה ובניין הארץ.
רבי יוסף היה המייסד העיקרי של שלוש עשרה השכונות הראשונות מחוץ לחומה: נחלת שבעה, מאה שערים, אבן ישראל, כנסת ישראל, ועוד. ארבעים שנה עבד, בנה ועסק בכל ענייני הציבור בירושלים, וזכה לכינוי: "רבי יוסף דער שטטלאך מאכער" (רבי יושע בונה השכונות). בכל שכונה שהקים, היה ר' יוסף 'הנחשון הראשון', בהיכנסו למדבריות שוממים ומקומות מסוכנים במסירות נפש. הוא היה נוהג להיכנס לבית הראשון בשכונה החדשה, מתגורר בו עד להתבססותה, ומיד היה מוכר את ביתו ועובר לשכונה החדשה הבאה. מסירות נפשו הייתה לשם דבר בקרב תושבי ירושלים.
הקמת שכונת מאה שערים מתוך אמונה ב'אתחלתא דגאולה'
שכונת 'מאה שערים' היא אחת מהשכונות שהקים רבי יוסף, מתוך אמונתו ב'אתחלתא דגאולה'. בפנקסי היסוד של שכונת מאה שערים מתקופת היווסדה, כתוב כך: "ונזכיר לטוב את הר' יוסף בהר"ר אברהם בנימין, כי זכה בזה מאת השוכן בציון, ולו בא הדבר הגדול הזה ברעיון, וקיבץ החברים, הזוכה לזאת שנתעורר לו מלמעלה למטה המחשבה הנוראה לבנות חורבות ירושלים עיה"ק ת"ו".
ר' פנחס גרייבסקי סיפר לימים:
"הדור שלנו לא יכול לתאר לו בשום אופן באיזה סיכון נפש עשו אז הצעדים הנועזים האלה. תיכף בתחילת הלילה היו צריכים לסגור את הדלתות והחלונות הסגורים ברשת ברזל עד אור הבוקר, מפחד החיות והשודדים. בדם, בדמע ובקרבנות רבים בנו את השכונות הראשונות בירושלים".
רבי יוסף היה שותף גם להקמת מושבות חקלאיות ברחבי הארץ. הוא עזר הרבה לרבי יואל משה סלומון וחבריו ביסוד המושבה הראשונה פתח תקווה, במקומה הראשון – ליד יריחו. גם את שמה של המושבה, 'פתח תקווה' – נתן הוא. מעניין שעד היום לא נכתב מחקר מקיף על תרומתו להקמת פתח תקוה.
כשרונות הנהגה מיוחדים
רבי יוסף היה מנהיג משכמו ומעלה, בעל אישיות נדירה ומיוחדת. הוא היה גאון עצום בתורה, בנגלה ובנסתר, בעל הדרת פנים וקול אדיר ונעים. קומתו הייתה גבוהה וחסונה. הוא היה בקיא בשפות שונות, ביניהן ערבית, ספרדית ואנגלית, ומומחה גדול בהנדסה, אגרונומיה ועסקי בנייה. בנוסף לכך הייתה לו השקפה מדינית מצוינת, עד שהיה נחשב באותה תקופה לאחד מגדולי המומחים בנושאים מדיניים.
בהיותו מנהל ה'ועד הכללי' שלושים וחמש שנה, ובא כוחה של פקידות אמשטרדם, עבד תמיד במסירות נפש לעזרת אלפי עניים וקשי יום. בנוסף לכך הוא היה המתווך בין העדה היהודית והממשלה התורכית, ובהשתדלותו נכנסו בכל שנה מאות יהודים לארץ ישראל.
"עמוד התווך"
בכ"ז אלול תרנ"ו, נפטר רבי יוסף, כשהוא בן חמישים ותשע שנים. הוא הותיר את משפחתו בעניות ובחוסר כל, כתוצאה מזהירותו והתרחקותו במשך כל ימיו מכל הנאה ורווח אישי. כשהגיעה הבשורה המרה אל רבה של ירושלים, רבי שמואל סלנט זצ"ל, בכה ואמר: "טרוף טורף יוסף. נפל עמוד התווך". רבים וגדולים מרבני ירושלים ונכבדיה ספדו לו, ביניהם ידידו רבי יחיאל מיכל פינס זצ"ל. בתוך דברי ההספד אמר ר' יחיאל מיכל: "כשיבואו וכשיבואו סופרי אמת לכתוב תולדות הישוב בארה"ק, ירשמו את שם האיש הזה באותיות זהב".
יחסו לישוב החדש
הגם שהיה איש הישוב הישן, העריך ר' יוסף ריבלין את החלוצים ואת אנשי הישוב החדש שהתמסרו לעבודת התחיה הלאומית. ועם זאת הצטער על אלו שעזבו את שמירת המצוות.
בשיחה שקיים ר' יוסף ריבלין עם איתמר בן אבי, שיבח את עבודתו של אביו אליעזר בן יהודה:
"רק אחת תפילתי מאתו – שיחזור בתשובה, שיבקר כבימיו הראשונים בירושלים, בבתי הכנסת, כמוני וככל אחינו כאן, וכספרדים וכאשכנזים יתכסה בטלית, להיות לו דת ישראל לאור נצח במלחמותיו הבאות לטובת עמנו. דבר גדול, גדול מאוד, הדבר הגדול אולי בכל תולדות ישראל לאחר החורבן – עשה אביך בהחיותו את שפת עבר מאבק חניטתה במשך עשרות דורות. יהא נא הוא, אחינו האשכנזי, גם מחיה דתנו הקדושה בקרב הכופרים כולם. זאת היא תפילתי, בני" (עיתון 'הבוקר', 9 באפריל 1939).