איש מופלא התהלך בירושלים, כמעט דמות אגדית, שהיה מכונה בפי אנשי ירושלים "יבנה המקדש". על איש מסתורי זה התרקמו הרבה מעשיות ואגדות. שמו האמתי היה ר' יוסף כהן.
ולמה נקרא ר' יוסף כהן בשם "יבנה המקדש", משום מעשה שהיה. בימי שלטון התורכים, במלחמת העולם הראשונה, הכריזה הממשלה על צו גיוס לצבא. רבים היו משתמטים, כי ידוע היה שצבא התורכי עזוב ומוזנח, החיילים חיים בתנאים בלתי הגיוניים, בחוסר מזון, סובלים ממחלות שונות. כתוצאה מכך פרצה מגפת טיפוס הבהרות, ורבים מהחיילים מתו. היהודים העשירים היו פודים עצמם פדיון כסף וקיבלו תעודת שחרור מהצבא, אך לא כן מחוסרי האמצעים. אלה התחבאו מעין השלטון, ורק מעטים מהם הלכו מרצונם הטוב. ר' יוסף כהן היה אחד מהמעטים האלה שהלכו והתגייסו מבחירה.
השלטון ידע על המשתמטים ושלח ציידים לרחובות הערים, לצוד את המתחמקים. כל מי שנתפס נשלח לקישלה.
באותו יום שר' יוסף כהן מתגייס, הוא נשלח לקישלה לצורך סידור הגיוס. בבואו לשם הוא מצא את האולם מלא יהודים שנתפסו, שרויים בדאגה, עצובים ונכאים. ר' יוסף פנה אליהם ואמר: מפני מה פניכם קודרות? הלא אנו מאמינים בני מאמינים, קוו לה' ובטחו בו, אל יפול רוחכם! קוו, ונשיר יחדיו: "יבנה המקדש עיר ציון תמלא, ושם נשיר שיר חדש וברננה נעלה".
ר' יוסף שר בהתלהבות-קודש, ומגביר קולו, וקורא וחוזר וקורא "יבנה המקדש… יבנה המקדש". וראו איזה פלא, אט אט קמים העצורים הדואגים, ומצטרפים לשירתו: "יבנה המקדש!". והיתה השירה אדירה, מתוך דבקות ואמונה בה' שלא יעזוב צאן מרעיתו. ומאז קראו אנשי ירושלים לר' יוסף "יבנה המקדש". וכשפנה איש או אישה אל השכונה בה גר ר' יוסף כהן, ושאלו על מקום מקורו של ר' יוסף כהן, איש לא ידע להשיב. אך כששאלו איפה גר "יבנה המקדש", היה כל ילד יודע להשיב: "כן, פה הוא גר, אחרי הבית השלישי מכאן…". הוא היה חותם על מכתביו: "יוסף כהן יבנה המקדש".
"יבנה המקדש" היה נוח לבריות וחביב עליהן, ולא נראה אף פעם בכעסו או ברוגזו. בהיותו מצאצאיו ותלמידיו של אהרן הכהן אוהב שלום ורודף שלום, היה נוהג בבואו להשלים בין שכנים נצים או בריב שפרץ בין איש לאשה, ולומר להם: "יבנה המקדש זאל זיין" ומיד כיסה חיוך כל פנים וצייתו לדבריו.
בחזרו מהצבא התורכי, מצא ששלושה מילדיו מתו ברעב, כי הגרמנים שדדו אז את כל המזונות שמצאו בבתי היהודים בבית ישראל הישנה. אך בהיותו איש אמונה לא נשבר ברוחו.
"יבנה המקדש" היה נגר במקצועו. בילדותו למד בת"ת עץ חיים הותיק. את אהבתו לעשות צדקה וחסד ירש מאביו ר' ברוך צבי. ובארבע מצוות היה מדקדק "יבנה המקדש" במיוחד, ודבק בהן כל חייו: ביקור חולים, הכנסת כלה, לווית המת והצלת ילדים מהמיסיון. כל הזוגות ההולכים להינשא ובידם אין פרוטה, ידעו שיש כתובת: "יבנה המקדש". הוא הכתובת לעזרה בהכנסת כלה.
בהיותו בעל נגריה, וההצלחה האירה לו פנים, היה מפריש מכספו למטרה הקדושה של הכנסת כלה, ואף מתרים אחרים למען מצווה זו.
"יבנה המקדש" היה איש ירא שמים וזהיר במצוות. כשהקים הרב קוק זצ"ל את ישיבת 'מרכז הרב' סירב להזמין נגר אחר מאשר את "יבנה המקדש", והוא נענה ברצון והכין את רהיטי הישיבה הראשונים.
"יבנה המקדש" היה איש שכולו חסד. פעם אחת בליל שבת הגיע לבית הכנסת עולה חדש, שאשתו היתה בחודש השמיני להריונה. היהודי סיפר ל"יבנה המקדש" שהוא עלה השבוע לארץ, אשתו הרה ללדת, והם הוכנסו לבית הכנסת אורחים. כששמע זאת "יבנה המקדש" הזמין מיד את האיש ואשתו לבוא אליו הביתה. הוא השכיב את ילדיו על שמיכה שפרש על הרצפה, ומסר לזוג את המיטות. ביום ראשון הלך "יבנה המקדש" ושכר לזוג חדר במאה שערים, פירק את מיטתו ומיטת אשתו, והעבירן אל החדר שנשכר עבור הזוג. "יבנה המקדש" ואשתו ישנו על הרצפה. בנוסף קנה לעולים רהיטים חיוניים ואף סיפק להם מזון.
בראש השנה נהג "יבנה המקדש" לעבור בפני התיבה שלא על מנת לקבל פרס. הוא היה בעל תפילה שקולו ערב. ופעם בעמדו ליד התיבה, ביום ראשון של ראש השנה, בזמן שהוא מתפלל בדבקות ובלהט כדרכו, ניגשו אליו וסיפרו לו שאל בית כנסת מתקרבת שיירת ילדים וביניהם ילד יהודי המובלים על ידי שני כמרים. מיד עזב "יבנה המקדש" את התיבה, ויחד עם אביו נחפזו לצאת. כששאלו הציבור: היתכן לעזוב את העמוד באמצע התפילה, השיב: "להציל ילד מהמיסיון חשוב יותר". כשיצאו הבן ואביו, תפס האב את הילד ונעלם, לאחר שכומר אחד נאבק עמו ושבר את אצבעו. כל עוד נפשם בם, מיהרו "יבנה המקדש" ואביו אל בית היתומים דיסקין, לשם הוכנס הילד היתום. רק בסיום המאורע שב "יבנה המקדש" לבית הכנסת ולתפילתו. חטיפה-הצלה זו של הילד היהודי עורר אז הדים בירושלים.
בשנות חייו האחרונות סגר את הנגריה, וישב ולמד בלילות בבית הכנסת הגדול בבית ישראל הישנה, וביום – בבית הכנסת הגדול במאה שערים. בשנותיו אלו שימש "רופא" וטיפל באנשים מחוסרי אמצעים שנקעו רגל או יד, שלא על מנת לקבל פרס. הדבר נתפרסם ורבים פנו אליו ביום ובלילה מכל רחבי-הארץ. כשהיה זקן וחלש, ובני ביתו תבעו ממנו שיחדל מלקבל חולים, היה ממשיך לרפא אותם בחשאי, היה מקבל את כתובותיהם והיה מכתת רגליו מבית לבית כדי להקל על ייסורי החולים ולהחזיר את הרגל או היד שנקעו למקומם. כשהיה יוצא מהבית לערוך תיקון חצות בבית הכנסת, ופגשוהו אנשים בדרכו וסיפרו לו על מקרה של נקע ועל יסוריו של האדם שנפגע, היה הולך ראשונה לבית החולה, באמרו ששחרור חולה מיסוריו קודם לבית-כנסת.
מבין 11 ילדיו שנולדו לו, חיו רק שלושה, ובהם מרים, אלמנתו של אלתר גופשטיין (שנפל במלחמת השחרור). נכדו הוא בנצי גופשטיין, מייסד ארגון להב"ה – למניעת התבוללות בארץ הקודש.
