בשלהי שנת תרס"ט [1909], עלה לארץ האברך הצעיר ר' יוסף צבי רימון עם אשתו אסתר והבת רבקה.
ר' יוסף צבי, שכבר בנערותו נמשך לרעיון הציוני, חש כי הוא מגשים את חלומם של דורות רבים ששאפו להגיע לארץ הקודש. הוא התרגש ממראות ארץ ישראל, מהסמטאות של יפו וירושלים, וגם מהים הגדול. בייחוד התרשם מאווירת הקדושה של הארץ.
כבר בימיו הראשונים בארץ נפגש ר' יוסף צבי עם רבה של העיר יפו, הרב אברהם יצחק הכהן קוק זצ"ל. ההיכרות שנוצרה ביניהם השפיעה עליהם רבות במשך השנים הבאות. היה זה חיבור פורה בין שני עולמות רוחניים המשלבים שירה ואמונה, מסורת והתחדשות.
הראי"ה קוק הכניס את ר' יוסף צבי ללמוד בישיבתו ביפו, שנוסדה באותה תקופה, ולמדו בה אז כמניין תלמידים. בין מורי הישיבה היו הרב זלמן שך, שלימד גמרא, והרב קוק שלימד 'שולחן ערוך'. בנו של הראי"ה, הרב צבי יהודה קוק, שלמד אף הוא בישיבה, למד עם רי"צ את כתבי אביו ובמיוחד את הספר 'עקבי הצאן'. לימודם המשותף התקיים מדי יום ביומו.
בישיבה זו למדו טובי הבחורים, שהתקבצו מירושלים ואף מישיבות חשובות באירופה. זו היתה הישיבה הראשונה בארץ שהיתה בעלת אוריינטציה לאומית מוצהרת. מגמת הישיבה היתה להיות חלק מתהליך תחיית האומה, ולהשפיע על העם כולו, ולכן פעלה במרכז היישוב החדש – העיר יפו. מקום הישיבה היה בקומה העליונה של 'שערי תורה'.
לימים סיפר רימון על תקופה זו:
"הייתי רגיל להסתופף הרבה בצילו של הגאון מוהרא"י קוק, אווירתו של זה היתה יקרה לי מאוד, עד אשר נרשמו בקרבי זיכרונות הימים שביליתי בביתו, בייחוד הערבים, שאור דעותיו הנעלות הקסימוני בהם עד למאוד. כל הנעלה והנשגב ראיתי במראה זוהר פניו".