בבחרותו הסתופף הרב חרל"פ בצלו של הרב יהושע צבי מיכל שפירא. בבית מדרש זה שלטה רוח הקנאות הטהורה לדבר ה', ואופי העבודה היה של סגפנות. אולם בהיותו בן 22 פגש הרב חרל"פ את הרב קוק ביפו, "במקרה", ובאותו רגע הפך לתלמידו ומעריצו עד סוף ימיו. הוא שינה לחלוטין את דרכו הרוחנית, ועזב את דרך הקנאות והסיגוף. חבריו היו המומים, ובישוב הישן השתאו על המעבר החד שעשה אל תורת הרב קוק, שדרכיה דרכי נועם.
ההשפעה הרוחנית של הרב קוק ניכרה היטב באברך הצעיר. הירושלמים, שנבצר מהם לשמוע את דברי תורתו המאירה של הרב קוק, הסתפקו בשמיעת חידושיו מכלי שני, על ידי שגרירו בירושלים – הרב חרל"פ. הוא אסף סביבו עדת תלמידים צעירים ששאבו דרכו מתורת הרב קוק.
כל כך התלהבו בני הישוב הישן מדרכו של הרב קוק, עד שבשנת תרס"ט, כאשר חיפשו רב ומנהיג לשכונת 'שערי חסד' הותיקה, שמו עיניהם דווקא באברך הצעיר יעקב משה חרל"פ לכהן כרבה של השכונה! היו אז עשרות רבנים מופלגים בתורה וזקנים בימים, אבל האור הבוהק של הרב חרל"פ, תלמידו המובהק של הרב קוק ואיש סודו, הכריע את הכף. על כתב הרבנות חתמו ראשי העדה ב'שערי חסד', ובהם גם כאלו שלימים היו בעדה החרדית. אף הם העריצו למאוד את הרב הצעיר.
לא זו בלבד, אלא שבשנת תרע"ב, כאשר מחליטים ב'עץ חיים' – המוסד החינוכי, בה"א הידיעה, של הישוב הישן – להקים ישיבה לבחורים, את מי הם מחליטים להעמיד בראשה, כרב ומורה דרך? לא אחר מהרב יעקב משה חרל"פ. הוא בסך הכל בן 30, אבל הדרך המיוחדת שסיגל לעצמו מתורת רבו, דרך שכבר הוכרה בין צעירי ירושלים וזכתה להערכה רבה בקרב רבניה, הפליאה את כולם. בפועל, הרב חרל"פ חינך את בחורי ישיבת עץ חיים לפי הדרכות רבו הרב קוק, כפי שאפשר להתרשם מאגרותיו בספר 'הד הרים' ובספריו האחרים.
מנהלי 'עץ חיים' לא מסתפקים במינויו של הרב חרל"פ, בחיר תלמידיו של הרב קוק, כראש הישיבה. הם קוראים לרב ישראל פורת, אף הוא תלמידו המובהק של הרב קוק, וממנים אותו להיות המשגיח הרוחני בישיבה. הרב קוק התבטא פעם: "מכל תלמידי אני מוצא סיפוק הכי הרבה – מהרב ישראל פורת". הוא היה מתלמידיו הראשונים של הרב קוק בישיבתו ביפו, וזכה להדרכתו הצמודה. הוא חיבר את הספר הגדול 'מבוא התלמוד', בעקבות הוראת רבו. על מאמריו היה חותם "יפו", לא רק בגלל שזה ר"ת של שמו, אלא מפני ש"את כל תורתי למדתי ביפו", אצל הרב קוק.
באמצעות שני רבנים אלו, שהיו תלמידיו המובהקים ביותר של הראי"ה קוק באותה תקופה, הושפעו תלמידי הישוב הישן בעקיפין ובמישרין מאור תורתו של הרב קוק. 'עץ חיים' היה לא רק מוסד התורה הראשון בירושלים, אלא גם הגדול והדומיננטי ביותר באותם ימים. שם צמחו רוב ככל גדולי הדור הבא של העולם החרדי הירושלמי.
בחירתו של הרב חרל"פ בגיל כה צעיר לכהן בשני תפקידים חשובים אלו – רבנות 'שערי חסד' וראש ישיבת עץ חיים – מלמדת אותנו על גדלותו ועל כשרונותיו, כמו גם על דרכו הרוחנית המופלאה, אותה ספג מרבו הראי"ה קוק.
