רב יוסף נמנה על גדולי אמוראי בבל בדור השלישי. הוא היה תלמידו המובהק של רב יהודה  בר יחזקאל ועמד בראש ישיבת פומבדיתא במשך למעלה משנתיים.  

היה חברו הטוב של רבה (בר נחמני) וכאשר עמדו חכמים למנות ראש לישיבת פומבדיתא, אחרי פטירתו של רב יהודה, לא ידעו להחליט  במי לבחור: ברבה או ברב יוסף. 

רבה היה ידוע בתור ״עוקר הרים״ (כלומר שנון וחריף ביותר) בעוד שרב יוסף היה בבחינת ״סיני״ (היינו בקי עד מאד בברייתות השונות). מסיבה זו פנו לבסוף לישיבות שבארץ ישראל בשאלה: ״סיני ועוקר הרים — איזה מהם עדיף?״. 

חכמי א״י הכריעו את הכף לטובת רב יוסף כאשר השיבו: ״סיני עדיף, שהכל צריכים למרי חטיא״ (כלומר: לבעל החיטים, היינו בעל הלכות, היודע להשיב תשובות ברורות על השאלות שהוא נשאל במקצועות ההלכה השונים).  

אולם, למרות שהכריעו לטובתו, סירב רב יוסף לקבל על עצמו את המינוי. הוא נימק זאת בזה שבילדותו ניבאו לו כי יהיה ראש ישיבה במשך שנתיים בלבד. 

כיוון שסירב, נתמנה רבה לראש ישיבת פומבדיתא והחזיק במשרה רמה זו 22 שנה. רק אחר פטירתו של רבה נאות רב יוסף לשבת במקומו. 

בכל אותן שנים שישב רבה בראש הישיבה, ראה את עצמו רב יוסף כפוף לו ולא הסכים לקחת על עצמו כל גדולה.  

איפיון גדולתו של רב יוסף כ״סיני״ מסתבר מפירושו של רש״י למושג זה (״המשניות והברייתות היו סדורות אצלו כנתינתן מהר סיני״).  

אשר ל״בעל חטים״, היה רב יוסף קורא על עצמו את הכתוב: ״ורב תבואות בכוח שור״ (משלי י״ד).

הוא מוזכר בתלמוד בבלי כ־60 פעם ומיוחס לו התרגום של דברי הימים, שנקרא ״תרגום רב יוסף״.   

בשיחותיו עם תלמידיו הרבים היה משתמש במשלים ופתגמים עממיים, כדי להדגים ולהבהיר את דבריו. מיוחסות לו האימרות המפורסמות הנפוצות עד היום בשפה העברית: ״לפום גמלא שיחנא״ (לפי הגמל — המשא); לאו עכברא גנב, אלא חורא גנב״ (לא העכבר הוא הגנב - האשם) אלא החור (כלומר ההזדמנות הניתנת לו) וכו'.

הוא היה נכבד ונערץ בעיני תלמידיו המרובים, שהגדולים שבהם היו אביי ורבא. על אביי סיפרו שברגע שראה מרחוק את אזני חמורו של רב יוסף, היה קם לפני רבו. ואילו רבא, כשנפטר מרבו, היה פוסע לאחוריו, מפני הכבוד,  ופעם אחת פצע את רגליו והרטיב את אסקופת ביתו של רב יוסף בדם...  

מלבד גדולתו הרבה בתלמוד, אמרו עליו חבריו על רב יוסף שהיה יודע גם במעשה בראשית ומעשה מרכבה (עפ״י חגיגה י״ג).  

בתחום מידותיו, היה רב יוסף מפורסם בענוותנותו הגדולה. כאשר העמידוהו על טעותו, היה מודה בפומבי והיה מכריז: ״לאו מילתא היא דאמרי״ (מה שאמרתי הוא לא כלום!). כדי להדגיש את חשיבותה של מידת הענווה היה אומר: ״לעולם ילמד אדם (את מידת הענווה) מדעת קונו שהרי הניח הקב״ה כל הרים וגבעות והשרה שכינתו על הר סיני והניח כל אילנות טובות והשרה שכינתו בסנה״ (סוטה, ה').

התיחס אל כל אדם בכבוד גדול ובמיוחד לתלמידי חכמים, אשר על כבודם שמר אפילו בריתחת הויכוח החריף. רגיל היה לערוך סעודה לתלמידי חכמים וכך עשה גם ביום בו מלאו לו ששים שנה, כי ביום זה יצא מכלל כרת (מו״ק כ״ח). אמרו עליו כי ארבע מאות תלמידים היו אוכלי שולחנו. מרגלית היתה בפיו: גדול תלמוד תורה יותר מהצלת נפשות. על המזלזלים בכבוד רבנים היה אומר: מיהו אפיקורוס? כגון האומר מה מועילים לנו הרבנים הללו?... (סנהדרין צ״ט). לעומת זאת אמר כי אפילו רשע גמור כאחאב, שהתמכר לעשות הרע בעיני ה׳, מתוך שההנה תלמידי חכמים מנכסיו, נתכפרו לו מתצית עוונותיו (שם). 

יקר היה בעיני רב יוסף כבוד התורה וסבר כי אילולא התורה, הרי שהוא היה כאחד האנשים ברחוב. בחג השבועות שמח מאד ואמר שיעשו לו עגלה משלושת, באומרו: אי לאו האי יומא (אם לא יום זה — של מתן תורה) כמה יוסי איכא בשוקא (כמה יוספים יש ברחוב...).

מסופר על רב יוסף כי צם שלוש פעמים ארבעים תעניות, עד שקראו עליו מן השמים את הכתוב ״לא ימושו מפיך ומפי זרעך ומפי זרע זרעך״. אמר: מכאן ואילך איני צריך, כי ״תורה מחזרת לאכסניה שלה...".  

בחייו הפרטיים סבל רב יוסף יסורים רבים. תחילה חלה במחלה קשה ושכח את כל תלמודו, עד שאביי תלמידו היה יושב לפניו ומשנן את אשר למד ממנו, עד שחזר ונזכר. מאוחר יותר נתעוור, כנראה כתוצאה מאותה מחלה  עצמה. בקשר לשיכחה שתקפה אותו מעניינת מאמרו: ״הלוחות ושברי־הלוחות מונחים בארון. מכאן לתלמיד חכם ששכח את תלמודו מחמת אונסו שאין נוהגין בו מנהג בזיון״ (מנחות צ״ט).  

מצבו הכלכלי של רב יוסף היה שפיר למדי. הוא היה בעל שדות וכרמים. את כרמו היה עודר פעמיים ועל כן זכה ליבול משובח של יין. אמרו על יינו של רב יוסף שאפשר למזגו (לערבבו) בכפליים מים מכל יין אחר, מחמת חריפותו.  

רב יוסף נהג לבקע עצים בכבודו ובעצמו לכבוד שבת. את אמו היה מכבד מאד וכאשר שמע את קול פסיעותיה, היה אומר: ״אקום בפני שכינה שבאה״.  

במותו נעשה לו כבוד גדול: הוציאו את מיטתו סמוך לשעת קריאת שמע והמונים באו ללוותו, עד שנשתברו הגשרים שעל נהר הפרת (מו״ק, כ״ה). 

במותו ירש את מקומו כראש הישיבה אביי תלמידו.