נולד בשנת 1488 בעיר טולדו שבספרד. מצבם של יהודי ספרד באותה תקופה מתאפיין ברגיעה יחסית, גדולי תורה באים ויוצאים בחצר המלוכה והשפעתם רבה בכל תחומי החיים. כבר מורגשת אימת האינקוויזיציה שכפתה על יהודים להמיר את דתם, אך השפעתה עדין לא הגיעה לכלל האוכלוסייה היהודית. באותה תקופה פועלים בספרד הרבנים: יצחק ערמאה, שכתב את הספר "עקידת יצחק", יצחק אברבנאל – שר חשוב בחצר המלוכה, ואברהם זכות – בעל "ספר יוחסין".
בשנת 1492 מתרחש גרוש ספרד ויוסף הקטן ומשפחתו עוברים לעיר ליסבון – בירת פורטוגל השכנה. בתחילה האירה פורטוגל את פניה ליהודים המגורשים שנקלטו היטב בחיי המדינה והחלו לצבור עמדות בשלטון המקומי, אך תקופה זאת לא ארכה זמן רב. לאחר ארבע שנים נכנע מלך פורטוגל ללחצי ספרד ובעקבות קשרי חיתון עם בת מלך ספרד, הורה המלך לגרש את היהודים גם מפורטוגל.
משפחת קארו גורשה מפורטוגל ב-1496 והיגרה לאיסטנבול – בירת האימפריה העות'מנית. בעיר זאת החל יוסף קארו בעבודתו התורנית. הוא כתב הערות לספר "היד החזקה" של הרמב"ם. ההערות שימשו מאוחר יותר בסיס לספרו "בית יוסף", שהוא מצדו הבסיס ל"שולחן ערוך". בתקופה זאת החלו לכנותו מר"ן – תואר הרומז על כך שהוסמך ע"י מאתיים רבנים (קיצור של ממאתיים רבנים נסמך).
בשנת 1508 עבר יוסף קארו לאדריאנופול – עיר סמוכה לגבול תורכיה בולגריה, שהייתה בעבר בולגרית (שמה בבולגרית Odrin). באדריאנופול, בה התקיימה במשך דורות קהילה יהודית גדולה וחשובה, עמד הרב קארו בראש הישיבה המקומית ושמו החל להתפרסם בעולם היהודי. בעיר זאת נשא לאישה את בתו של חיים אלבלך, מראשי הקהילה. אשתו שלא האריכה ימים, חלתה ונפטרה. לאחר זמן נשא לאישה את בתו של יצחק סבע, מאחת המשפחות המיוחסות בקהילה.
בשנת 1523, בהיותו בן 35, עבר הרב קארו לעיר ניקופול שבבולגריה, על שפת נהר הדנובה, בה החל לכתוב את ספרו הגדול "בית יוסף", עליו שקד כעשרים שנה. בניקופול ייסד יוסף קארו בית כנסת וישיבה גדולה בשם "בית יוסף" אליה נקבצו תלמידים רבים. בשנת 1993 הוקם בעיר גן לזכרו של יוסף קארו, בעל "בית יוסף" ו"שולחן ערוך". על ניקופול וקהילתה היהודית, ראה מאמר שנכתב באתר זה.
לכתיבת ספרו "בית יוסף" נזקק הרב קארו לספרים רבים שלא היו בניקופול ולכן נאלץ לנדוד לאיסטנבול וסלוניקי, בחיפוש אחר הספרים הדרושים. במסגרת נדודיו פגש את המקובלים, הרב שלמה אלקבץ, מחבר "לכה דודי" ואת שלמה מולכו, שנולד בפורטוגל כנוצרי – בן למשפחת אנוסים. שלמה מולכו, היה בעל אישיות כריזמטית, ובהמשך חייו חזר ליהדות, אף כי נחשד במשיחיות. הוא סיים את חייו על המוקד עליו הועלה ע"י האינקוויזיציה הספרדית. אישיותו הטביעה חותם עמוק על יוסף קארו (אף כי אין הוכחה שנפגשו). השפעת שלמה מולכו באה לביטוי בספרו הקבלי של יוסף קארו, "מגיד מישרים".
יוסף קארו החליט לעלות לארץ בשנת 1536. הפלגתו (דרך מצרים) נמשכה כשנה ובסיומה הגיע לצפת, בה התקיימה באותה תקופה קהילה יהודית גדולה ומפותחת. העיר הייתה מרכז תורני והתרכזו בה רבנים גדולים וחשובים. תנאי החקלאות בסביבה משכו לצפת את מגורשי ספרד שהקימו בה חוות חקלאיות. על רקע ההתפתחות ורווחתה הכלכלית היחסית של צפת יכלו תלמידי חכמים להקדיש את זמנם ללימודי קודש. קירבתה של צפת למירון, מקום קברו של שמעון בר-יוחאי, מחבר ספר "הזוהר", משכו לצפת מקובלים.
בשנת 1558- הודפס בוונציה לראשונה הספר "בית יוסף", גולת הכותרת בעמלו של יוסף קארו. לאחר הפרסום הוא התקבל לחבורת גדולי הדור. ב-1566 הוא עבר לבירייה הסמוכה לצפת, ומדפיס לראשונה את "שולחן ערוך" – התמצית של "בית יוסף" ודוקא התמצית הפכה לספר המפורסם יותר מבין שני הספרים. כעבור ארבע שנים חזר יוסף קארו לצפת והשלים את ספרו "כסף משנה" ובו באורי מקורות הרמב"ם. בצפת עמד בראש הישיבה הגדולה והתקבצו סביבו תלמידים רבים. ב-1575, ביותו בן 87, נפטר הרב יוסף קארו, שבע ימים. הוא נטמן בצפת, בחלקת קברי הגאונים.