נולד בשנת תר"נ בחלב שבסוריה, לאביו הגדול רבי שלום הדאיה ולאימו לבית לבטון. משני צדדיו היה נצר למשפחות רבנים מיוחסות, סב סביו היה רבי חיים מרדכי לבטון זצוק"ל שכיהן כרב העיר. בסוף שנת תרנ"ח עלה עם אביו ומשפחתו לארץ, והתחנך בתלמוד תורה "דורש ציון" ולאחר מכן בישיבות "חסד אברהם" ו"תפארת ירושלים". עד מהרה התברר כי גאונותו עולה על מחנכיו, ולכך שכר אביו את הגאון רבי שלום בוחבוט שילמדו תורה, ובהמשך למד גם מפיהם של הגאונים רבי יצחק שרים ורבי יצחק אלפייה זצוקללה"ה. בשנת תרס"ז נשא לאישה את צלחה (שלמית) בת הרב עזרא שרים. במהלך כל שנותיו עמל בתורה ביגיעה ובהתמדה עצומה ממש, עד לשליטה מלאה בש"ס ופוסקים ובשאר מכמני התורה.
בזמן מלחמת העולם הראשונה חשש שיגוייס לצבא הטורקי ולימודו ייפגע, ולכך נמלט בהחבא לחלב למשר ארבע שנים. בשנת תרפ"ג הוקמה ישיבת פורת יוסף בעיר העתיקה, ורבי עובדיה התמנה לר"מ. כמו כן היה פעיל בישיבת "עוז והדר" ושימש שם כש"צ במשך שנים (בנוסח ע"פ כוונות האר"י).
דבר גאונותו ושליטתו בכל חלקי התורה בעיון ובעמקות החל להתפרסם ברחבי הציבור כולו, ובשנת תרפ"ה התמנה להיות חבר בית הדין של העדה הספרדית בירושלים. בשנת תרצ"ט התמנה להיות דיין בבית הדין בפתח תקוה, וכיהן בפועל כרב העדה הספרדית במקום. בשנת תשי"א נתמנה לחבר בית הדין הרבני הגדול לערעורים בירושלים.
בשנת תשי"ח שיקם את ישיבת המקובלים בית אל שאת ספסליה חבש בצעירותו, והעבירה לגג ביתו שבמערב העיר. בנוסף בנה לצידה ישיבה ללימוד תורת הנגלה בשם "שלום עבדו", על שם אביו רבי שלום הדאיה.
האיר את העולם בחיבורו המרכזי שו"ת "ישכיל עבדי" הכולל שמונה כרכים. שבעה נדפסו בחייו והשמיני במלאת י' שנים לפטירתו. לכרך הראשון קיבל מכתבי ברכה נלהבים מגדולי הדור דאז, בהם הגרי"ח זוננפלד, הגרא"ז מלצר ועוד. על אלו נוספו שאר ספריו; שו"ת דע"ה והשכל – על חכמת הקבלה (נדפס בסוף שו"ת ישכיל עבדי), שו"ת ודבר שלום – ויקח עבדיהו – (חמישה חלקים בשני כרכים), עבדא דרבנן – חידושים על הש"ס, עבד המלך – חידושים על הרמב"ם, שלום עבדו – דרושים על התורה ועוד.
נודע ביראת השמיים הנוראה שלו ובקנאותו הגדולה לענייני הלכה ושימור המסורת ללא כל פגיעה והשפעה מדעות ורוחות שנובעות מן המודרניזציה, ולחם בעוז בהצעות לתקנות הלכתיות מודרניות, כגון שבת תירש עם הבנים ועוד, בטענה ששינויים כאלו יובילו לביטול כל התורה כולה.
נלב"ע ביום כ' בשבט לשנת ה'תשכ"ט, ונקבר בחלקת הרבנים הספרדיים בהר המנוחות.