מדדי ביצועים של HeOCR

איך HeOCR משתווה לכלים פתוחים אחרים, לפי סוג המסמך. לכל מספר מצוינים גודל המדגם, רווח בר־סמך של 95%, המדד, מקור הטקסט הנכון וההרצה שממנה הוא בא. הדף נבנה מקובץ אחד, results.json, שמתעדכן אחרי כל הרצה.

עודכן 2026-11-19.

מסמכים לפי פורמט

שגיאת תווים לפי סוג מסמך

נמוך יותר עדיף

בקבוצה המוחזקת בצד, ל־‎heocr‏ שגיאת התווים הנמוכה ביותר בכל 9 סוגי המסמכים שגם כלי אחר קורא; ב־7 מהם רווח הסמך שלו אינו חופף לאף קורא אחר. את DOC קורא רק heocr.

  • heocr שלנו
  • הכלי הפתוח האחר הטוב ביותר הנמוך ביותר מבין Docling,‏ MarkItDown ו־PyMuPDF4LLM
  • Tesseract הרגיל heb, tessdata_best
0255075100%סוג מסמךקוראשגיאת תוויםרווח סמך 95%DOCXWord (.docx)‎n = 80heocr0.30%0.21–0.38Docling3.3%2.8–3.7Tesseractלא הוערך על סוג זה–DOCWord ישן ‏(‎.doc‏)n = 40heocr0.77%0.60–0.94כלים פתוחים אחריםאף כלי פתוח אחר לא קורא את הפורמט הזה–Tesseractלא הוערך על סוג זה–PDF T1שכבת טקסט תקינהn = 316heocr0.02%0.02–0.03Docling21.6%19.2–24.2Tesseract (n=80)8.6%7.9–9.3PDF T2שכבת טקסט בסדר חזותיn = 40heocr0.02%0.01–0.05Docling10.6%9.7–11.6Tesseractלא הוערך על סוג זה–PDF T3מפת תווים שבורהn = 146heocr0.16%0.10–0.24PyMuPDF4LLM65.7%61.6–70.2Tesseract (n=66)9.2%8.5–10.0PDF T4סריקה עם שכבת OCR שגויהn = 40heocr5.8%2.8–11.3PyMuPDF4LLM80.8%80.1–81.6Tesseract8.0%7.0–9.0PDF T5סריקה, תמונה בלבדn = 40heocr5.5%2.7–10.9PyMuPDF4LLM82.9%82.8–83.1Tesseract8.0%7.0–9.0PDF T6טקסט ועוד טקסט כתמונהn = 40heocr0.23%0.08–0.44Docling13.4%12.6–14.2Tesseractאין ציון שגיאת תווים; ראו בטבלה–PDF spreadשני עמודים בגיליון אחדn = 40heocr0.02%0.01–0.05Docling71.8%66.3–76.0Tesseractלא הוערך על סוג זה–Scanned tablesעמודים סרוקים עם טבלהn = 120heocr1.4%1.2–1.6Docling69.7%69.2–70.1Tesseract59.5%57.0–61.9 050100%DOCX‏  Word (.docx)‎n = 80heocr0.30%0.21–0.38Docling3.3%2.8–3.7Tesseractלא הוערך על סוג זהDOC‏  Word ישן ‏(‎.doc‏)n = 40heocr0.77%0.60–0.94כלים פתוחים אחריםאף כלי פתוח אחר לא קורא את הפורמט הזהTesseractלא הוערך על סוג זהPDF T1‏  שכבת טקסט תקינהn = 316heocr0.02%0.02–0.03Docling21.6%19.2–24.2Tesseract (n=80)8.6%7.9–9.3PDF T2‏  שכבת טקסט בסדר חזותיn = 40heocr0.02%0.01–0.05Docling10.6%9.7–11.6Tesseractלא הוערך על סוג זהPDF T3‏  מפת תווים שבורהn = 146heocr0.16%0.10–0.24PyMuPDF4LLM65.7%61.6–70.2Tesseract (n=66)9.2%8.5–10.0PDF T4‏  סריקה עם שכבת OCR שגויהn = 40heocr5.8%2.8–11.3PyMuPDF4LLM80.8%80.1–81.6Tesseract8.0%7.0–9.0PDF T5‏  סריקה, תמונה בלבדn = 40heocr5.5%2.7–10.9PyMuPDF4LLM82.9%82.8–83.1Tesseract8.0%7.0–9.0PDF T6‏  טקסט ועוד טקסט כתמונהn = 40heocr0.23%0.08–0.44Docling13.4%12.6–14.2Tesseractאין ציון שגיאת תווים; ראו בטבלהPDF spread‏  שני עמודים בגיליון אחדn = 40heocr0.02%0.01–0.05Docling71.8%66.3–76.0Tesseractלא הוערך על סוג זהScanned tables‏  עמודים סרוקים עם טבלהn = 120heocr1.4%1.2–1.6Docling69.7%69.2–70.1Tesseract59.5%57.0–61.9

הרצה gate-rc1-synth2026-11-19שער השחרור: 7 מתוך 10 נתמכים

קבוצה מוחזקת בצד: המסמכים המחוללים החדשים של שער השחרור, שנוצרו אחרי שהקוד של heocr 0.1.0rc1 הוקפא.

ציר ליניארי אחד, מ־0 עד 100%; הפסים מתחילים באפס. הקווים עם הקצוות מסמנים את רווח הסמך (bootstrap של 95% על פני המסמכים (2000 דגימות, seed 0)). כשהרווח צר מהסמן, הוא מופיע במספרים שלצידו.

מסמכים לפי פורמט: כל הקוראים וכל המדדים

דפוס עברי מודרני

אין עדיין נתונים
אין עדיין נתונים: דפי הייחוס נמצאים בבדיקה אנושית. לא יוצג מספר עד שתיבדק ותוערך קבוצה.

דפוס עברי היסטורי ורבני

עוד לא נמדד על קבוצה מוחזקת בצד
עוד לא נמדד על קבוצה מוחזקת בצד. קבוצת המבחן של הדפוס ההיסטורי ממתינה לטקסטי ייחוס ממתנדבים; לא יוצג מספר עד שהיא תוערך.

כתב יד

אין עדיין נתונים
אין עדיין נתונים: אין קבוצת כתב יד מוערכת עם טקסט ייחוס אמיתי שנבדק בידי אדם.

מסמכים לפי פורמט

הוערך 2026-11-19

מסמכים מחוללים עם טקסט נכון מדויק: קובצי Word וקובצי PDF מכל הסוגים שקורא המסמכים של HeOCR מטפל בהם, שנוצרו במחוללים שלנו כך שהטקסט הנכון ידוע במדויק. כל טבלה היא סוג מסמך אחד. המספרים האלה הם מהקבוצה החדשה של שער השחרור: נוצרה עם seeds חדשים אחרי שהקוד של heocr 0.1.0rc1 הוקפא, ולכן heocr מעולם לא כוונן עליה. היא נוצרה באותם מחוללים ש־heocr מפותח מולם, ולכן מספר טוב פירושו טוב על מסמכים מחוללים מהסוג הזה, לא יותר.

קוראשגיאת תוויםנמוך יותר עדיףשגיאת מיליםנמוך יותר עדיףמספרים שנמצאוגבוה יותר עדיףטקסט שאבד בלי אזהרהנמוך יותר עדיף
Word ‏(‎.docx‏) · DOCX · 80 מסמכיםנתמךמספרי סעיפים נכוניםגבוה יותר עדיףn = 60
heocrשלנו0.30%0.21–0.38%0.36%0.26–0.46%100.0%100.0–100.0%100.0%100.0–100.0%
Docling3.3%2.8–3.7%8.1%7.3–8.8%93.9%91.9–95.6%7.9%6.1–10.0%
MarkItDown4.0%3.6–4.5%7.5%7.0–7.9%77.3%73.7–80.7%2.9%2.2–3.8%
Word ישן ‏(‎.doc‏) · DOC · 40 מסמכיםנתמך
heocrשלנו0.77%0.60–0.94%1.9%1.4–2.5%91.4%88.3–94.2%
PDF עם שכבת טקסט תקינה · PDF T1 · 316 מסמכיםנתמך
heocrשלנו0.02%0.02–0.03%0.20%0.16–0.25%100.0%100.0–100.0%0.02%0.02–0.03%
Tesseract ‏(tessdata_best heb)n = 808.6%7.9–9.3%16.9%15.7–18.2%47.2%45.5–48.9%7.9%7.3–8.5%
Docling21.6%19.2–24.2%72.5%71.4–73.7%96.6%95.6–97.6%13.5%10.9–16.4%
MarkItDown56.7%53.5–59.8%73.6%69.7–77.2%99.1%98.7–99.3%40.9%38.5–43.2%
PyMuPDF4LLM32.1%31.6–32.6%45.6%44.7–46.5%91.1%90.6–91.6%21.8%21.3–22.2%
PDF ששכבת הטקסט שלו בסדר חזותי (הפוך) · PDF T2 · 40 מסמכיםנתמך
heocrשלנו0.02%0.01–0.05%0.05%0.01–0.09%100.0%100.0–100.0%0.02%0.01–0.04%
Docling10.6%9.7–11.6%19.0%17.9–20.2%95.5%94.4–96.5%7.0%6.3–7.7%
MarkItDown78.3%78.0–78.6%98.7%98.5–98.9%100.0%100.0–100.0%60.9%58.5–63.5%
PyMuPDF4LLM71.2%70.9–71.5%91.4%91.2–91.6%100.0%100.0–100.0%51.5%50.6–52.7%
PDF עם מפת תווים שבורה אך ניתנת לשחזור · PDF T3 · 146 מסמכיםנתמך
heocrשלנו0.16%0.10–0.24%0.63%0.43–0.86%99.9%99.6–100.0%0.14%0.10–0.19%
Tesseract ‏(tessdata_best heb)n = 669.2%8.5–10.0%19.4%18.2–20.8%46.9%45.1–48.7%8.5%7.8–9.2%
Docling78.7%70.6–87.2%276.6%251.7–303.3%99.5%99.3–99.7%40.6%35.9–45.5%
MarkItDown70.7%66.7–74.5%88.2%84.2–92.2%100.0%100.0–100.0%59.2%55.4–62.9%
PyMuPDF4LLM65.7%61.6–70.2%87.5%81.2–94.8%95.0%94.2–95.7%53.7%49.8–58.0%
סריקה עם שכבת OCR שגויה · PDF T4 · 40 מסמכיםלא נתמךT4 ו־T5 משתמשים באותם עמודים סרוקים; heocr ו־Tesseract קוראים את שניהם ב־OCR, ולכן התוצאות שלהם זהות. ב־T4 נוספת שכבת טקסט שגויה, שבה משתמשים הקוראים האחרים.
heocrשלנו5.8%2.8–11.3%13.7%7.5–25.5%78.8%75.9–81.6%2.1%1.6–2.8%
Tesseract ‏(tessdata_best heb)8.0%7.0–9.0%14.5%13.0–16.1%47.5%45.2–49.8%7.4%6.5–8.3%
Docling81.5%81.1–81.8%97.4%97.2–97.6%69.2%66.7–71.5%79.3%78.6–80.0%
MarkItDown81.4%80.1–82.5%102.1%101.2–103.0%16.5%14.6–18.4%65.9%63.9–68.0%
PyMuPDF4LLM80.8%80.1–81.6%99.7%99.4–100.0%14.6%12.8–16.5%61.9%60.7–63.4%
סריקה, תמונה בלבד · PDF T5 · 40 מסמכיםלא נתמך
heocrשלנו5.5%2.7–10.9%13.3%7.3–25.1%79.1%76.2–81.8%1.8%1.5–2.1%
Tesseract ‏(tessdata_best heb)8.0%7.0–9.0%14.5%13.0–16.1%47.5%45.2–49.8%7.4%6.5–8.3%
Docling84.1%83.5–84.7%97.1%96.9–97.4%68.0%65.3–70.5%82.3%81.5–83.0%
MarkItDown100.0%100.0–100.0%100.0%100.0–100.0%0.00%0.00–0.00%100.0%100.0–100.0%
PyMuPDF4LLM82.9%82.8–83.1%99.0%98.9–99.2%73.4%69.9–76.7%78.6%78.0–79.2%
שכבת טקסט ועוד טקסט שמצויר כתמונה · PDF T6 · 40 מסמכיםלא נתמךמילים שנמצאו באזורי תמונהגבוה יותר עדיף
heocrשלנו0.23%0.08–0.44%0.34%0.19–0.55%99.7%99.4–99.9%0.14%0.01–0.34%95.8%92.5–98.1%
Tesseract ‏(tessdata_best heb)––––61.9%58.8–66.1%
Docling13.4%12.6–14.2%68.2%66.1–70.3%99.9%99.6–100.0%4.6%3.9–5.2%67.5%61.2–73.8%
MarkItDown44.3%35.7–52.8%58.0%47.4–68.4%89.2%87.6–90.7%32.2%26.1–38.4%15.5%9.8–21.7%
PyMuPDF4LLM33.2%31.8–34.5%44.5%42.8–46.3%80.3%78.6–82.1%23.9%22.4–25.5%25.4%19.5–31.6%
שני עמודים בגיליון אחד · PDF spread · 40 מסמכיםנתמך
heocrשלנו0.02%0.01–0.05%0.05%0.01–0.09%100.0%100.0–100.0%0.02%0.00–0.04%
Docling71.8%66.3–76.0%121.4%115.8–125.6%99.8%99.5–100.0%4.3%3.6–5.0%
MarkItDown74.7%70.7–77.9%91.8%86.4–96.0%100.0%100.0–100.0%25.4%19.5–31.5%
PyMuPDF4LLM74.6%70.9–77.3%91.5%86.8–94.9%91.0%89.6–92.4%20.4%19.2–21.4%
קוראשורות טבלה שנקראוגבוה יותר עדיףשורות שאבדו בלי אזהרהנמוך יותר עדיףשגיאת תוויםנמוך יותר עדיףמספרים שנמצאוגבוה יותר עדיף
עמודים סרוקים עם טבלה · Scanned tables · 120 מסמכיםנתמך
heocrשלנו95.9%94.6–97.0%0.06%0.00–0.19%1.4%1.2–1.6%97.6%97.1–98.2%
Tesseract ‏(tessdata_best heb)2.3%1.4–3.1%97.7%96.9–98.6%59.5%57.0–61.9%13.3%12.4–14.1%
Docling2.3%1.7–2.9%97.7%97.0–98.3%69.7%69.2–70.1%96.1%95.4–96.7%
MarkItDown0.00%0.00–0.00%100.0%100.0–100.0%100.0%100.0–100.0%0.00%0.00–0.00%
PyMuPDF4LLM0.00%0.00–0.00%100.0%100.0–100.0%90.9%90.6–91.2%3.2%2.6–3.9%

קו מפריד פירושו שלקורא אין ציון במדד הזה. תא ריק פירושו שהמדד אינו חל על סוג המסמך הזה. בעמודה האחרונה מופיע מדד שקיים רק לסוג מסמך אחד; שמו מופיע בשורת הכותרת של אותו סוג.

בכל טבלה מופיעים הקוראים שמטפלים בפורמט שלה. Tesseract קורא תמונות בלבד, ולכן הוא מופיע בסריקות; ב־PDF T6 הוא מוערך על אזורי התמונה בלבד.

שגיאת מילים סופרת גם מילים שנוספו, לא רק מילים שגויות או חסרות, ולכן היא יכולה לעלות על 100%.

שיטה, טקסט ייחוס והרצה
  • מדד: line_fold_v1 (הטקסט מנורמל באותו אופן לכל הקוראים; יחס של סכומים על פני המסמכים)
  • טקסט ייחוס: קבוצות D-bench מחוללות A, B ו־C: מסמכים שנוצרו עם טקסט נכון מדויק; הטקסט מתוך רשומות (העיתון הרשמי), נחלת הכלל
  • רישיון: PD-IL (text)
  • רווח סמך: bootstrap של 95% על פני המסמכים (2000 דגימות, seed 0)
  • הרצה: gate-rc1-synth; heocr בגרסה 57e58de
  • גרסאות הקוראים: Tesseract ‏(tessdata_best heb) tesseract 5.5, heb tessdata_best e12c65a (sha256 dbaa827a), psm 3, pages at 300 dpi gray (pdftoppm); Docling 2.150.1; MarkItDown 0.1.9 [pdf,docx]; PyMuPDF4LLM 2.1 (AGPL; benchmark baseline only, decision 0020 item 2)
  • הושמטו: שני מקרים של סריקות משרדיות שנוצרו בגופן קנייני (אי אפשר לפרסם את הציונים שלהם), ומקרה מספור הסעיפים הזמני ממדד מספרי הסעיפים
  • קוד ההערכה: מאגר ההערכה של HeOCR (עדיין לא פומבי; יפורסם עם שער השחרור)

ספקי OCR מסחריים

ממתין
הציונים ממתינים לבדיקה אנושית של דפי הייחוס.

שער השחרור

שער השחרור מעריך קבוצה חדשה, שנוצרת אחרי שהקוד מוקפא. לכל סוג מסמך ניתנת אז החלטה אחת: נתמך או לא נתמך. הרצה gate-rc1: heocr 0.1.0rc1 (קומיט 57e58de), הוערכה ב־2026-11-19. ההחלטה נקבעת לפי הגבול העליון החד־צדדי ברמת 97.5% של ההפרש בין heocr לכל קורא אחר, מול סף קבוע.

7נתמך·3לא נתמך