מדדי ביצועים של HeOCR
איך HeOCR משתווה לכלים פתוחים אחרים, לפי סוג המסמך. לכל מספר מצוינים גודל המדגם, רווח בר־סמך של 95%, המדד, מקור הטקסט הנכון וההרצה שממנה הוא בא. הדף נבנה מקובץ אחד, results.json, שמתעדכן אחרי כל הרצה.
עודכן 2026-11-19.
מסמכים לפי פורמט
שגיאת תווים לפי סוג מסמך
נמוך יותר עדיףבקבוצה המוחזקת בצד, ל־heocr שגיאת התווים הנמוכה ביותר בכל 9 סוגי המסמכים שגם כלי אחר קורא; ב־7 מהם רווח הסמך שלו אינו חופף לאף קורא אחר. את DOC קורא רק heocr.
- heocr שלנו
- הכלי הפתוח האחר הטוב ביותר הנמוך ביותר מבין Docling, MarkItDown ו־PyMuPDF4LLM
- Tesseract הרגיל heb, tessdata_best
הרצה gate-rc1-synth2026-11-19שער השחרור: 7 מתוך 10 נתמכים
קבוצה מוחזקת בצד: המסמכים המחוללים החדשים של שער השחרור, שנוצרו אחרי שהקוד של heocr 0.1.0rc1 הוקפא.
ציר ליניארי אחד, מ־0 עד 100%; הפסים מתחילים באפס. הקווים עם הקצוות מסמנים את רווח הסמך (bootstrap של 95% על פני המסמכים (2000 דגימות, seed 0)). כשהרווח צר מהסמן, הוא מופיע במספרים שלצידו.
דפוס עברי מודרני
אין עדיין נתוניםדפוס עברי היסטורי ורבני
עוד לא נמדד על קבוצה מוחזקת בצדכתב יד
אין עדיין נתוניםמסמכים לפי פורמט
הוערך 2026-11-19מסמכים מחוללים עם טקסט נכון מדויק: קובצי Word וקובצי PDF מכל הסוגים שקורא המסמכים של HeOCR מטפל בהם, שנוצרו במחוללים שלנו כך שהטקסט הנכון ידוע במדויק. כל טבלה היא סוג מסמך אחד. המספרים האלה הם מהקבוצה החדשה של שער השחרור: נוצרה עם seeds חדשים אחרי שהקוד של heocr 0.1.0rc1 הוקפא, ולכן heocr מעולם לא כוונן עליה. היא נוצרה באותם מחוללים ש־heocr מפותח מולם, ולכן מספר טוב פירושו טוב על מסמכים מחוללים מהסוג הזה, לא יותר.
| קורא | שגיאת תוויםנמוך יותר עדיף | שגיאת מיליםנמוך יותר עדיף | מספרים שנמצאוגבוה יותר עדיף | טקסט שאבד בלי אזהרהנמוך יותר עדיף | |
|---|---|---|---|---|---|
| Word (.docx) · DOCX · 80 מסמכיםנתמך | מספרי סעיפים נכוניםגבוה יותר עדיףn = 60 | ||||
| heocrשלנו | 0.30%0.21–0.38% | 0.36%0.26–0.46% | 100.0%100.0–100.0% | 100.0%100.0–100.0% | |
| Docling | 3.3%2.8–3.7% | 8.1%7.3–8.8% | 93.9%91.9–95.6% | 7.9%6.1–10.0% | |
| MarkItDown | 4.0%3.6–4.5% | 7.5%7.0–7.9% | 77.3%73.7–80.7% | 2.9%2.2–3.8% | |
| Word ישן (.doc) · DOC · 40 מסמכיםנתמך | |||||
| heocrשלנו | 0.77%0.60–0.94% | 1.9%1.4–2.5% | 91.4%88.3–94.2% | ||
| PDF עם שכבת טקסט תקינה · PDF T1 · 316 מסמכיםנתמך | |||||
| heocrשלנו | 0.02%0.02–0.03% | 0.20%0.16–0.25% | 100.0%100.0–100.0% | 0.02%0.02–0.03% | |
| Tesseract (tessdata_best heb)n = 80 | 8.6%7.9–9.3% | 16.9%15.7–18.2% | 47.2%45.5–48.9% | 7.9%7.3–8.5% | |
| Docling | 21.6%19.2–24.2% | 72.5%71.4–73.7% | 96.6%95.6–97.6% | 13.5%10.9–16.4% | |
| MarkItDown | 56.7%53.5–59.8% | 73.6%69.7–77.2% | 99.1%98.7–99.3% | 40.9%38.5–43.2% | |
| PyMuPDF4LLM | 32.1%31.6–32.6% | 45.6%44.7–46.5% | 91.1%90.6–91.6% | 21.8%21.3–22.2% | |
| PDF ששכבת הטקסט שלו בסדר חזותי (הפוך) · PDF T2 · 40 מסמכיםנתמך | |||||
| heocrשלנו | 0.02%0.01–0.05% | 0.05%0.01–0.09% | 100.0%100.0–100.0% | 0.02%0.01–0.04% | |
| Docling | 10.6%9.7–11.6% | 19.0%17.9–20.2% | 95.5%94.4–96.5% | 7.0%6.3–7.7% | |
| MarkItDown | 78.3%78.0–78.6% | 98.7%98.5–98.9% | 100.0%100.0–100.0% | 60.9%58.5–63.5% | |
| PyMuPDF4LLM | 71.2%70.9–71.5% | 91.4%91.2–91.6% | 100.0%100.0–100.0% | 51.5%50.6–52.7% | |
| PDF עם מפת תווים שבורה אך ניתנת לשחזור · PDF T3 · 146 מסמכיםנתמך | |||||
| heocrשלנו | 0.16%0.10–0.24% | 0.63%0.43–0.86% | 99.9%99.6–100.0% | 0.14%0.10–0.19% | |
| Tesseract (tessdata_best heb)n = 66 | 9.2%8.5–10.0% | 19.4%18.2–20.8% | 46.9%45.1–48.7% | 8.5%7.8–9.2% | |
| Docling | 78.7%70.6–87.2% | 276.6%251.7–303.3% | 99.5%99.3–99.7% | 40.6%35.9–45.5% | |
| MarkItDown | 70.7%66.7–74.5% | 88.2%84.2–92.2% | 100.0%100.0–100.0% | 59.2%55.4–62.9% | |
| PyMuPDF4LLM | 65.7%61.6–70.2% | 87.5%81.2–94.8% | 95.0%94.2–95.7% | 53.7%49.8–58.0% | |
| סריקה עם שכבת OCR שגויה · PDF T4 · 40 מסמכיםלא נתמךT4 ו־T5 משתמשים באותם עמודים סרוקים; heocr ו־Tesseract קוראים את שניהם ב־OCR, ולכן התוצאות שלהם זהות. ב־T4 נוספת שכבת טקסט שגויה, שבה משתמשים הקוראים האחרים. | |||||
| heocrשלנו | 5.8%2.8–11.3% | 13.7%7.5–25.5% | 78.8%75.9–81.6% | 2.1%1.6–2.8% | |
| Tesseract (tessdata_best heb) | 8.0%7.0–9.0% | 14.5%13.0–16.1% | 47.5%45.2–49.8% | 7.4%6.5–8.3% | |
| Docling | 81.5%81.1–81.8% | 97.4%97.2–97.6% | 69.2%66.7–71.5% | 79.3%78.6–80.0% | |
| MarkItDown | 81.4%80.1–82.5% | 102.1%101.2–103.0% | 16.5%14.6–18.4% | 65.9%63.9–68.0% | |
| PyMuPDF4LLM | 80.8%80.1–81.6% | 99.7%99.4–100.0% | 14.6%12.8–16.5% | 61.9%60.7–63.4% | |
| סריקה, תמונה בלבד · PDF T5 · 40 מסמכיםלא נתמך | |||||
| heocrשלנו | 5.5%2.7–10.9% | 13.3%7.3–25.1% | 79.1%76.2–81.8% | 1.8%1.5–2.1% | |
| Tesseract (tessdata_best heb) | 8.0%7.0–9.0% | 14.5%13.0–16.1% | 47.5%45.2–49.8% | 7.4%6.5–8.3% | |
| Docling | 84.1%83.5–84.7% | 97.1%96.9–97.4% | 68.0%65.3–70.5% | 82.3%81.5–83.0% | |
| MarkItDown | 100.0%100.0–100.0% | 100.0%100.0–100.0% | 0.00%0.00–0.00% | 100.0%100.0–100.0% | |
| PyMuPDF4LLM | 82.9%82.8–83.1% | 99.0%98.9–99.2% | 73.4%69.9–76.7% | 78.6%78.0–79.2% | |
| שכבת טקסט ועוד טקסט שמצויר כתמונה · PDF T6 · 40 מסמכיםלא נתמך | מילים שנמצאו באזורי תמונהגבוה יותר עדיף | ||||
| heocrשלנו | 0.23%0.08–0.44% | 0.34%0.19–0.55% | 99.7%99.4–99.9% | 0.14%0.01–0.34% | 95.8%92.5–98.1% |
| Tesseract (tessdata_best heb) | – | – | – | – | 61.9%58.8–66.1% |
| Docling | 13.4%12.6–14.2% | 68.2%66.1–70.3% | 99.9%99.6–100.0% | 4.6%3.9–5.2% | 67.5%61.2–73.8% |
| MarkItDown | 44.3%35.7–52.8% | 58.0%47.4–68.4% | 89.2%87.6–90.7% | 32.2%26.1–38.4% | 15.5%9.8–21.7% |
| PyMuPDF4LLM | 33.2%31.8–34.5% | 44.5%42.8–46.3% | 80.3%78.6–82.1% | 23.9%22.4–25.5% | 25.4%19.5–31.6% |
| שני עמודים בגיליון אחד · PDF spread · 40 מסמכיםנתמך | |||||
| heocrשלנו | 0.02%0.01–0.05% | 0.05%0.01–0.09% | 100.0%100.0–100.0% | 0.02%0.00–0.04% | |
| Docling | 71.8%66.3–76.0% | 121.4%115.8–125.6% | 99.8%99.5–100.0% | 4.3%3.6–5.0% | |
| MarkItDown | 74.7%70.7–77.9% | 91.8%86.4–96.0% | 100.0%100.0–100.0% | 25.4%19.5–31.5% | |
| PyMuPDF4LLM | 74.6%70.9–77.3% | 91.5%86.8–94.9% | 91.0%89.6–92.4% | 20.4%19.2–21.4% | |
| קורא | שורות טבלה שנקראוגבוה יותר עדיף | שורות שאבדו בלי אזהרהנמוך יותר עדיף | שגיאת תוויםנמוך יותר עדיף | מספרים שנמצאוגבוה יותר עדיף |
|---|---|---|---|---|
| עמודים סרוקים עם טבלה · Scanned tables · 120 מסמכיםנתמך | ||||
| heocrשלנו | 95.9%94.6–97.0% | 0.06%0.00–0.19% | 1.4%1.2–1.6% | 97.6%97.1–98.2% |
| Tesseract (tessdata_best heb) | 2.3%1.4–3.1% | 97.7%96.9–98.6% | 59.5%57.0–61.9% | 13.3%12.4–14.1% |
| Docling | 2.3%1.7–2.9% | 97.7%97.0–98.3% | 69.7%69.2–70.1% | 96.1%95.4–96.7% |
| MarkItDown | 0.00%0.00–0.00% | 100.0%100.0–100.0% | 100.0%100.0–100.0% | 0.00%0.00–0.00% |
| PyMuPDF4LLM | 0.00%0.00–0.00% | 100.0%100.0–100.0% | 90.9%90.6–91.2% | 3.2%2.6–3.9% |
קו מפריד פירושו שלקורא אין ציון במדד הזה. תא ריק פירושו שהמדד אינו חל על סוג המסמך הזה. בעמודה האחרונה מופיע מדד שקיים רק לסוג מסמך אחד; שמו מופיע בשורת הכותרת של אותו סוג.
בכל טבלה מופיעים הקוראים שמטפלים בפורמט שלה. Tesseract קורא תמונות בלבד, ולכן הוא מופיע בסריקות; ב־PDF T6 הוא מוערך על אזורי התמונה בלבד.
שגיאת מילים סופרת גם מילים שנוספו, לא רק מילים שגויות או חסרות, ולכן היא יכולה לעלות על 100%.
שיטה, טקסט ייחוס והרצה
- מדד:
line_fold_v1(הטקסט מנורמל באותו אופן לכל הקוראים; יחס של סכומים על פני המסמכים) - טקסט ייחוס: קבוצות D-bench מחוללות A, B ו־C: מסמכים שנוצרו עם טקסט נכון מדויק; הטקסט מתוך רשומות (העיתון הרשמי), נחלת הכלל
- רישיון: PD-IL (text)
- רווח סמך: bootstrap של 95% על פני המסמכים (2000 דגימות, seed 0)
- הרצה: gate-rc1-synth; heocr בגרסה 57e58de
- גרסאות הקוראים: Tesseract (tessdata_best heb) tesseract 5.5, heb tessdata_best e12c65a (sha256 dbaa827a), psm 3, pages at 300 dpi gray (pdftoppm); Docling 2.150.1; MarkItDown 0.1.9 [pdf,docx]; PyMuPDF4LLM 2.1 (AGPL; benchmark baseline only, decision 0020 item 2)
- הושמטו: שני מקרים של סריקות משרדיות שנוצרו בגופן קנייני (אי אפשר לפרסם את הציונים שלהם), ומקרה מספור הסעיפים הזמני ממדד מספרי הסעיפים
- קוד ההערכה: מאגר ההערכה של HeOCR (עדיין לא פומבי; יפורסם עם שער השחרור)
ספקי OCR מסחריים
ממתיןשער השחרור
שער השחרור מעריך קבוצה חדשה, שנוצרת אחרי שהקוד מוקפא. לכל סוג מסמך ניתנת אז החלטה אחת: נתמך או לא נתמך. הרצה gate-rc1: heocr 0.1.0rc1 (קומיט 57e58de), הוערכה ב־2026-11-19. ההחלטה נקבעת לפי הגבול העליון החד־צדדי ברמת 97.5% של ההפרש בין heocr לכל קורא אחר, מול סף קבוע.
7נתמך·3לא נתמך
- DOCX Word (.docx)נתמך
- DOC Word ישן (.doc)נתמך
- PDF T1 שכבת טקסט תקינהנתמך
- PDF T2 שכבת טקסט בסדר חזותינתמך
- PDF T3 מפת תווים שבורהנתמך
- PDF T4 סריקה עם שכבת OCR שגויהמול Tesseract: שגיאת תווים, הפרש −2.23, גבול עליון 3.63 > סף 0.50 נקודותלא נתמך
- PDF T5 סריקה, תמונה בלבדמול Tesseract: שגיאת תווים, הפרש −3.38, גבול עליון 0.51 > סף 0.50 נקודות; מול PyMuPDF4LLM: מספרים שהוחמצו, הפרש 3.11, גבול עליון 9.41 > סף 1.00 נקודותלא נתמך
- PDF T6 טקסט ועוד טקסט כתמונהנעצר בבדיקת המסמכים האמיתיים: סכומים הפוכיםלא נתמך
- PDF spread שני עמודים בגיליון אחדנתמך
- Scanned tables עמודים סרוקים עם טבלהנתמך