232-233 / 568
שם הסטודנטית
:
דניאלה סלומון
"ד: מנחה
ר אייל כץ
הנדסת חשמל
מצלמה
מרובת רזולוציות ושדות
ראייה
Multiple Resolutions and Fields of View Camera
הפרויקט
מהווה
מערכת
" חכמה " אבטחה
מבוססת
שתי
מצלמות
המאפשרת
אובייקט של הצגה
בשני
אופני
-בו תצוגה
: זמנית
•
תצוגה
בשדה
ראייה
( רחב
למבט
על
התמונה
.) הכוללת
•
תצוגה
בשדה
(צר ראייה
לצורך
התמקדות
.) בפרטים
המשתמש
שולט
בתצוגת
המצלמה
י"ע הצרה
לחיצה
אזור על
במצלמה
. הרחבה
המערכת
מאתרת
תנועות
במרחב
ומסמנת
. אותן
הצורך
במערכות
, אבטחה
כאשר
אנו
מתמקדים
באובייקט
עם מסוים
עדשת
המצלמה
אנו
מאבדים
את
התמונה
, הכוללת
וכאשר
רואים אנו
תמונה
ללא ( רחבה
התמקדות
אנו )
מאבדים
את
הפרטים
הקטנים
באובייקט
.
כלומר
צורך קיים
להתמקד
ראיית על שמירה תוך , בפרטים
התמונה
הכוללת
.
המערכת
עונה על
צורך זה
,
על ידי
הצגה
המשלבת תמונה
( כוללת
ממצלמה
קבועה
רחבת זווית
)
ותמונה ממוקדת
(
ממצלמת
PTZ –
עם הגדלה אופטית
) ,
תוך שליטה על מצלמת ה
-
PTZ
.
תחום הפרויקט
פרויקט זה עוסק בתחומי עיבוד וניתוח תמונה ווידאו
,
שליטה ובקרה על מצלמות בזמן אמת
,
תקשורת
מחשבים ופיתוח ממשק משתמש
.
יעדים עיקריים
•
פיתוח ויישום אב
-
טיפוס ותוכנה
\
אפליקציה תומכת
.
•
המערכת
מציגה על המסך בו זמנית
וידאו משתי
המצלמות
:
תמונה רחבה וצרה
.
•
המערכת מזהה ומסמנת על התמונה הרחבה את האזור הנצפה על ידי המצלמה הצרה
.
•
אפשרות הקלטה לצורכי פיתוח
.
•
תפקוד המערכת ב
"
זמן אמת
( "
הוצאת פלט חזותי בהשהיה של עד
2
*). שניות
•
שליטה על המצלמה הצרה ישירות
–
כיוון ותקריב
,
או דרך התמונה הרחבה
-
סימון
נקודה או
. אזור
עיקרי התכנון ההנדסי ואופי זרימת המידע במערכת
תיאור המערכת
המערכת
מורכבת
משתי מצלמות
IP
המשדרות
אות וידאו
באמצעות חיבור אתרנט
(
Ethernet
)
על ידי
פרוטוקול
RTSP-
Real Time Stream Protocol
.
צורת
השידור היא רציפה וניתן לשלוט על בקרת המצלמה הצרה מרחוק
(
הזזה ותקריב
.)
במערכת מתבצע ניתוח וידאו שתוצאותיו הן ההוראות למצלמה הצרה
.
השליטה מתבצעת
באמצעות שליחת
"
" הוראות
למצלמה בפרוטוקול
HTTP
.
המערכת מיועדת למחשב נייד עם מערכת הפעלה
Linux
בסביבת עבודה
Python 3.5.2
תוך שימוש
בספריית
OpenCV 3.1.0
.
, בנוסף
מחוץ לדרישות הפרויקט המקוריות המערכת נבחנה והודגמה גם
בשימוש על מחשב ייעודי מסוג
Raspberry Pi 3B
.
*
תלוי בפרמטרים נבחרים
.
חומרה ותיאור התוצרים
איור
1:
דיאגרמת בלוקים
–
חומרה
באיור
2
'א
ניתן
לראות
את
ממשקי
, המערכת
כולל
הממשקים
הפונקציונאליים
למצלמות
,
לשאר
רכיבי
החומרה
ולמשתמש
,
הקשר
ליחידות
התצוגה
וניתוח
, הווידאו
מודול
הכיול
והקמת
. המערכת
ממשקים ותוכנה
איור
2
: 'א
דיאגרמת בלוקים
–
ממשקים איור
2
: ' ב
פירוט מודול ניתוח וידאו וחישוב פקודות
התאמת
נקודות עיקריות בין
המצלמות
מנת על
שהמצלמה
הרחבה
תוכל
לשלוט
על
המצלמה
הצרה
נדרשת
התאמה
. ביניהן
שלבי עיבוד וניתוח וידאו ופקודות למצלמה הצרה
:
•
זיהוי נקודות עניין והוצאת מאפיינים
,
בכל אחת מהתמונות
,
למשל ע
"
י האלגוריתם
SIFT
(
Scale invariant Feature Transform
.)
•
התאמת המאפיינים
(
נקודות
עיקריות
)
בין התמונות
.
•
חישוב הטרנספורמציה הגיאומטרית בין התמונות מהמצלמות השונות
,
ומציאת מטריצת
המעבר
(Homography)
תוך שימוש באלגוריתם
RANSAC
-Random Sample Consensus
.
•
שימוש בטרנספורמציה לשליטה על המצלמה הצרה
,
ולסימון בתמונת המצלמה הרחבה
.
באיור
3
ניתן לראות את התאמת הנקודות בין התמונות
-
בירוק
וסימון המיקום של
(
במסגרת
) כחולה
התמונה המפורטת
(
ממצלמת
PTZ
)
בתמונה הרחבה
(
ממצלמת
Wide )–
(
פינות
המסגרת חושבו בעזרת מטריצת המעבר
.)
איור
3
:
התאמת
נקודות מרכזיות בין שתי תמונות
וסימון מרחב תמונה מ
-
PTZ
בתמונה מ
-
Wide
PTZ
-
מצלמת
Pan Tilt Zoom
ממונעת המאפשרת
תזוזה
אנכית ואופקית
ושינוי זום
.
Wide Camera
-
מצלמת
IP
רגילה
וקבועה
,
אשר
זווית
הראייה שלה
רחבה
התחברות
למצלמות
ממשקי תוכנה
ותקשורת
IP
תהליך כיול הכולל
אלגוריתמיקה
בעיבוד תמונה
מודול כיול
זיהוי תנועה במרחב
הנצפה וסימון האובייקט
מודול ניתוח
וידאו
ממשק משתמש ותצוגת
המרחב הנצפה
באופן
צר ורחב
מודול ניתוח
וידאו
זיהוי נקודות עניין והוצאת
מאפיינים
,
בכל אחת מהתמונות
התאמת המאפיינים
(
נקודות
עיקריות
)
בין התמונות
חישוב הטרנספורמציה
הגיאומטרית בין התמונות
מהמצלמות השונות
,
ומציאת
מטריצת המעבר
(Homography)
שימוש בטרנספורמציה לשליטה
על המצלמה הצרה
,
ולסימון
בתמונת המצלמה הרחבה