TR201500911A2 - Sürücü uyku uyarı sistemi. - Google Patents

Abstract

Bu buluş, ciddi can kayıplarının yaşanabileceği trafik kazalarının önlenmesi amacı ile sürüş esnasında, sürücüye temassız, gözlerinin açıklık/kapalılık oranına (PERCLOS) göre yorgunluk ve uyku durumunu analiz ederek uyku durumunda sürücüyü uyaran akıllı sistem ile ilgilidir.

Description

TARIFNAME SÜRÜCÜ UYKU UYARI SISTEMI Teknik Alan Bu bulus, ciddi can kayiplarinin yasanabilecegl trafik kazalarinin önlenmesi amaci ile sürüs esnasinda sürücünün yorgunluk ve uyku durumunu analiz ederek sürücüyü uyaran akilli sistem ile ilgilidir. Önceki Teknik «0 Trafik kazalari yaralanmalar, mal kayiplari hatta 0:?? kayiplariyla sonuçlanabilen hayatimizdaki en önemli problemlerdendir. Trafikökâzalarinin olusmasina neden olan faktörler; sürücü, yaya, yol, araç ve çevresegsâlarak siralanabilmektedir. Insan, trafik kazalarinin olusmasinda yüzde doksanlik pasýsahiptir. Trafikte sürücüden kaynakli uyku ve dikkatsizlik bu oranin olusmasinda en önefsiîi etmendir. Yapilan bazi çalismalar, uykusuzlugun trafikte alkolden daha tehlikeli olawêcegini göstermistir. Uzmanlara göre her üç kazadan birinin sebebi uyku olarak nitelesâîîiimektedir. Amerikan Otomobil Birligi'nin (AAA) açikladigi istatistiksel verilere göre öwoe sonuçlanan kazalarin 96 16.5 'i ve yaralanmalarla sonuçlanan kazalarin 96 12.5' i uykulu araç kullanimindan kaynaklanmaktadir. Yine Amerikan Otomobil Birligi'nin yaptigi arastirmalara göre, sürücülerin 96 25'i araç kullanirken uyumamak için zorlandiklarini ve sürücülerin 96 41'I direksiyon basinda uyuduklarini kaydetmislerdir. Trafikte sürücünün uyumasi sadece sürücünün kendi canini degil ayni zamanda trafikte bulunan diger insanlarin hayatini da tehlikeye atmaktadir. Ozellikle Türkiye sartlarinda ticari agir araçlarin sürücülerinde uyku riskinin yüksek olmasi, bu araçlarin traûkte yer alma oraninin ve kayip hasar riskinin yüksekligi açisindan trafikte güvenli sürüs için en büyük tehdidi olusturmaktadir.

Araç içi sürücüler için yorgunluk ve uyku halini tespit eden sistemler araçlarda Ileri Sürüs Destek Sistemleri (Advance Driver Assistance Systems) olarak yerini almaktadir. Sürücünün uyku/yorgunluk tespiti için farkli parametreleri esas alan birçok metot kullanilmaktadir.

Gözlerin açiklik/kapalilik orani (PERCLOS), beynin elektriksel aktivitesi (EEG), saniyedeki göz kirpma frekansi (Eyebilink), bas pozisyonu (Head-Position Metrics) ve kalp ritmi en etkili metotlar olarak kabul edilmektedir.

(EEG) ve birtakim basinç verilerini esas alan yorgunluk ölçme cihazindan bahsedilmektedir.

Cihaz, pedaida ve koltukta bulunan basinç sensörü verileri ile sürücü beyin sinyallerini alabilmek için takilan sensör verilerini kullanarak sürücünün uyku durumunu tespit etmektedir.

EP2351524A1 sayili Avrupa Birligi Patentinde Eyebilink metodu kullanan bir sürücü uyku uyari cihazindan bahsedilmektedir. Cihaz sürücünün gözünün bulgndugu belirli örnegi alarak belirli zaman araliginda sürücünün göz kirpma sayisini ölçrrwâe ve daha önce verilen esik degeri ile analiz yaparak sürücünün uyku durum tespitinisa'glamamadir. 056822573 sayili Amerika Birlesik Devletleri pagiîti, sürücünün bas pozisyonu ve kalp ritmini esas alan bir teknikten bahsetmektedir. Tekgîk sürücü kalp ritmi ve sürücü bas pozisyonunu degerlendirerek sürücünün uyku duruishnu tespit etmeyi öngörmektedir. patentinde PERCLOS metgdunu kullanan sürücü uyku durum analizi yapan sistemlerden bahsedilmektedir. Her iki sistem de görüntü isleme tabanli olup, sürücüden örnekler alarak göz tanima (sablon) metoduyla gözleri bulur. Belirli zaman diliminde gözlerin açik/kapalilik orani hesaplayarak sürücünün uyku durum analizini sunar. Federal Highway Administration tarafindan yapilan deneyler sonucu, PERCLOS diger metotlar arasinda basarisini kanitlamistir.

Gözlerin örnek görüntü üzerinde bulunmasi PERCLOS için önem arz etmektedir. Akademik anlamda, örnekler üzerinde gözlerin bulunmasi ve takip islemi ile ilgili birçok olumlu çalismaya rastlanmaktadir. Genel olarak, görüntü üzerinde göz bulma ve takibinde pasif görüntü tabanli ve aktif IR aydinlatmali olmak üzere yaygin olarak iki metot kullanilmaktadir.

Bunlardan pasif görüntü tabanli olarak metotta gözün sekli piksel yogunlugu gibi örnekten örnege degisebilecek parametreler esas alinmaktadir. Bu parametreler çevresel faktörlere göre hata oranini artirmaktadir. Sekil tanima algoritmasi için büyük veritabani gerekmekte olup, islem süresini arttiran bir yöntemdir. Teknigin bilinen yöntemi EP186728181 sayili Avrupa Birligi Patentinde ve 058102417 sayili Amerika Birlesik Devletleri patentinde bahsedilmektedir.

Oysa yakin kizilötesi aydinlatma yaklasimi göz bebeginin yakin kizilötesi aydinlatma altinda yansitici özelliginden dolayi açik/koyu etkisi olusturur ve böylece çevresel aydinlatmalarin gürültüsü azaltilarak örnek üzerinde göz bulmada etkili bir sonuç verir. ve EP011749781 sayili Avrupa Birligi patentierinde bahsedilen sürücü direksiyon kabiliyetini Amerika Birlesik Devletleri patentinde bahsedilen araç ivggeâ`Q ve serit ihlalini parametre olarak alan teknikler mevcut ürün durumundadir. Bu `sritfl'irilerin sürücü uyku durumunun tespitinde yaygin olarak kullanilan ve etkili sonuç veiuýfPERCLOS metodunun kullanilmamasi mevcut ürünlerin verdigi hata oranini arttirgâîta ve müsterilerin bu cihazlara ilgisini azaltmaktadir. (23' Aftermarket ürünler olarak özeliesrßýiirünler incelendiginde ise giyilebilir sistemler, sürücü ile temas halinde olan sistemißgâîreksiyon aksamina entegre olan sistemler ve son olarak görüntü isleme tabanli Qsâemler olmak üzere siniflandirilma ile karsilasilmaktadir.

Performans, ergonomiklik, kolay kurulum ve sürücüye temasi olmama gibi avantajlariyla görüntü tabanli yapilan çalismalar daha verimli çalismakta ve sürücüler için tercih sebebi olmaktadir. Aftermarket ürünlerin sistem algoritmalari incelendiginde, önce yüzün tespiti daha sonrasinda gözlerin tespiti ve göz takibinde gelecege yönelik tahmin yapmasi gibi islemler bulunmaktadir. Bu islemler ürünlerin gerçek zamani yakalamakta zorlamakta ve hata olarak sistemin uyari tepki süresini arttirmaktadir.

Sunulan bulus yenilik olarak, göz takibinde sistem algoritmasinin morfolojik tabanli çalismasiyla ve yüz bulma islemi içermemesiyle daha yüksek performans sunmaktadir.

Bulusun özgünlügü, yüz bulma islemi içermez, sürücünün göz tespitinde sablon metodu yerine morfolojik görüntü islemesi sayesinde gerçek zamanli çalismasidir. Ayrica olay kayit defteri ile verilen uyarilarin tarih/gün/saat olarak kaydedilmesi, bu kayit bilgilerini ve GPS ile araç lokasyon bilgisini GPRS üzerinden sunulmasi, R5232 ve USB ara yüzleri ile veri erisimi, sistemin kullanici tarafindan pasif edilememesi (opsiyonel) ve ileri sürüs destek sistemlerine (FCW, LDW ) entegre olarak çalisabilmesi gibi gereksinimlere sahip olarak bulusun özellikle uyku yorgunluk risklerinin yüksek oldugu agir-orta sinif araç ve tasimacilik yapan firmalarin sürücülerini, firma yetkilileri tarafindan denetleyebllmesi için özeliesmis yapidadir.

Buiusun Amaci Sürücünün seyir halinde iken uykulu olup olmadgina karar veren akilli bir sistemin, sürücüyü uyudugu anda sesli olarak uyarmasi ve bu sayede ciddi can kayiplaririin yasanabilecegi kazalarin engellenmesi hedeflenmektedir. Daha önceki bölümde açiklanan bulusun çözümünü amaçladgi teknik problemleri su sekilde siralayabilirig& - Gözlerin açik/kapaiilik oranini esas alan PERCLOS mgibdunu kullanarak diger sistemlere nazaran daha etkili ve güvenli analizler sunar. @9,9 - PERCLOS algoritmasini kullanan sistemieggîarsiIastirildiginda gözlerin bulunmasinda ve takibinde, yüz bulma islemi ve fazlêeglisma gerektiren sablon metodu içermez.

- Morfolojik görüntü isleme te kpü$o kullanir, islem süresini minimize ederek gerçek - Zorlayici ortam sartlariiödfgerçek zamanli çalisarak daha yüksek performans sunar. zamanli çalisir.

- Filo yetkililerinin sürüîülerini denetleyebilmesi için, sistemin hesapladigi analizleri ve uyarilarin kaydedilmesini ve görüntülenmesini saglar.

- Lokasyon bilgisi için GPS, veri sunmasi için GPRS, kablolu veri erisimi için USB ve R5232 ara yüzleri, sistemin pasif edilmemesi için sifreleme sunar.

- Ileri sürüs destek sistemlerine (FCW, LDW) entegre olarak çalisabilmesi için harici ara yüze sahiptir. Araç içi ADAS çözümlerine entegre olarak çalisabilmesiyle araç içinde kablo kalabaligi yapmamasi ile sürücülerin konfor kaygisini gidermektedir.

Sekillerln Açiklamasi Sekil 1: Bulusun Sürücü Uyku Uyari Sisteminin araç içerisinde perspektif görünüsüdür.

Sekil 2: Bulusun Sürücü Uyku Uyari Sisteminin perspektif görünüsüdür.

Sekil 3: Sürücü Uyku Uyari Sisteminin patlak perspektif görünüsüdür.

Sekil 4: Sistem Algoritmasi Akis Diyagramini göstermektedir.

Sekil 5: Göz bulma algoritmasi akis diyagramini göstermektedir.

Sekil 6: Ana kart'in perspektif görünüsüdür.

Sekil 7: Matematiksel formülleri göstermektedir.

Sekillerdekl referanslann açiklanmasi 1: Sürücü Uyku Uyari Sistemi 11: Kamera 12: Hoparlör 13: Kizilötesi Iedler 14: Ana kart 141: Islemci 142: Kizilötesi Led ara yüzü of` 143: Kamera ara yüzü 3› 144: Hoparlör ara yüzü %0 145: Haberlesme Protokolleri &o 146: Konumlandirma Modülü &%0 147: Olay Kayit Defteri &23 148: Hafiza Birimi (39 2: Araç içi konsol 00° 3: Surucu 31: Asinma lsleminin Matematiksel Ifadesi 32: Genlesme lsleminin Matematiksel Ifadesi M: Muhafaza Kasa Bulusun Açidamasi Sürücü Uyku Uyari Sistemi (1), araç içi konsol üzerine rahatça oturan (2), sürücüye temassiz, görüntü tabanli çalismaya sahip olup, özelligi; trafikte sürücü (3) seyir halinde iken sürücünün uyku durumunu sürücünün gözlerinin açiklk/kapalilik oranina göre analiz ederek sürücüyü uyku durumunda sesli ve görsel olarak uyaran bir sistemdir.

Sürücü Uyku Uyari Sistemi (1) temelde kamera (11), hoparlör (12), kizilötesi ledier (13) ve ana karttan (14) olusmaktadir. Ana kart (14) elektronik bir devre olup, üzerindeki bu bilesenleri kontrol ederek sistemin beynini olusturmaktadir. Kamera (11), kizilötesi Iedlerin (13) olusturdugu yakin kizilötesi aydinlatma altinda sürücüden görüntü olarak ömekier alir ve bu örnekler ana kartta (14) islenerek sürücünün uyku durum tespiti saglar. Sürücü uyku durumunda ise ana kart (14) ses sinyali üreterek sürücü uyarir ve sürücüyü uyandirarak muhtemel kaza riskini minimize eder.

Sistemin bütün bilesenleri kontrol eden beyni olan Ana kart (14) su bilesenierden olusur; Islemci (141), kizilötesi led ara yüzü (142), kamera ara yüzü (143), hoparlör ara yüzü (144), haberlesme protokolleri (145), konumlandirma modülü (146), olay kayit defteri (147) ve hafiza birimi (148). 0 eden isleten video tabanli görüntü islemekg tan özellesrnis bir silikon teknolojisidir. parlaklik etkisi verir. Böylece dekogê'ri sahip bir kamera ara yüzü (143) üzerinden sayisallastirilmis görüntüleri alicöse göz bulma algoritmasina (Sekil 5) göre görüntüyü Göz bulma algoritmasi (Sekil 5), morfoiojik görüntü isleme operatörlerini ve mantik operatörlerinin kombinasyonundan olusmaktadir. Asinma (Erosion) ve Genlesme (Dilation) morfolojik görüntü islemenin temel operatörleridir. Bu iki operatörün farkli kombinasyonlari örneklerde kullanilarak örneklerde nesneler yok edilebilir veya belirginlestiriiebilir. Bulusun algoritmasinda morfolojik Isleme gözlerin gerçek zamanli bulunmasi açisindan önemli yere sahiptir. Bulusta kullanilan morfoiojik islemlerin isleyisi göz bulma algoritmasi (Sekil S)'ni olusturmaktadir.

Gözler yakin kizilötesi aydinlatma altinda diger nesnelere göre daha çok yansitici özellige sahiptir. Kurulan göz bulma algoritmasi (S), gözün bu özelliginden faydalanmaktadir. Asinma islemi (31) nesneleri elimine etmede, Genlesme islemi (32) ise nesneleri belirginlestirmede kullanilmaktadir. Yakin kizilötesi aydinlatma altinda yansitici olan gözlere bu iki islemin ayri ayri uygulanip islemler farkinin göz koordinat bilgilerini vermesi saglanir. Göz bulma algoritmasinda (S), yakin kizilötesi isin huzmesi altinda alinan sürücü örnegi, örnekteki göz disindaki nesneler elimine edilebilmesi için bir yapi elementi ile Asinma operatörü (31) kullanilarak isienir ve Asinma islem çiktisi elde edilir. Alinan ayni örnek gözlerin örnekler arasinda daha belirginlestirmek amaci ile daha küçük bir boyuttaki yapi elementi ile Genlesme operatörü (32) ile islenir ve Genlesme islem çiktisi elde edilir. Genlesme islem çiktisi ile Asinma islem çiktisinin matematiksel farklari örnek üzerindeki kenarlari ortaya çikartir, buna Gradient sonuç denir. Örnek üzerinde Asinma islemi (31) ve Genlesme isleminin (32) farklari gözlerin yansitici etkisinden dolayi yüksektir. Bu yüzden Gradient sonuç'tan alinan örnek bilgisi matematiksel olarak çikartilir ve gözlerin ve ilgisiz nesnelerin daha az bulundugu Gradient Il sonuç elde edilir. Akabinde gözleri& koordinatlaririi bulabilmek için Gradient Il sonuçta alansal metrik hesaplari ygoîir. Uygun bir esik degerinin üstünde kalan çembersel metriklerin merkezlergzgözlerin koordinatini olusturur ve metrik hesabi sonucu örnek üzerinde gözleri? bulunup bulunmadigina karar verilir.

Alinan Gözler bulanamadigi takdirde igêmler tekrar baslatiiir. Gözlerin bulunmasi durumunda gözlerin örnek üzeriçdîki matematiksel koordinatlari kaydedilir ve PERCLOS analizi için hazirlanir. .83 olarak bulur ve PElügLOS ile sürücünün uyku durum analizini elde eder. Islemci (141), sürücü uyku durum analizine göre sürücüyü uyku durumunda tespit ettigi takdirde hoparlör (12) ile sürücüyü uyarir. Bu uyari islemci (141) tarafindan tarih zaman bilgisi ile hafiza birimine (148) kayit edilir ve olay kayit defterine (147) yazilir.

Haberlesme protokolleri (145) ile hafiza birimine (148) kaydedilen verilerin baska platforma sunumu islemci (141) tarafindan saglanir. RS~232, USB ve GPRS baglantilari haberlesme protokollerini olusturmaktadir. Bulus, RS~232 ve USB kablolu haberlesme ile olay kayit defterinde tutulan verilere erisim imkâni sunmaktadir. Islemci (141), olay kayit defter bilgileri disinda konumlandirma modülü (146) ile araç konum belirleme saglamaktadir. GPRS baglantisi ile olay kayit defteri ve konum bilgilerini kablosuz olarak yayinlamaktadir. Sürücü Uyku Uyari sistemi (1), RS-232 ile diger Ileri Sürücü Destek Sistemlerine baglanarak sistem mesaji sunar ve kompakt entegrasyon olusturur.

Claims (5)

1. ISTEMLER
2. Araç içi konsol (2) üzerine rahatça oturan, sürücüye (
3. 3) temassiz, görüntü tabanli çalismaya sahip Sürücü Uyku Uyari Sistemi (1) olup, özelligi; trafikte sürücü seyir halinde iken sürücünün uyku durumunu sürücünün gözlerinin açiklik/kapalilik oranina göre analiz eden ve sürücüyü uyku durumunda uyaran, Içerisinde sürücüden görüntü örnekleri almasi için en az bir kamerasi (11), sürücünün gözlerine açiklik/koyuluk etkisi vermesi ve dis ortam aydinlatmasinin etkisini kirmasi için yakin kizil ötesi Iedler (13), sürücüyü sesli uyarabilmek için hoparlör (12), sistem algoritmasini (Sekil 4) isleyen ve kendisine bagli parçalari kontrol ederek uyari sisteminin beyni olan elektronik ana karta (14) sahip olmasidir. algoritmasi akisini (Sekil 4) isleyen en az bir adet isýgiclsi (141), yakin kizilötesi aydinlatma saglayabilmesi için kizilötesi led ara yg&Q (142), sürücüden sayisal video örnekleri almayi saglayacak ve kamerayi koýol edebilmek için kamera ara yüzü (143), sürücüyü uyku durumunda sesllöûolâ?ak uyarabilmesi için hoparlörü kontrol eden hoparlör ara yüzü (144), RS232Q$B ve GPRS haberlesmeleri üzerinden verilerin sunulmasi için haberlesme protgüßlleri (145), araç konum bilgisinin saglanmasi için konumlandirma modülü (1046), verilen uyarilarin gün/ay/yil olarak tarih bilgisinin saklanmasi için gerçek é'manli saati olan olay kayit defteri (147) ve verilerin kayit edilmeleri için hafiigâarimi (148) sahip olmasidir.
4. 4) olup özelligi; yakin kizilötesi aydinlatma altinda sürücüden örnekleri almasi, alinan örneklere göz bulma algoritmasini (Sekil
5. 5) uygulayarak örnekler üzerinde sürücü gözlerinin tespitini saglamasi, PERCLOS algoritmasi ile uyku durum analizi yapmasi, sürücü uyku durumuna göre sürücüyü uyarmasi ve olayi kaydetmesidlr. algoritmasinin (Sekil 4) göz bulma algoritmasi (Sekil 5) olup, özelligi; yakin kizil ötesi aydinlatma altinda alinan örneklerin farkli boyutlarda yapi elementleri ile Asinma (31) ve Genlesme (32) operatörleri ile islenmesi, Asinma islem çiktisi ile Genlesme islem çiktisinin farklarindan Gradient sonucun elde edilmesi, Gradient sonuçtan örnek çikartilarak Gradient II sonuç elde edilmesi ve alansal metrik hesaplari sonucu gözlerin bulunmasina aksi takdirde islemlerin tekrarlanmasina sahip olmasidir.