2019년 항공우주및소프트웨어공학전공 종합설계 제안서

과제명: 주차 시 가시영역 확보를 위한 파노라마 영상처리

양태규

작성일: 2019년 3월 12일

지도교수:                (서명)

목 차

1. 기술의 창의성 및 필요성	1

1.1. 과제의 개요	1

1.2. 창의성 및 실용성	1

1.3. 배경 기술	2

2. 관련 현황 및 선행 연구	2

2.1. 관련 현황	2

2.2. 선행 연구 (논문/특허/저서/신문기사)	3

3. 과제 목표	4

3.1. 최종 목표	4

3.2. 연구 및 개발 내용	4

3.3. 결과물	5

3.4. 기대 효과 및 활용방안	6

4. 기술 개발 추진 방법 및 체계	6

4.1. 추진 방법	6

4.2. 추진 전략 및 체계	6

5. 추진일정	7

6. 예산	7

7. 참고문헌	8

기술의 창의성 및 필요성

과제의 개요

본 과제의 개요는 차량의 장치들과 영상 제어 기술을 종합하여 차체로 인해 가려져 보이지 않는 차량전방 주변의 장애물을 인식하여 감지 할 수 있는 인터페이스를 만들어 운전자들의 판단 및 조작 실수로 인한 경제적 손실이나 운전자들의 전면주차에 대한 중압감을 덜도록 하는 것이다. 전체적인 설계로서는 차량의 전방과 좌우에 카메라 모듈 및 초음파 센서를 부착하고, 영상들을 조합한 후 영상처리 기법을 사용하여 화면을 모아서 출력하고 위험요소가 있는 경우 테두리로 표시하고 알림으로서 운전자로 하여금 화면만 보고도 전면주차를 할 수 있도록 편리성을 도모할 것이다.

창의성 및 실용성

전방 주차 작업은 차량의 위치와 근처 장애물사이의 거리, 차량의 예상 진로 등을 운전자의 감각에 의존하여 판단해야하기 때문에 장애물을 인식하지 못했거나, 순간적인 판단실수, 핸들 조작의 실수로 다른 차량이나 장애물과 충돌을 일으킬 경우 경제적 손실이 발생할 수 있다.

기존 차량용 전방 주차보조 시스템은 현재 운행되는 대부분의 차종의 경우 전방 장애물 감지 센서는 있지만 그 센서에 인식되는 것이 주차에 실제적으로 방해되는 요소가 아닌 경우에도 감지되는 경우가 생길 시 직접 볼 수 없기 때문에 정확한 판단을 할 수 없다. 고급 자동차에는 전방 차량용 카메라 옵션이 존재 하지만, 가격이 비싸고 실제 사용 시에 시야각이 좁거나 무리하게 시야각을 늘려 왜곡이 발생해 거리감이 잘 판단되지 않아 유용하지 않다는 문제가 있다. 본 과제는 이런 문제를 해결하기 위해 네 개의 카메라에서 수집한 영상을 조합하는 과정을 거친 후 장애물을 인식하여 테두리로 표시하는 파노라마 형식의 영상으로 직관적으로 전방 주차를 할 수 있도록 하는 소프트웨어 개발을 제안한다.

[그림 1] 전방 카메라의 시야각

배경 기술

1) OpenCV : OpenCV(Open Source Computer Vision)는 주로 실시간 컴퓨터 비전을 목적으로 한 프로그래밍 라이브러리이다. 실시간 이미지 프로세싱에 중점을 둔 라이브러리이다. 윈도, 리눅스 등에서 사용 가능한 크로스 플랫폼이며 오픈소스 BSD 허가서 하에서 무료로 사용할 수 있다. 본 과제에서 영상처리를 위해 사용될 플랫폼이다.

연계되는 교과목 : 임베디드 응용소프트웨어

2) Python : 1991년, 네덜란드 수학자 귀도 반 로섬에 의해 개발된 고급 프로그래밍 언어로서 간결하고 쉬울 뿐만 아니라 활용도가 풍부하여 요즈음 가장 많이 사용하는 프로그래밍 언어로 각광받고 있다. OpenCV에서 프로그래밍을 하기위해 사용될 것이다.

연계되는 교과목 : 프로그래밍 언어

3) Raspberry Pi : 영국의 라즈베리파이 재단이 학교에서의 기초 컴퓨터 과학 교육용 프로젝트의 목적으로 개발한 신용카드 크기의 초소형/초저가 PC이다. 라즈베리파이의 특징은 아두이노와 달리 키보드, 마우스, 모니터만 연결하면 PC가 될 수 있다는 점이다. Linux OS를 기반으로 하고 세부적인 설정을 제공한다. 영상처리를 위해 아두이노는 장착 가능한 센서가 제한적이고 또한 성능면에서 영상처리를 하기에는 적합하지 않아 라즈베리파이를 선택하였다.

연계되는 교과목 : 이산신호처리

4) Linux : 1989년 핀란드 헬싱키대학에 재학중이던 리누스 토르발스(Linus Torvalds)가 유닉스를 기반으로 개발한 공개용 OS로, 유닉스(Unix)가 중대형 컴퓨터에서 주로 사용되는 것과는 달리, 리눅스는 워크스테이션이나 개인용 컴퓨터에서 주로 활용한다.

리눅스는 소스 코드를 완전 무료로 공개하여 전 세계적으로 약 5백만 명이 넘는 프로그램 개발자 그룹을 형성하게 되었으며, 이들에 의해 단일 운영체제의 독점이 아닌 다수를 위한 공개라는 원칙하에 지속적인 업그레이드가 이루어지고 있다. 라즈베리파이의 개발환경이 리눅스에서 최적화 되어있기 때문에 본 과제에서 활용할 것이다.

연계되는 교과목 : 운영체제 및 커널

관련 현황 및 선행 연구

관련 현황

2.1.1 운전자 보조 시스템(DAS : Driver Assistance Systems)

운전자 보조 시스템(DAS : Driver Assistance Systems)은 일반적으로 운전자에게 위험을 알리는 기술을 의미하며, 향후 자동차 시스템 분야에서 가장 높은 성장세를 보일 것으로 예상되고 있다. 최근 들어 비상시에만 작동하는 안전 시스템이 장착된 차량이 많이 출시되는 가운데 소비자들은 직관적으로 실물을 볼 수 있는 DAS를 더 선호하는 추세이다.

[그림 2] 대표적 DAS 후방주차지원 카메라

[그림 3] 차량용 센서 시장 전망 : 2016 US$74억⟶2021 US$ 208억

2.1.2 파노라마 영상

2개 이상의 렌즈의 시야각이 겹치지 않게 녹화하여 두 영상을 붙여서 보면 시야각이 넓은 파노라마 영상으로 볼 수 있다. 여러 개의 렌즈로 촬영하여 시야각이 넓어져도 왜곡이 적어 선명한 영상을 얻을 수 있다.

선행 연구 (논문/특허/저서/신문기사)

논문1. Multi-View Image Parking Assistant System using Vehicle Data

저자 : 이민구, 정경권

논문2. Design and Implementation of 4-sided Monitoring System providing Bird's

Eye View in Car PC Environment

저자 : 유영호, 장시웅

논문3. ROI Based Real Time Image Stitching Using the Directionality of the Image

저자 : 남기훈, 최세진

과제 목표

최종 목표

전방 주차 시 가시영역을 확보하기 위해 파노라마 영상을 통해 사각의 차량 전면을 확인하고 장애물을 감지하여 테두리로 표시 및 알리는 소프트웨어 및 장치를 개발한다.

연구 및 개발 내용

3.2.1 장비 구성 및 연결

및 초음파센서

[그림 4] 장비 구성

3.2.2 처리 순서

라즈베리파이 멀티카메라를 통해 영상을 수집한다.

초점 거리를 복원하고 영상의 왜곡을 보정한다.

영상을 이어붙이고 생길 수 있는 유격 등을 보정한다.

디스플레이에서 영상을 재생한다.

위험요소가 있을 경우 감지하여 테두리로 표시하고

LED및 스피커로 알린다.

[그림 5] 처리순서도

결과물

항목	예상 결과물	결과물에 대한 설명 요약
설계	라즈베리파이 회로	장비 연결을 위한 회로도
수학적 분석	왜곡률 및 초점비율	왜곡률 및 초점비를 해결하기 위한 알고리즘 도출
시뮬레이션	파노라마 인터페이스	영상처리를 하기 전 인터페이스 구현
실험 및 제작	차 모형	차 모형을 제작하여 라즈베리파이 및 카메라 장비, 초음파 센서 장착 왜곡 및 유격 보정, 장애물 감지
	파노라마 영상	카메라 4대의 영상을 합침.
	위험 감지처리	영상에 보행자 및 장애물이 있을 경우 테두리로 표시하며 알린다.

3.3.2 예상 구현 인터페이스

[그림 6] 예상 구현 인터페이스

3.3.3. 예상 하드웨어 구현 (카메라, 초음파센서 부착 위치)

[그림7] 센서 부착위치(원으로 표시)

기대 효과 및 활용방안

카메라를 이용한 파노라마 영상처리를 통하여 차량 전면부의 가시영역을 크게 늘릴 수 있으며 저렴한 카메라를 사용하여 소프트웨어 선에서 영상처리를 통해 구현하기 때문에 경제적인 절감효과도 거둘 수 있을 것이다. 또한 자율 주행의 시대가 도래함에 따라 카메라로 장애물을 인식하고 대처할 수 있을 것이며 나아가 차체 안에 커브드 디스플레이(Curved Display)를 적용할 수 있는 기술이 생긴다면 마치 차가 투명한 것과 같은 인터페이스를 만들어 주차 시 사각이 없게 되어 주차 시 생기는 사고율을 크게 줄일 수 있을 것이라고 기대한다.

기술 개발 추진 방법 및 체계

추진 방법

영상 처리가 교과 과정에 없었던 분야기 때문에 학습을 병행 하여 수행 할 것이고, 한정된 프로젝트 기간 내 완료하기 위하여 개념 설계를 해나감과 동시에 부품을 구입하여 시간적 금전적 손실을 줄이고, 상세 설계를 해나감과 동시에 제작에 착수하여 학습된 내용을 수시로 적용을 해보는 방식으로 추진을 할 것이다.

추진 전략 및 체계

인터넷의 오픈소스를 최대한 활용하고 오픈소스에 부족한 점이 있다면 수정 및 보완 해나갈 것이며, 담당 교수님과 많은 의논을 통해 해결방안을 도출한다.

추진일정

프로젝트 내용	1	2	3	4	5	6	7	8	9	10	11	12	13	14
목적수립 및 동기부여
데이터 조사
개념적 설계
부품 선정 및 구입
상세설계
제작
테스트
부족 사항 보수
최종발표 및 시연 준비
포스터 및 작품전시

예산

예산:  0 원

예상 지출내역

항목	비용(원)
라즈베리파이3 B+ 스타터키트	45,000
라즈베리파이 멀티카메라 아답터모듈 (4 카메라)	63,000
라즈베리파이 카메라 모듈 V2 (5MP) - 4EA	(11000 x 4 =) 44,000
기타 기자재 (초음파센서, 버저, 스피커 등)	30,000

참고문헌

연번	종류	제목	저자	발행년도	발행자	기타
1	논문	차량 정보를 이용한 멀티뷰 영상 주차 보조시스템	이민구, 정경권	2013
2	논문	탑뷰 기반 주차 지원 시스템을 위한 영상처리	우병욱, 김영중,김진형 外 7인	2018
3	연구	실시간 영상처리 시스템 구성에 관한 연구	백남칠, 김영일,전준석外 3인	시기 미상
4	논문	다중 네트워크 기반 실시간 동영상 생성 시스템	최경윤,전경구	2015	5. 28
5	논문	영상의 방향성을 이용한 ROI기반 실시간 파노라마 영상 정합	남기훈,최세진	2016