<fmt:message key='jsp.layout.header-default.alt'/>  
 

DSpace@UM >
Faculty of Computer Science and Information Technology >
PhD Theses : Computer Science >

Please use this identifier to cite or link to this item: http://hdl.handle.net/1812/1033

Title: Video visual feature space reduction and semantic search for visual content retrieval
Authors: L. Ranathunga
Keywords: Visual content retrieval
Video data search
Search engines
Semantic video content retrieval
Video visual search
Compacted Dither Pattern Code
CDPC
Issue Date: Apr-2011
Publisher: University Malaya
Abstract: ABSTRACT Video data search and retrieval is a popular research topic of interest in the search engine industry. Capabilities of conventional search engines are lagging behind in semantic video content retrieval. Video visual search and retrieval uses descriptions derived from visual data. A meaningful visual description on video data paves the path for semantic video retrieval. Common practices of high dimensional and multiple visual feature combinations in video visual depictions have negative effect on visual concept classification. Reduction of visual feature space in visual descriptors is important due to the ‘curse of dimensionality’. This research formulates a new form of compact visual feature called Compacted Dither Pattern Code (CDPC) which is a chromatic syntactic feature. In this research, the efficiency and effectiveness of CDPC combined with Bhattacharyya classifier has been analysed through experiments and compared with well known colour feature descriptors namely MPEG-7 Dominant Colour Descriptor (DCD), 3D Local Histogram Descriptor and Principal Component Analysis (PCA) Descriptor. There are also various combinations of classifiers namely Support Vector Machine (SVM), k-Nearest Neighbourhood (k-NN) and Bhattacharyya used with the visual features mentioned above for comparison. The experiments were conducted using TRECVID 2005 and 2007 datasets. There are several competitive advantages of CDPC in feature extraction and classification stages when compared to other colour visual features and descriptors. The embedded texel properties, spatial colour arrangements, high compactness, and robust feature representation of CDPC have proven its effectiveness in this research study. Visual description experiments have been conducted for irregular shapes based visual concepts. The experimental results are presented based on four common performance measures namely precision, recall, F1- score and average precision. The average precision results are compared with different state-of-art system results based on TRECVID 2005 dataset evaluations. The results depict that CDPC with Bhattacharyya classifier provides an improved generalised performance for irregular shape based visual description as compared to the other experimental setups. Furthermore, the performance of CDPC is significant as a single syntactic visual feature when compared to state-of-art multimodal systems. Maintenance of the balance between low dimensional visual feature space and high retrieval accuracy has been shown by CDPC in this research. Inline with semantic visual retrieval of video content, this research study contributes to reduce the ‘semantic gap’. The retrieval mechanisms and the depiction schema have been enabled to bridge the clear understanding between the users and the retrieval system. Spatial and temporal organisations of visual concepts in videos have been positively used to model the search mechanisms. The retrieval model employs video graphical and context oriented knowledge of user in generation of search results. Furthermore, the temporal segmentation implemented in this study shows a direction towards semantic shot segmentation rather than common shot boundary detections based on statistical features. The possible improvements in video visual retrieval with proposed users’ visual ontology accompanied search mechanisms are also demonstrated with retrieval results. This nature of video search makes a path towards realisation of semantic video search. ABSTRAK Carian dan capaian video merupakan topik kajian yang popular dalam industri enjin carian. Mesin carian konvensional masih lagi mempunyai kekurangan dari segi capaian kandungan video secara semantik. Carian dan capaian video secara visual adalah dengan menggunakan keterangan yang berasal dari data visual. Keterangan visual yang memberi makna untuk data video telah membuka jalan kepada capaian video secara semantik. Amalan umum yang menggabungkan dimensi tinggi dan himpunan ciri-ciri visual dalam penggambaran visual video mempunyai kesan negatif terhadap klasifikasi konsep visual. Pengurangan pada ruang ciri-ciri visual dalam keterangan visual adalah penting bilamana ‘curse of dimensionality’ dipertimbangkan. Penyelidikan ini merumuskan satu bentuk ciri-ciri visual padat baru disebut Compacted Dither Pattern Code (CDPC) yang merupakan ciri-ciri sintaktik berwarna. Dalam kajian ini, kecekapan dan keberkesanan CDPC yang digabungkan dengan pengklasifikasi Bhattacharyya telah dianalisis melalui eksperimen dan dibandingkan dengan pendeskripsi ciri-ciri warna yang terkenal iaitu MPEG-7 Dominant Colour Descriptor (DCD), 3D Local Histogram Descriptor dan Principal Component Analysis (PCA) Descriptor. Terdapat juga pelbagai kombinasi pengklasifikasi seperti Support Vector Machine (SVM), k-Nearest Neighbourhood (k-NN) dan Bhattacharyya yang digunakan bersama ciri-ciri visual yang telah disebutkan di atas untuk tujuan perbandingan. Eksperimen telah dilakukan dengan menggunakan set data TRECVID 2005 dan 2007. CDPC mempunyai beberapa kelebihan di dalam peringkat pengekstrakan ciri-ciri dan juga klasifikasi apabila dibandingkan dengan ciri-ciri visual warna dan pendeskripsi yang lain. Sifat-sifat texel tertanam, tatasusunan warna spasial, kepadatan yang tinggi, dan perwakilan ciri-ciri yang kuat pada CDPC telah terbukti berkesan dalam kajian ini. Eksperimen pendeskripsian visual telah dilakukan ke atas konsep-konsep visual yang tidak mempunyai bentuk yang tetap. Keputusan eksperimen dipersembahkan dengan berdasarkan kepada empat ukuran prestasi yang biasa iaitu ketepatan, panggilan semula, F1-score dan purata ketepatan. Keputusan untuk purata ketepatan telah dibandingkan dengan keputusan dari beberapa sistem terkini yang berbeza berdasarkan penilaianpenilaian terhadap set data TRECVID 2005. Keputusan kajian menunjukkan bahawa CDPC dengan pengklasifikasi Bhattacharyya telah memberikan prestasi umum yang lebih baik untuk pendiskripsi visual bentuk yang tidak tetap bila dibandingkan dengan eksperimen yang lain. Selanjutnya, prestasi CDPC sebagai ciri-ciri visual sintaktik tunggal sangat menonjol jika dibandingkan dengan sistem-sistem multimodal terkini. Pemeliharaan dalam keseimbangan antara ciri-ciri dimensi visual yang beruangan rendah dan ketepatan capaian yang tinggi telah ditunjukkan oleh CDPC dalam kajian ini. Seiring dengan capaian visual semantik untuk kandungan video, kajian ini memberikan sumbangan dalam mengurangkan 'jurang semantik'. Mekanisme capaian dan skema penggambaran telah diaktifkan untuk menghubungkan pemahaman yang jelas antara pengguna dan sistem capaian. Organisasi spasial dan temporal untuk konsep visual dalam video telah digunakan secara positif dalam permodelan mekanisme carian. Model capaian telah menggunakan grafik video dan pengetahuan penguna yang berorientasikan konteks untuk menjana hasil carian. Selain itu, segmentasi temporal yang dilaksanakan dalam kajian ini telah menjurus lebih kepada segmentasi paparan semantik berbanding pengesanan sempadan paparan berdasarkan ciri-ciri statistik. Penambahbaikan yang mungkin dalam capaian video visual dengan ontologi visual pengguna yang dicadangkan disertai mekanisme carian juga ditunjukkan dengan hasil carian. Sifat carian video ini telah membuka jalan dalam merealisasikan carian video secara semantik.
Description: Thesis (PhD) -- Faculty of Computer Science & Information Technology, University of Malaya, 2011.
URI: http://dspace.fsktm.um.edu.my/handle/1812/1033
Appears in Collections:PhD Theses : Computer Science

Files in This Item:

File Description SizeFormat
CH1.pdfChapter 1109.54 kBAdobe PDFView/Open
CH4.pdfChapter 465.12 kBAdobe PDFView/Open
CH7.pdfChapter 7532.53 kBAdobe PDFView/Open
CH10.pdfChapter 1037.54 kBAdobe PDFView/Open
CH2.pdfChapter 2214.1 kBAdobe PDFView/Open
CH5.pdfChapter 5388.93 kBAdobe PDFView/Open
CH8.pdfChapter 8514.76 kBAdobe PDFView/Open
APPENDICES.pdfAPPENDICES817.08 kBAdobe PDFView/Open
Preface.pdfPreface83.18 kBAdobe PDFView/Open
CH3.pdfChapter 3369.28 kBAdobe PDFView/Open
CH6.pdfChapter 6229.18 kBAdobe PDFView/Open
CH9.pdfChapter 9700.11 kBAdobe PDFView/Open
BIBLIOGRAPHY.pdfBIBLIOGRAPHY104.13 kBAdobe PDFView/Open


This item is protected by original copyright



Your Tags:

 

  © Copyright 2008 DSpace Faculty of Computer Science and Information Technology, University of Malaya . All Rights Reserved.
DSpace@UM is powered by MIT - Hawlett-Packard. More information and software credits. Feedback