Nghiên cứu cách sắp xếp thích ứng đối với dữ liệu ảnh Light Field

Chia sẻ: Phó Cửu Vân | Ngày: | Loại File: PDF | Số trang:6

Thêm vào BST

Báo xấu

8
lượt xem 2
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài viết "Nghiên cứu cách sắp xếp thích ứng đối với dữ liệu ảnh Light Field" đề xuất giải pháp sắp xếp thích ứng hình ảnh Light Field kết hợp với nén dữ liệu LF theo phương pháp mã hóa phân tán. Quy trình nén trước hết là chuyển đổi hình ảnh LF sang định dạng dữ liệu video giả lập LF (4D-LF). Để nâng cao hiệu suất nén của mã hóa WynerZiv cùng với phương pháp tiền xử lý có độ phức tạp thấp, cơ chế sắp xếp thích ứng được thực hiện để tạo chuỗi video giả lập 4D-LF dựa trên phân tích nội dung của hình ảnh LF. Mời các bạn cùng tham khảo!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Nghiên cứu cách sắp xếp thích ứng đối với dữ liệu ảnh Light Field

Hội nghị Quốc gia lần thứ 26 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2023) NGHIÊN CỨU CÁCH SẮP XẾP THÍCH ỨNG ĐỐI VỚI DỮ LIỆU ẢNH LIGHT FIELD Trần Quý Nam1, Phí Công Huy2 1 Khoa Công nghệ thông tin, Đại học Đại Nam; 2Học viện Công nghệ Bưu chính Viễn thông namtq.dn@gmail.com; huypc@ptit.edu.vn Tóm tắt - Dữ liệu ảnh Light Field (LF) mang lại những khả năng (MI) được tạo bởi mỗi ống kính rất nhỏ và được biểu thị dưới mới cho hình ảnh kỹ thuật số như lấy nét kỹ thuật số, thay đổi mặt dạng một tập hợp các chế độ xem/phối cảnh thường được gọi là phẳng tiêu điểm, ước tính điểm nhìn hoặc cảnh - độ sâu, bằng cách hình ảnh khẩu độ phụ (Sub-aperture image - SAI). Theo sau các ghi lại cả thông tin không gian và góc của tia sáng. Tuy nhiên, nén công nghệ hình ảnh LF, máy ảnh LF đã trở thành một phương ảnh LF là thách thức lớn nhất, không chỉ do yêu cầu dung lượng pháp tiếp cận đầy hứa hẹn cho nhiều lĩnh vực nghiên cứu khác lưu trữ và băng thông truyền tải lớn mà còn do yêu cầu phức tạp của nhiều ứng dụng khác nhau. Trong bài báo này, chúng tôi đề nhau, ví dụ: khả năng chụp ảnh phong phú hơn như Lytro Illum xuất giải pháp sắp xếp thích ứng hình ảnh Light Field kết hợp với [2], Raytrix [3], hình ảnh y tế [4] và nhận dạng sinh trắc học nén dữ liệu LF theo phương pháp mã hóa phân tán. Quy trình nén [5]. Do kích thước khổng lồ của ảnh LF thực tế rất lớn, thường trước hết là chuyển đổi hình ảnh LF sang định dạng dữ liệu video là 1GB, do đó, việc nén dữ liệu là một thách thức đối với dữ giả lập LF (4D-LF). Để nâng cao hiệu suất nén của mã hóa Wyner- liệu LF để lưu trữ, xử lý và truyền tải. Đáng chú ý, nhóm JPEG Ziv cùng với phương pháp tiền xử lý có độ phức tạp thấp, cơ chế đã đưa ra một sáng kiến tiêu chuẩn hóa mang tên JPEG Pleno sắp xếp thích ứng được thực hiện để tạo chuỗi video giả lập 4D-LF [6] bao gồm LF, Point Cloud và Holography. Đề xuất này cung dựa trên phân tích nội dung của hình ảnh LF. Kỹ thuật nén mã cấp cách trình bày và mã hóa LF với khả năng hiển thị và độ hóa phân tán dựa trên định lý WZ sau đó được áp dụng cho chuỗi phân giải được tối ưu hóa cho một lượng dữ liệu khổng lồ, do này. Kết quả thử nghiệm cho thấy rằng nén hình ảnh LF được đề xuất có thể đạt được mức tăng nén đáng kể, đáng chú ý là hiệu đó, một giải pháp mã hóa hiệu quả với độ phức tạp thấp để tính năng đã tăng được xấp xỉ 2dB khi so sánh với phương pháp sắp toán và hiệu suất nén cao là điều quan trọng nhất. xếp hình ảnh khác. Mô hình mã hóa video dự đoán thông thường chủ yếu nhắm vào các ứng dụng một - nhiều trong đó tạo ra bộ mã hóa phức Từ khóa: Mã hóa dữ liệu ảnh Light field, Mã hóa video phân tạp và bộ giải mã đơn giản, nhưng các ứng dụng mới hiện nay tán, Các phương pháp sắp xếp dữ liệu. như mạng cảm biến hình ảnh, viễn thám hoặc Internet vạn vật dựa trên hình ảnh (IoT) thường yêu cầu bộ mã hóa đơn giản I. GIỚI THIỆU hơn. Trong bối cảnh này, mã hóa Wyner-Ziv (WZ) [7], một mô Dữ liệu ảnh Light Field (LF) được biết đến như một dạng hình mã hóa phân tán có tổn hao [8], đưa ra khả năng mã hóa kết xuất dựa trên hình ảnh hấp dẫn (IBR), đòi hỏi lượng dữ liệu có độ phức tạp thấp bằng cách chuyển phần ước tính chuyển hình ảnh khổng lồ vì cường độ tia sáng truyền theo mọi góc tại động từ bộ mã hóa sang bộ giải mã. Phương pháp mã hóa này mọi điểm trong không gian 3D đều được ghi nhận [1]. Do đó, đã được áp dụng thành công cho nhiều dạng video và ứng dụng dữ liệu ảnh LF bao gồm các thông tin như vị trí/điểm(x,y,z), mới hiện nay, ví dụ: hình ảnh tự nhiên, hình ảnh siêu phổ, mạng góc/hướng (θ,∅), bước sóng γ và thời gian t đối với các tia sáng cảm biến và video không dây, v.v. Mã hóa WZ cung cấp các kỹ nhiều thông tin 𝑃𝑃𝐿𝐿𝐿𝐿 , giải thích cho việc lượng dữ liệu khổng lồ được ghi lại trong từng cảnh. Điều này được coi là một hàm thuật mã hóa khác nhau so với mã hóa video thông thường, đặc biệt là phân phối linh hoạt về độ phức tạp của codec, khả năng gồm thông tin của 7 chiều 𝑃𝑃𝐿𝐿𝐿𝐿 (𝑥𝑥, 𝑦𝑦, 𝑧𝑧, 𝜃𝜃, ∅, 𝛾𝛾, 𝑡𝑡) [1]. Do sự phức được lưu trữ trong mỗi hình ảnh LF, vì hình ảnh LF có thể bao nén cao và khả năng chống lỗi đường truyền [9] Theo các tính năng của mã hóa WZ, đây là triển vọng to lớn tạp của thông tin LF, người ta thường đưa ra một tập hợp các cho các ứng dụng mới hiện nay có độ phức tạp thấp và yêu cầu ràng buộc đối với hàm plenoptic trong đó nó được giảm xuống độ bền cao. Một số cách tiếp cận để nén phân tán các hình ảnh 𝑃𝑃𝐿𝐿𝐿𝐿 = 𝐿𝐿(𝑢𝑢, 𝑑𝑑, 𝑥𝑥, 𝑦𝑦) thành hàm 4D được trình bày như dưới đây. đa góc nhìn, có khái niệm tương tự như hình ảnh LF cũng đã Ở đây, cường độ ánh sáng 𝑃𝑃𝐿𝐿𝐿𝐿 được kết hợp bởi (𝑢𝑢, 𝑑𝑑) và (1) được đề xuất. Đặc biệt, hiệu suất mã hóa video phân tán cho nội (𝑥𝑥, 𝑦𝑦) tương ứng biểu thị các góc và tập hợp các điểm nhìn được dung trường ánh sáng đã được phân tích trong [10]. Liên quan đến các yêu cầu mã hóa hình ảnh LF và mã hóa WZ, thách thức lưu trữ trong từng trường ánh sáng. Một tập hợp hình ảnh vi mô lớn nhất là truyền tải nội dung LF đến nhiều người dùng cuối ISBN ............ 978-604-80-8932-0 294
Hội nghị Quốc gia lần thứ 26 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2023) trong các thiết bị và ứng dụng hiển thị khác nhau, đồng thời với phần khung WZ, cái gọi là khung SI được tạo bằng cách kiểm soát và duy trì chất lượng của lượng dữ liệu khổng lồ. Với thực hiện phép nội suy khung bù chuyển động (MCFI) [13] . SI bối cảnh này, một kiến trúc mã hóa LF hiệu quả là vô cùng cần là phiên bản nhiễu của các khung WZ gốc có mối quan hệ qua thiết, do đó, mở rộng từ kết quả nghiên cứu trước đây của chúng lại giữa số lượng bit chẵn lẻ (hoặc tốc độ bit) và chất lượng ước tôi trong [11], chúng tôi đề xuất giải pháp sắp xếp thích ứng tính nhiễu của nó, tức là chất lượng ước tính càng tốt thì tốc độ hình ảnh LF và nén theo phương pháp mã hóa phân tán, để đạt bit nhận được càng nhỏ. Mối tương quan giữa các khung WZ được giải pháp độ phức tạp mã hóa thấp cho dữ liệu LF đồng ban đầu và thông tin phụ được ước tính bằng cách sử dụng mô thời cung cấp hiệu suất nén tốt. Nghiên cứu này đề xuất cơ chế hình nhiễu tương quan. sắp xếp lại hình ảnh LF theo hướng nội dung, dựa trên độ dài B. Mã hóa dữ liệu ảnh Light Field tiêu cự và nội dung khác nhau của hình ảnh LF, giá trị trung bình giữa các hình ảnh khẩu độ phụ được tính toán để tạo ra thứ Nhiều kỹ thuật và phương pháp nén LF đã được giới thiệu. tự quét mới nhằm mở rộng hiệu suất của giải pháp mã hóa WZ. Theo các yêu cầu mã hóa hình ảnh LF được thảo luận tại phần Cấu trúc của bài báo này như sau. Phần 2 mô tả cơ sở lý giới thiệu, các kỹ thuật và phương pháp này có thể được phân thuyết liên quan đến bộ mã hóa video và mã hóa dữ liệu ảnh loại thành hai loại: mã hóa theo dạng LF lenslet và mã hóa 4D- LF, trong khi Phần 3 trình bày phân tích về cách sắp xếp thích LF. ứng dữ liệu hình ảnh LF. Sau đó, Phần 4 thực hiện đánh giá thử Mã hóa theo dạng LF lenslet: Ống kính LF đại diện cho một nghiệm. Cuối cùng, Phần 5 tóm tắt và kết luận loại phiên bản nhỏ gọn của dữ liệu LF, nó chứa ống kính lục giác lớn và yêu cầu siêu dữ liệu máy ảnh bổ sung để hiển thị II. CƠ SỞ LÝ THUYẾT hình ảnh. Theo các phương pháp tiếp cận ống kính LF, hầu hết các phương pháp mã hóa hình ảnh và video thông thường được A. Mã hóa Wyner-Ziv áp dụng để khai thác sự dư thừa không gian hiện có của MI Mã hóa WZ là trường hợp mã hóa có tổn thất của mã hóa trong ống kính LF như mã hóa nội bộ JPEG, JPEG2000 và phân tán [7], cho phép nén video không đối xứng, tức là bộ mã HEVC. Trong nghiên cứu [14], tác giả sử dụng phương pháp hóa đơn giản nhưng bộ giải mã có thể phức tạp. Kiểu mã hóa dự đoán bù chênh lệch để thu được độ dư không gian hiện có. này quản lý để mã hóa các khung riêng lẻ nhưng được giải mã Ống kính LF được sử dụng YUV 4:4:4 với 10 bit/mẫu mang lại có điều kiện để đạt được hiệu quả tương tự. Phương pháp mã hiệu quả cao hơn về hiệu quả mã hóa cho các định dạng lấy mẫu hóa WZ đầu tiên trong [12], được áp dụng cho tín hiệu video con màu khác nhau. trong thế giới thực, cùng với khả năng phục hồi lỗi được cải Mã hóa 4D-LF: 4D-LF thể hiện một tập các hình ảnh có thiện. Trong các nghiên cứu này, thông tin nguồn, X và Y lần khẩu độ phụ, điều này gây ra yêu cầu thể hiện dư thừa hơn. Tuy lượt là các khung chẵn và lẻ của chuỗi. Bộ mã hóa trong khung nhiên, trong 4D-LF, thông tin phụ được giảm thiểu do tập các được sử dụng để nén X độc lập với Y. Bằng cách sử dụng sự hình ảnh khẩu độ phụ vẫn độc lập. Vì vậy, việc hiển thị hình tương tự về thời gian vốn có giữa các khung liền kề của chuỗi, ảnh sẽ dễ dàng hơn. Trong phương pháp mã hóa 4D-LF, việc Y được coi là thông tin phụ để giải mã X có điều kiện sau khi tạo chuỗi giả 4D-LF là một phương pháp được chú ý để nén dữ nhận được luồng nén từ bộ mã hóa. Ngoài ra, để cung cấp đầu liệu ảnh LF. Kiểu tiếp cận này là về việc chuyển dữ liệu LF từ ra có chất lượng hình ảnh tốt nhất và Tỷ lệ tín hiệu trên nhiễu mã hóa hình ảnh tĩnh sang mã hóa video. Trong nghiên cứu cao nhất (PSNR) có thể chấp nhận được khi có lỗi kênh, tác giả [15], chuỗi giả 4D-LF được tạo ra bằng cách phân vùng hình đã áp dụng mã hóa WZ để truyền video nén qua kênh dễ bị lỗi. ảnh LF thô từ các ô có kích thước bằng nhau. Sau đó, chuỗi 4D- Bên cạnh khả năng phục hồi lỗi, khả năng thích ứng nội dung LF sử dụng dự đoán liên HEVC để khai thác mối tương quan cũng được khám phá trong mã hóa WZ thông qua hoạt động giữa các khung khác nhau. chuyển động. Trong bài báo này, tác giả đã trình bày phương Một số cách tiếp cận cũng được trình bày theo nhiều phương pháp bổ sung khả năng thích ứng nội dung cho bộ mã hóa. Cơ pháp sắp xếp dữ liệu, để xác định mức độ dư thừa cao hơn giữa chế kiểm soát kích thước GOP thích ứng được triển khai nhằm các SAI và tăng hiệu quả nén. Trong mã hóa liên khung của điều chỉnh linh hoạt cấu trúc mã hóa thời gian dựa trên các đặc video, độ tương quan giữa SAI và các tham chiếu của nó là một điểm trình tự. tham số quan trọng nhằm cải thiện hiệu suất nén. Tuy nhiên, Tại bộ mã hóa, các khung hình chính chứa chuỗi video ở vị cách tiếp cận này vẫn còn tồn tại hạn chế do chưa phát huy hết trí lẻ được nén bằng tiêu chuẩn mã hóa nội bộ thông thường, mối tương quan và phụ thuộc lẫn nhau giữa các điểm khác nhau. trong khi khung WZ chứa chuỗi video ở vị trí chẵn được nén Trong nghiên cứu [16], chuỗi giả 4D-LF được tạo bằng cách tổ bằng quy trình mã hóa WZ như thường được sử dụng ở bộ mã chức nhiều khung nhìn từ mối quan hệ không gian. Tuy nhiên, hóa tiêu chuẩn DISCOVER DVC [13]. thứ tự mã hóa và quản lý khung tham chiếu được triển khai một Tại bộ giải mã, phần khung chính được giải mã đơn giản với cùng tiêu chuẩn mã hóa nội bộ như ở bộ mã hóa, trong khi đối ISBN ............ 978-604-80-8932-0 295
Hội nghị Quốc gia lần thứ 26 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2023) (a) Zic-zắc ngang (b) Zíc-zắc dọc (c) Hình chữ U (d) Phương pháp kết hợp Hình 1. Các phương pháp sắp xếp dữ liệu cách đơn giản mà không phân tích thích ứng trong các tình Giá trị SAD được tính cho video tự nhiên cao hơn đáng kể huống cụ thể. Trong nghiên cứu [17], nhóm tác giả trình bày so với giá trị của chuỗi giả 4D-LF. Điều này có nghĩa là mối giải pháp khai thác triệt để thông tin giữa các góc nhìn khác tương quan thời gian dọc theo SAI của chuỗi giả 4D-LF cao nhau. Thứ tự mã hóa phân cấp được áp dụng để mã hóa cấu trúc hơn so với video tự tự nhiên. mã hóa 2-D với số khung đã chọn được sử dụng. Dựa trên các Tuy nhiên, do các góc độ khác nhau từ SAI, người ta nhận thứ tự quét khác nhau trong [18], khoảng cách giữa các SAI thấy rằng mối tương quan thời gian giữa các SAI có thể bị thay càng tăng thì độ tương đồng giữa SAI và tham chiếu ban đầu đổi bởi các phương pháp sắp xếp khác nhau, cũng như với nội của nó càng ít. Vì vậy đây cũng là thông báo để đạt được hiệu dung LF khác nhau. Hơn nữa, hiệu suất nén của chuỗi giả 4D- quả nén. LF có thể ảnh hưởng đến một số nội dung cụ thể. Dựa trên định hướng nội dung, một tập dữ liệu LF được thu thập với các nội III. ĐỀ XUẤT PHƯƠNG PHÁP SẮP XẾP HÌNH ẢNH THÍCH ỨNG CHO dung khác nhau, được phân thành hai loại: rộng và hẹp. Loại DỮ LIỆU ẢNH LIGHT FIELD nội dung LF rộng bao gồm độ sâu trường ảnh rộng (WDOP), A. Giả thiết độ sâu trường ảnh rộng với các lớp nội dung (WDOP-L) và nội Để tạo chuỗi giả 4D-LF, một số phương pháp sắp xếp dữ dung mờ (BC); trong khi hẹp bao gồm độ sâu trường ảnh hẹp liệu LF được áp dụng như xoắn ốc, zíc-zắc ngang, zíc-zắc dọc, (NDOP), độ sâu trường ảnh hẹp với một lớp (NDOP-1) và độ hình chữ U, v.v. Đáng chú ý, sắp xếp dữ liệu kết hợp trong [18] sâu trường ảnh hẹp với nhiều hơn hai lớp (NDOP-2). Để giải cho kết quả rất ấn tượng. Phương pháp này vượt trội hơn hầu thích, lớp trong hình ảnh nội dung LF có nghĩa là chủ thể được hết các phương pháp sắp xếp phổ biến khác đối với ảnh LF do lấy nét và định vị tuyến tính từ tiền cảnh đến hậu cảnh. tính tương đồng giữa các SAI. Kết hợp phương pháp sắp xếp Hình 2 trình bày hình ảnh LF với các loại nội dung khác ngang và hình chữ U, phương pháp sắp xếp kết hợp tận dụng nhau. Ngoài ra, Bảng 1 minh họa kết quả của các phương pháp tối đa sự giống nhau của các hình ảnh liền kề theo cả chiều sắp xếp với tỷ lệ phần trăm trung bình của các đặc điểm SAD ngang và chiều dọc. và MSE. Kết quả Bảng 1, có ba điểm đáng chú ý là nội dung dữ Hình 1 minh họa bốn loại phương pháp sắp xếp phổ biến để liệu, độ tương đồng và hiệu năng của phương pháp sắp xếp. tạo chuỗi giả 4D-LF  Thứ nhất, các loại nội dung dữ liệu có hiệu suất không ổn Để phân tích sự giống nhau từ SAI, hai tính năng được áp định đối với từng tính năng của phương pháp sắp xếp. Ví dụ: dụng để xác định sự khác biệt, đó là Tổng sai biệt tuyệt đối trong các trường hợp kết hợp, kết quả được hiển thị nổi bật ở (SAD) và Sai số bình phương trung bình (MSE), theo các các loại WDOP, WDOP-L và BC, trong khi trường hợp dọc phương trình như dưới đây có lợi thế ở hầu hết các loại nội dung NDOP.  Thứ hai, trong trường hợp tương tự, giá trị đặc trưng càng cao 𝑁𝑁−1 𝑀𝑀−1 𝑆𝑆𝐴𝐴𝐷𝐷4𝐷𝐷−𝐿𝐿𝐿𝐿 = � � �𝑆𝑆𝑆𝑆𝑆𝑆𝑙𝑙 𝑙𝑙 𝑙𝑙𝑙𝑙 (𝑥𝑥, 𝑦𝑦) (2) thì độ tương tự của hai SAI liên tiếp càng thấp và ngược lại. 𝑥𝑥=0 𝑦𝑦=0 Điều này có nghĩa là độ tương tự cao nhất của SAI được tạo − 𝑆𝑆𝑆𝑆𝑆𝑆 𝑟𝑟𝑟𝑟 𝑟𝑟ℎ𝑡𝑡 (𝑥𝑥, 𝑦𝑦)� ra theo phương pháp sắp xếp kết hợp.  Dựa vào giá trị tương đồng giữa các SAI, có thể kết luận phần 1 𝑁𝑁−1 𝑀𝑀−1 nào phương pháp sắp xếp kết hợp đạt được hiệu suất nén tốt 𝑀𝑀𝑀𝑀𝑀𝑀4𝐷𝐷−𝐿𝐿𝐿𝐿 = � � �𝑆𝑆𝑆𝑆𝑆𝑆𝑙𝑙 𝑙𝑙 𝑙𝑙𝑙𝑙 (𝑥𝑥, 𝑦𝑦) 𝑀𝑀𝑀𝑀 hơn so với các kiểu sắp xếp khác. Tuy nhiên, kiểu sắp xếp 𝑥𝑥=0 𝑦𝑦=0 (3) này cũng thể hiện hiệu suất không ổn định do nội dung dữ − 𝑆𝑆𝑆𝑆𝑆𝑆 𝑟𝑟𝑟𝑟 𝑟𝑟ℎ𝑡𝑡 (𝑥𝑥, 𝑦𝑦)� 2 liệu đa dạng với dạng dữ liệu rộng và hẹp. Ví dụ: các loại dữ Ở đây, 𝑆𝑆𝑆𝑆𝑆𝑆𝑙𝑙 𝑙𝑙 𝑙𝑙𝑙𝑙 và 𝑆𝑆𝑆𝑆𝑆𝑆 𝑟𝑟𝑟𝑟 𝑟𝑟ℎ𝑡𝑡 là hai SAI liên tiếp nhau, (𝑥𝑥, 𝑦𝑦) là liệu như NDOP, NDOP-1 và NDOP-2, đạt được kết quả tốt hơn theo hình zíc-zắc ngang, zíc-zắc dọc và hình chữ U vị trí pixel trong SAI có kích thước N×M. ISBN ............ 978-604-80-8932-0 296
Hội nghị Quốc gia lần thứ 26 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2023) BẢNG 1. TRUNG BÌNH [%] LỖI TRUNG BÌNH (MSE) & TỔNG CÁC ĐẶC ĐIỂM KHÁC BIỆT TUYỆT ĐỐI (SAD) TRÊN CÁC NỘI DUNG KHÁC NHAU Các phương pháp sắp xếp dữ liệu Loại dữ liệu Mẫu thử Đặc trưng Kết hợp Zíc-zắc dọc Zíc-zắc ngang Hình chữ U WDOP Red and white MSE 2.92 3.16 5.40 7.09 building SAD 0.95 0.99 1.13 1.07 WDOP-L Black fence MSE 2.60 3.31 3.71 6.25 SAD 0.75 0.81 0.83 0.85 NDOP Chain_link_Fence 1 MSE 29.83 30.60 30.90 27.45 SAD 3.21 3.58 3.37 3.34 NDOP-1 Fountain and bench MSE 12.22 17.96 13.32 15.96 SAD 1.94 2.43 1.94 2.17 NDOP-2 Poppies MSE 5.31 5.30 9.24 8.50 SAD 1.26 1.23 1.57 1.38 BC ISO chart 13 MSE 8.54 9.41 11.42 10.35 SAD 1.66 1.71 1.83 1.73 (a) Red and white building (b) Black fence (WDOP-L) (c) ISO_Chart 13 (FC) (WDOP) (d) Chain_link_Fence 1 (e) Fountain and bench (f) Poppies (NDOP-2) (NDOP) (NDOP-1) Hình 2. Dữ liệu LF với các nội dung khác nhau V U - 1, U – 1, U - 1, V-1 V = CSAI V+1 U Center SAI U = CSAI, U=CSAI, (CSAI) V-1 V+1 (U=8,V=8) U + 1, U + 1, U + 1, V-1 V=CSAI V+1 Hình 6. Sắp xếp dữ liệu hiệu quả cho dữ liệu LF Hình 7. Sắp xếp dữ liệu thích ứng cho dữ liệu LF Theo tất cả các phân tích ở trên, có thể thấy phương pháp B. Đề xuất phương pháp sắp xếp thích ứng hình ảnh Light sắp xếp thích ứng dựa trên nội dung LF sẽ cải thiện hiệu suất Field nén của ảnh LF. Do hiệu suất không ổn định của phương pháp sắp xếp kết hợp, bài báo này trình bày các sắp xếp ổn định cho ảnh LF, tận dụng ba loại thứ tự quét là zíc-zắc ngang, zíc-zắc dọc và hình chữ U. ISBN ............ 978-604-80-8932-0 297
Hội nghị Quốc gia lần thứ 26 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2023) a) b) c) d) e) f) g) h) i) j) k) l) Hình 8. Dữ liệu mẫu LF: (a) Game Board, (b) Books, (c) Grave Garden, (d) Chain link fence 1, (e) Black fence, (f) Poppies, (g) Mirabelle Prune Tree, (h) Bench in Paris, (i) Caution Bees, (j) Fountain and bench, (k) ISO chart 13, (l) Red and white building Phương pháp sắp xếp này dựa trên ý tưởng lấy giá trị trung V. KẾT LUẬN bình từ hai SAI liên tiếp của chuỗi giả 4D-LF. Chẳng hạn, SAI Bài viết này đề xuất giải pháp sắp xếp dữ liệu LF thích ứng có độ tương đồng rất cao giữa chiều ngang và chiều dọc, đặc theo phương pháp mã hóa WZ, trong đó là sự kết hợp giữa cách biệt là các góc nhìn xung quanh trung tâm so với các góc nhìn sắp xếp xoắn ốc, ngang và dọc, tận dụng tối đa sự tương quan gần rìa ảnh. Do đó, điểm bắt đầu quét ban đầu là tâm của ảnh của các SAI. Bên cạnh việc mở rộng nghiên cứu trước đây của LF. Sau đó, tám SAI xung quanh điểm bắt đầu sẽ được tính toán nhóm, kiến trúc nén LF được đề xuất cung cấp chứng minh sự bằng đặc trưng SAD dưới dạng biểu thức (2). Giá trị nhỏ nhất cải thiện về hiệu năng nếu áp dụng với bộ mã hóa WZ-LF. Điều dọc theo 8 SAI sẽ được chọn và giá trị này cũng được xác định này mang lại hiệu suất ổn định trên hầu hết các loại dữ liệu LF, trong chuyển động quét tiếp theo. Quy trình này tiếp tục tiếp với nội dung khác nhau. Nghiên cứu trong tương lai, nội dung cận tất cả các SAI có giá trị SAD tối thiểu. LF sẽ trở thành một phần nhu cầu của người dùng trên nhiều Hình 6 và Hình 7 hiển thị quy trình và kết quả của thứ tự sắp thiết bị hoặc ứng dụng. Do đó, giải pháp đề xuất này sẽ được xếp hiệu quả này khai thác sâu hơn để quản lý hiệu suất nén của LF, cùng với IV. KIỂM THỬ VÀ KẾT QUẢ chất lượng hiển thị hình ảnh LF. A. Điều kiện kiểm thử NGUỒN THAM KHẢO Trong bài báo này, để đánh giá hiệu suất của giải pháp nén LF được đề xuất, 12 hình ảnh LF phổ biến được kiểm tra với 1. G. Wu et al., "Light Field Image Processing: An Overview," in các kích thước khác nhau của nhóm hình ảnh, cụ thể là GOP2. IEEE Journal of Selected Topics in Signal Processing, vol. 11, Phương pháp thử nghiệm tập trung vào việc so sánh hiệu suất no. 7, pp. 926-954, Oct. 2017. RD. Để hiển thị nội dung, hình ảnh LF đã chọn được hiển thị 2. Lytro camera, https://www.lytro.com/ trong Hình 8. 3. Raytrix, https://www.raytrix.de/ B. Kết quả so sánh với các phương pháp sắp xếp hình ảnh 4. X. Xiao, B. Javidi, M. Martinez-Corral, and A. Stern, "Advances in three-dimensional integral imaging: Sensing Với kết quả nén cho thấy tại Hình 9, phương pháp sắp xếp display and applications", Appl. Opt., vol. 52, no. 4, pp. 546- thích ứng với dữ liệu ảnh LF (ký hiệu là ALFS) cho kết quả cải 560, Feb. 2013. thiện hơn so với phương pháp sắp xếp kết hợp (ký hiệu là 5. R. Raghavendra, K. B. Raja, and C. Busch, "Presentation attack Hybrid). detection for face recognition using light field camera", IEEE Như trong Hình 9, phương pháp sắp xếp thích ứng của Trans. Image Process., vol. 24, no. 3, pp. 1060-75, Mar. 2015. 6. "JPEG pleno call for proposals on light field coding", Proc. chúng tôi đạt được kết quả tốt hơn so với phương pháp trong ISO/IEC JTC 1/SC29/WG1 N74014, pp. 1-37, Jan. 2017. [18] trong hầu hết các trường hợp. Đặc biệt, phương pháp ALFS 7. A. Wyner and J. Ziv, “The Rate-Distortion Function for Source có thể mang lại hiệu suất ấn tượng (khoảng 2dB) với kiểu dữ Coding with Side Information at the Decoder,” IEEE liệu NDOP và NDOP-1, tức là Chain_Link_Fence1 (NDOP), Transactions on Information Theory, vol. 22, no. 1, pp. 1-10, Game_Board (NDOP) và Fountain_and_Bench (NDOP-1). Do Jan. 1976. đó, hiệu suất nén khi áp dụng với bộ mã hóa WZ-LF về tổng 8. B. Girod et al, ‘Distributed video coding’, in Proceedings of the thể sẽ được cải thiện hơn nhiều. IEEE, vol. 93, no. 1, pp. 71-83, 2005. ISBN ............ 978-604-80-8932-0 298
Hội nghị Quốc gia lần thứ 26 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2023) 9. F. Pereira, et al., “Distributed video coding: selecting the most 14. C. CL, Z. X, R. P, and G. B., “Light field compression using promising application scenarios,” Signal Process.: Image disparity-compensated lifting and shape adaptation,” IEEE Commun. Vol. 23, no. 5, pp. 339–352, 2008. Trans. Image Processing, vol. 15, pp. 793–806, 2006. 10. X. Zhu, A. Aaron, and B. Girod, “Distributed compression of 15. C. Perra and P. Assuncao, “High efficiency coding of light field light fields,” Stanford Univ., Stanford, CA, USA, Tech. Rep. images based on tiling and pseudo-temporal data 11. Huy Phi Cong, Xiem HoangVan, Stuart Perry, “A low arrangement,” in 2016 IEEE International Conference on complexity Wyner-Ziv coding solution for Light Field image Multimedia Expo Workshops (ICMEW), pp. 1–4, July 2016. transmission and storage”, 2019 IEEE International 16. D. Liu et al, "Pseudo-sequence-based light field image Symposium on Broadband Multimedia Systems and compression," IEEE International Conference on Multimedia Broadcasting (BMSB), Jeju, Korea, Jun. 2019 & Expo Workshops (ICMEW), Seattle, WA, 2016. 12. A. Aaron, Rui Zhang and B. Girod, "Wyner-Ziv coding of 17. L. Li et al, "Pseudo Sequence Based 2-D Hierarchical Coding motion video," Conference Record of the Thirty-Sixth Structure for Light-Field Image Compression," 2017 Data Asilomar Conference on Signals, Systems and Computers, Compression Conference (DCC), Snowbird, UT, 2017. Pacific Grove, CA, USA, 2002 18. S. Zhao et al, "Light field image coding with hybrid scan 13. X. Artigas et al, ‘The discover codec: architecture, techniques order," Visual Communications and Image Processing (VCIP), and evaluation’, in Proceedings of Picture Coding Symposium Chengdu, 2016 (PCS’07), Lisboa, Portugal, Nov. 2007 Game Board @ GOP=2 Books @ GOP=2 Gravel Garden @ GOP=2 44 42 40 42 40 40 38 35 38 36 Y-PSNR [dB] Y-PSNR [dB] Y-PSNR [dB] 36 34 30 34 32 32 30 ALFS ALFS ALFS Hybrid [38] Hybrid [38] Hybrid [38] 30 28 25 0 50 100 150 200 250 300 350 50 100 150 200 250 300 350 100 200 300 400 500 600 700 Bitrate [Kpbs] Bitrate [Kpbs] Bitrate [Kpbs] Mirabelle Prune Tree @ GOP=2 Bench in Paris @ GOP=2 Caution Bees @ GOP=2 40 40 40 38 38 38 36 36 36 34 34 Y-PSNR [dB] Y-PSNR [dB] Y-PSNR [dB] 34 32 32 30 32 30 28 30 28 26 ALFS ALFS ALFS Hybrid [38] Hybrid [38] Hybrid [38] 26 28 24 100 200 300 400 500 50 100 150 200 250 300 350 400 100 200 300 400 500 600 700 800 Bitrate [Kpbs] Bitrate [Kpbs] Bitrate [Kpbs] Chain Link Fence 1 @ GOP=2 Fountain and Bench @ GOP=2 ISO chart 13 @ GOP=2 40 40 42 38 38 40 36 36 38 34 34 36 Y-PSNR [dB] Y-PSNR [dB] Y-PSNR [dB] 32 32 34 30 30 32 28 28 30 ALFS ALFS ALFS Hybrid [38] Hybrid [38] Hybrid [38] 26 26 28 100 200 300 400 500 600 700 0 100 200 300 400 500 50 100 150 200 250 300 350 400 Bitrate [Kbps] Bitrate [Kbps] Bitrate [Kbps] Black Fence @ GOP=2 Poppies @ GOP=2 Red and white building @ GOP=2 42 42 42 40 40 40 38 38 38 36 36 36 Y-PSNR [dB] Y-PSNR [dB] Y-PSNR [dB] 34 34 34 32 32 32 30 30 30 ALFS ALFS ALFS Hybrid [38] Hybrid [38] Hybrid [38] 28 28 28 50 100 150 200 250 300 350 0 100 200 300 400 500 50 100 150 200 250 300 350 Bitrate [Kpbs] Bitrate [Kpbs] Bitrate [Kpbs] Hình 9. Đánh giá hiệu suất RD của việc tạo chuỗi giả 4D-LF với phương pháp sắp xếp thích ứng ISBN ............ 978-604-80-8932-0 299