org.apache.hadoop.mapred.lib

类 CombineFileRecordReader

java.lang.Object

org.apache.hadoop.mapred.lib.CombineFileRecordReader

所有已实现的接口：

Closeable, AutoCloseable, RecordReader

@InterfaceAudience.Public
 @InterfaceStability.Stable
public class CombineFileRecordReader
extends Object
implements RecordReader

一个通用的RecordReader，可以为CombineFileSplit中的每个数据块分配不同的记录读取器。 CombineFileSplit可以合并来自多个文件的数据块。该类允许使用不同的RecordReader来处理这些来自不同文件的数据块。

另请参阅：

CombineFileSplit

字段摘要

修饰符和类型	字段和描述
protected RecordReader<K,V>	curReader
protected int	idx
protected JobConf	jc
protected long	progress
protected Reporter	reporter
protected Constructor<RecordReader<K,V>>	rrConstructor
protected CombineFileSplit	split

构造函数摘要

构造函数及描述
CombineFileRecordReader(JobConf job, CombineFileSplit split, Reporter reporter, Class<RecordReader<K,V>> rrClass) 一个通用的RecordReader，可以为CombineFileSplit中的每个数据块分配不同的recordReader。

方法摘要

修饰符和类型	方法和描述
void	关闭() Close this InputSplit to future operations.
K	创建密钥() 创建一个适当类型的对象用作键。
V	createValue() 创建一个适当类型的对象作为值使用。
long	getPos() 返回已处理的数据量
float	getProgress() 根据目前已处理的数据量返回进度。
protected boolean	初始化下一个记录读取器() 获取此CombineFileSplit中下一个数据块的记录读取器。
boolean	next(K key, V value) 从输入中读取下一个键/值对以供处理。

从java.lang.Object类继承的方法

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

字段详情

split

protected CombineFileSplit split

jc

protected JobConf jc

reporter

protected Reporter reporter

rrConstructor

protected Constructor<RecordReader<K,V>> rrConstructor

idx

protected int idx

进度

protected long progress

当前读取器

protected RecordReader<K,V> curReader

构造函数详情

CombineFileRecordReader

public CombineFileRecordReader(JobConf job,
                               CombineFileSplit split,
                               Reporter reporter,
                               Class<RecordReader<K,V>> rrClass)
                        throws IOException

一个通用的RecordReader，可以为CombineFileSplit中的每个数据块分配不同的记录读取器。

抛出异常：

IOException

方法详情

next

public boolean next(K key,
                    V value)
             throws IOException

从接口复制的描述: RecordReader

从输入中读取下一个键/值对进行处理。

指定者:

next 在接口中 RecordReader<K,V>

参数:

key - 要读取数据的键

value - 要读取数据的值

返回:

如果读取到键/值对则为true，如果到达文件末尾则为false

抛出:

IOException

createKey

public K createKey()

从接口复制的描述: RecordReader

创建适当类型的对象作为键使用。

指定者:

createKey 在接口中 RecordReader<K,V>

返回:

一个新的键对象。

createValue

public V createValue()

从接口复制的描述: RecordReader

创建一个适当类型的对象作为值使用。

指定者:

createValue 在接口中 RecordReader<K,V>

返回:

一个新的值对象。

getPos

public long getPos()
            throws IOException

返回已处理的数据量

指定者:

getPos 在接口 RecordReader<K,V>中

返回值:

输入流中的当前位置

抛出:

IOException

close

public void close()
           throws IOException

描述复制自接口: RecordReader

关闭此InputSplit以禁止后续操作。

指定者:

close 在接口 Closeable中

指定者:

close 在接口 AutoCloseable中

指定者:

close 在接口 RecordReader<K,V>中

抛出:

IOException

getProgress

public float getProgress()
                  throws IOException

返回基于目前已处理数据量的进度。

指定者:

getProgress 在接口 RecordReader<K,V>中

返回值:

进度值，范围从0.0到1.0。

抛出:

IOException

initNextRecordReader

protected boolean initNextRecordReader()
                                throws IOException

获取当前CombineFileSplit中下一个数据块的记录读取器。

异常抛出：

IOException